Nvidia Corp. a annoncé aujourd'hui le lancement de l'Open Secure AI Alliance, une nouvelle organisation fondée par des leaders de la technologie, du cloud computing et de la cybersécurité pour créer et partager des outils ouverts d'intelligence artificielle.
À mesure que la capacité et la force des outils d’IA se développent et façonnent l’industrie technologique, il devient essentiel pour la sûreté, la sécurité et la confiance de remédier et de sécuriser les vulnérabilités de ces logiciels émergents. La société a déclaré que, tout comme l'open source a créé une base commune pour les logiciels, la sécurité de l'IA est désormais confrontée à une masse critique tout aussi importante où une trop grande partie de l'infrastructure est fermée, opaque et difficile à exploiter par la communauté dans son ensemble.
Un gratin des leaders du cloud computing, de la cybersécurité, des logiciels d'entreprise, des fondations open source et de la recherche en IA s'est joint au lancement inaugural de l'OSAA. Outre Nvidia, les partenaires fondateurs comprenaient Adobe Inc., Cisco Systems Inc., Cloudera Inc., Cloudflare Inc., Databricks Inc., Hugging Face Inc., OpenClaw, IBM Corp., Red Hat, Salesforce Inc., Snowflake Inc. et Thinking Machines Lab Inc., parmi près d'une vingtaine d'autres.
La mission de l’OSAA est de garantir que les défenseurs ont accès à des outils ouverts et frontaliers auxquels ils peuvent faire confiance et contrôler.
Cette alliance se forme alors même que l’industrie peine à gérer l’utilisation émergente de l’IA comme outil de cybersécurité à la fois pour la défense et l’attaque. Les agents d’IA, logiciels autonomes capables de fonctionner seuls avec peu ou pas de surveillance humaine, deviennent un pilier des opérations de cybersécurité. Cela se produit alors même que l’entreprise continue d’incorporer l’IA dans chaque couche de la pile technologique, depuis la création du code et le débogage jusqu’à la maintenance, les opérations et les interfaces et sites Web destinés aux clients.
Récemment, Hugging Face, le référentiel de modèles et d'outils d'IA open source, a subi une violation de la part d'un attaquant alors inconnu et a tenté d'utiliser les outils d'IA frontaliers centralisés et fermés actuels pour se défendre – cependant, les garanties de ces modèles l'ont empêché de faire l'analyse nécessaire. En conséquence, l’entreprise s’est tournée vers le logiciel open source Z.ai GLM 5.2 pour développer une réponse rapide et repousser l’attaque.
Une semaine plus tard, OpenAI Group PBC a révélé que l'un de ses propres modèles pionniers dotés de capacités agentiques avait échappé au confinement et piraté Hugging Face alors qu'il était en cours de test et d'évaluation. Cela a fait la une des journaux principalement parce qu’il s’agit du premier exemple d’un modèle frontière sortant de son propre bac à sable et exécutant lui-même une cyberattaque.
Ce n’est pas la première fois que des modèles d’IA, y compris des modèles frontières, sont utilisés par des cyberattaquants pour améliorer et exécuter des attaques. Les logiciels autonomes pilotés par de puissants modèles d'IA peuvent s'adapter et réagir plus rapidement que les humains, orchestrer et contrôler une grande variété d'outils en utilisant de vastes ensembles de données de vulnérabilités et d'exploits pour déterminer les chemins critiques pour attaquer les réseaux. Un nombre croissant de cyberattaques sont déjà assistées ou pilotées par l’IA, avec 87 % des organisations déclarant avoir été victimes d’attaques liées à l’IA au cours de l’année écoulée, selon AllAboutAI.
Les outils d’IA ne deviennent pas seulement un pilier de la défense ; le logiciel lui-même devient une nouvelle surface vulnérable qui doit être sécurisée contre les attaquants. À mesure que le secteur évolue, Nvidia et la nouvelle alliance affirment que la sécurité de l’IA nécessitera l’utilisation de l’ensemble des agents – identité, autorisations, harnais, garde-fous, journaux et évaluation – pour comprendre et répondre aux menaces émergentes. Les harnais, outils et autres éléments ouverts seront tout aussi importants que les modèles ouverts pour doter les défenseurs de la possibilité de personnaliser et de contrôler leur capacité à inspecter, tester, améliorer et partager leurs connaissances.
L’adhésion à l’Alliance apporte des outils ouverts à la défense
Nvidia contribue à l'OSAA sur des modèles ouverts, des pondérations de modèles et de nouveaux harnais d'agents dans le but de lancer le développement futur d'outils et de techniques de cybersécurité.
Cela inclut le nouveau projet open source Nvidia Labs Object-Oriented Agent, désormais disponible sur GitHub, qui permet le développement de capacités avancées de sécurité de l’IA pour les systèmes de contrôle agent. Les recherches menées dans le cadre de ce projet construisent des cadres permettant aux harnais de mieux s'intégrer aux modèles et au comportement des agents de contrôle pour tester, auditer, tracer et répondre aux cyberattaques.
D'autres membres de l'alliance proposent également des outils ouverts, notamment HPE qui contribue au cadre d'identité zéro confiance SPIFFE/SPIRE ; Hugging Face propose des Safetensors, un format sécurisé pour stocker et partager les poids des modèles ; et Microsoft contribue à MDASH, un harnais d'analyse agnostique multimodèle conçu pour orchestrer les agents d'IA afin de découvrir, débattre et disséquer les bogues exploitables.
La nouvelle alliance de leaders de l’industrie et de poids lourds s’efforcera également d’éduquer et d’informer les décideurs politiques et les régulateurs sur l’état de la sécurité de l’IA. Dans l'annonce, Nvidia a noté qu'il sera crucial de comprendre la nécessité de modèles ouverts, de harnais et de sécurité.
Cela fait suite aux menaces du Trésor américain de sanctionner les fabricants chinois de modèles d’IA à poids ouvert et aux pressions exercées pour réduire ou interdire l’utilisation d’outils open source. Nvidia, Microsoft, IBM, Meta Platforms Inc. et plus d'une douzaine d'autres entreprises technologiques ont écrit la semaine dernière une lettre ouverte appelant les décideurs politiques à veiller à réglementer les modèles open source et à éviter de les interdire purement et simplement. La lettre affirmait qu'une telle décision pourrait avoir un effet négatif important sur l'industrie.
Par exemple, les modèles ouverts et les outils ouverts favorisent les écosystèmes communautaires pour le partage, la création et l’évolution des technologies – un élément essentiel de l’innovation qui pourrait être étouffé si l’accès aux modèles et aux outils open source était restreint. Les modèles ouverts permettent également aux entreprises de personnaliser et d’exécuter facilement l’IA sur leur propre infrastructure, leur permettant ainsi un meilleur contrôle sur les données et les calculs sensibles.
