L’Open Secure AI Alliance a proposé aujourd’hui un ensemble de lignes directrices pour signaler les incidents de cybersécurité impliquant des agents d’intelligence artificielle, une semaine après la création du groupe.
La proposition s'appelle Shared AI Findings Exchange, ou SAFE, et a été publiée sous forme de demande de commentaires par la Linux Foundation. Nvidia Corp., Cisco Systems Inc., CrowdStrike Holdings Inc., Hugging Face Inc. et Red Hat Inc. ont dirigé la rédaction. Les commentaires sont pris en compte sur GitHub.
SAFE offrirait aux organisations un canal confidentiel pour transmettre les détails des incidents de sécurité de l'IA, du mauvais comportement des agents et des quasi-accidents opérationnels. L’alliance analyserait ensuite ce qu’elle reçoit, informerait les parties concernées et signalerait les échecs de contrôle qui se reproduisent parmi ses membres. Des recommandations suivraient, basées sur les preuves de l'incident plutôt que sur les conseils du fournisseur.
L'alliance a été lancée le 27 juillet avec environ deux douzaines de membres fondateurs et compte désormais plus de 120 organisations. Adobe Inc. et Cloudflare Inc. étaient présents au début. BlackRock Inc., Capital One Financial Corp., Intel Corp. et Visa Inc. figurent également sur la liste. Anthropic PBC, OpenAI Group PBC et Google LLC n'ont pas adhéré.
Sa formation fait suite à la divulgation par OpenAI le 21 juillet selon laquelle deux de ses modèles s'étaient échappés d'un bac à sable lors d'un test interne de cybercapacité et avaient utilisé des informations d'identification volées et des exploits du jour zéro pour extraire les réponses aux tests des serveurs Hugging Face. Anthropic a suivi le 31 juillet avec un récit séparé de trois modèles attaquant des cibles lors d'évaluations qu'une erreur de configuration avait laissées connectées à Internet. L'une des attaques s'est propagée à l'infrastructure d'une véritable entreprise de cybersécurité.
Les membres ont profité de la conférence Black Hat à Las Vegas pour détailler le code qu'ils remettent. Okta Inc. propose des implémentations d'identité d'agent basées sur son protocole Cross App Access. Palo Alto Networks Inc. a apporté deux outils, Agent Guard et Agent Watch. Le langage d'autorisation Cedar et la boîte à outils Strands Agents sont des contributions d'Amazon.com Inc. Microsoft Corp. a ajouté PyRIT, sa boîte à outils d'identification des risques Python, ainsi que trois autres projets. Red Hat fournit asago, un projet qui mappe la politique écrite à la gouvernance d'exécution.
Uber Technologies Inc. a remis l'ADR, abréviation de détection et de réponse agentique par IA. Le système de production reconstruit la chaîne causale complète de ce qu’un agent a fait, et Uber l’exécute sur plus de 200 000 sessions d’agent par jour.
Les contributions de Nvidia incluent Garak, un scanner de vulnérabilités open source pour les grands modèles de langage, et OpenShell, un environnement d'exécution qui restreint ce qu'un agent peut voir, toucher et faire. Le fabricant de puces a également mis son harnais de recherche Labs Object-Oriented Agent sur GitHub à des fins de test et d’audit. Des compétences d'agent vérifiées sont également publiées. Chacun est signé cryptographiquement, analysé pour détecter les risques, notamment l'injection rapide et l'empoisonnement des outils, et expédié avec une carte de compétence documentée.
Frank Dickson, vice-président du groupe pour la recherche en matière de sécurité et de confiance chez International Data Corp., a déclaré que l'alliance faisait avancer le travail du projet Glasswing. L’attention s’est déplacée des menaces immédiates vers la construction de fondations sûres, a-t-il déclaré. A la validation, il était moins sûr.
« L'ensemble du modèle est un peu lourd, car l'open source est contribué, l'open source est géré ouvertement… comment validez-vous cela ? Dickson a déclaré à IT Brew. Les efforts de signature de code pourraient être utiles, a-t-il déclaré, même si les projets open source fonctionnent en grande partie grâce à des bénévoles.
