À quelle vitesse l’intelligence artificielle progresse-t-elle ? Dans les coulisses d'OpenAI Group PBC, les agents d'IA parlent couramment, sont techniquement précis et parfois grossiers dans leurs longues conversations… les uns avec les autres.
C'est l'un des détails les plus intéressants révélés par les chercheurs en sécurité d'OpenAI, Eric Wallace et Mike Dalton, lors d'une session de 40 minutes au Black Hat USA à Las Vegas mercredi. Leur apparition, un ajout de dernière minute au programme de la conférence sur la cybersécurité, a permis aux participants de découvrir comment les agents OpenAI ont réussi à s'échapper de l'environnement de test de l'entreprise et à pirater les systèmes du référentiel de modèles d'IA Hugging Face Inc. le mois dernier.
Les conversations entre agents ont eu lieu sur un forum de discussion interne que les agents ont spontanément créé au sein d'OpenAI. Wallace et Dalton ont fourni des exemples de dialogues découverts par la société dans son analyse post-mortem de la violation de Hugging Face.
Les courts extraits de conversation semblaient remarquablement similaires au type d’échanges auquel on pourrait s’attendre entre les développeurs de millions d’organisations à travers le monde. Les agents se sont demandés de l'aide, ont échangé des idées et ont exprimé leur frustration lorsqu'ils n'avaient pas accès à certaines bases de données.
S’il y avait le moindre doute sur la capacité des agents d’IA à orchestrer avec succès et intelligemment une cyberattaque, ce doute a été définitivement effacé.
« Nous pensons qu'il s'agit d'un moment décisif pour la sécurité informatique dans notre secteur », a déclaré Wallace. « Les attaques offensives orchestrées par l’IA et entièrement automatisées sont désormais réelles. »
Les agents ont continué à communiquer
Les chercheurs ont expliqué que le forum de discussion créé par agent résidait dans le gestionnaire de progiciels Artifactory de l'entreprise. Après qu’OpenAI ait découvert son existence début juillet, il a été immédiatement fermé. Cependant, les agents ont reconstruit le tableau quatre jours plus tard, puis ont collaboré sur une méthode d'accès à Internet, ce qui a finalement conduit à la faille Hugging Face.
Les chercheurs d'OpenAI avaient confié aux agents une série de tâches difficiles, qui les ont incités à « accéder à Internet d'une manière que nous n'avions pas prévue », selon Wallace. « Les modèles Frontier aiment vraiment tricher », a-t-il déclaré mercredi lors du rassemblement Black Hat.
Le duo OpenAI a indiqué que la société avait temporairement réduit ses recherches et accru sa surveillance du comportement des agents à la suite de l'incident. La société prépare un rapport plus détaillé qui sera publié ultérieurement.
« Comme les humains, les modèles se marchent sur les pieds et ont des ratés », a déclaré Wallace. « Ce n'était pas un incident de sécurité normal. »
La faille Hugging Face a déclenché un débat rigoureux au sein du secteur de la sécurité sur la manière dont les agents IA doivent être perçus. Dans une présentation mercredi, Asaf Saar, vice-président exécutif et directeur des produits de Mend.io, le nom commercial de White Source Ltd., a noté que donner trop d'auto-supervision à la technologie agent peut être une mauvaise idée.
« En gros, l'agent a passé un examen et il a pu trouver les réponses d'une manière qui n'était pas celle attendue », a déclaré Saar, lors d'une discussion sur l'incident OpenAI/Hugging Face. « Le modèle vérifie son propre travail et c'est un problème. Le système qui génère le risque ne peut pas être le réviseur final. »
Cependant, certains dirigeants de la communauté de la sécurité contestent les descriptions qui qualifient de « voyous » les modèles d'OpenAI. Ce qu'il faut, c'est une combinaison d'agents autonomes travaillant avec des humains, selon Steve Stone, directeur de la clientèle chez SentinelOne Inc., qui a annoncé lundi une extension de son offre de services Wayfinder Frontier AI qui incluait des cyber-experts.
« Je pense que le truc Hugging Face est vraiment important, mais nous devons faire tourner le cube », a déclaré Stone lors d'une interview avec SiliconANGLE. « Le modèle n'est pas devenu voyou, il a fait ce qu'il était censé faire. C'est exactement pourquoi associer ces modèles transformationnels vraiment puissants avec les bons experts est la bonne chose à faire. »
Vulnérabilités pour l'IA
La présentation d'OpenAI a ajouté un contexte supplémentaire à ce qui avait été un thème central à Black Hat cette semaine. À mesure que les agents prolifèrent au sein des organisations informatiques, les chercheurs en sécurité sont de plus en plus préoccupés par le déploiement sans garanties adéquates.
De nombreuses sessions au cours de la semaine ont proposé des études de cas décrivant des piratages réussis de l'IA agentique. Dans une présentation, des chercheurs de Rein Security Inc. ont documenté comment ils ont réussi à compromettre l'assistant commercial IA d'un détaillant anonyme, l'un des plus grands aux États-Unis.
Fonctionnant sur un modèle de base de pointe, le détaillant a déployé une passerelle LLM conçue pour surveiller les invites et les réponses et appliquer des garde-fous de sécurité via une couche de classification d'intention. Rein Security a déclaré que la compromission avait été entièrement orchestrée via la même interface utilisée par les acheteurs quotidiens, contournant la couche de classification censée protéger l'agent contre les intrusions.
« Le modèle nous a bloqué, pas le garde du corps », a déclaré Netanel Rubin, co-fondateur et directeur technique de Rein Security. « Les agents ne peuvent pas garder les agents. Une injection rapide nous a invités dans la chaîne. Je ne pense pas que ce soit la voie à suivre. »
Pourtant, cela n’a pas arrêté d’autres leaders de la sécurité, estimant que ce n’est qu’une question de temps avant que les organisations soient obligées d’adopter des défenses entièrement autonomes, alors que l’IA alimente des attaques plus rapides. Mercredi, Amazon Web Services Inc. a annoncé qu'elle collaborerait avec Anthropic PBC et OpenAI pour étendre son outil de correction des vulnérabilités du code AWS Continuum aux flux de travail des développeurs.
« Notre vision est de progresser vers une sécurité autonome à la vitesse de la machine », a déclaré mardi le vice-président d'AWS, Chet Kapoor, lors du Black Hat AI Summit. « Au fil du temps, vous devez demander à vos agents d'en faire beaucoup plus pour vous, sinon vous ne pourrez pas vous défendre contre les attaquants. »
Augmentation des expositions et des attaques
Le point de vue de Kapoor a été en outre validé par le vice-président de Microsoft Corp., David Weston, lors de son discours d'ouverture mercredi. Weston a partagé des données du Security Response Center de l'entreprise qui ont montré une augmentation fulgurante des vulnérabilités et des expositions courantes ou CVE.
« Nous représentons neuf fois le volume de vulnérabilité qu'en mars », a déclaré Weston lors du rassemblement Black Hat. « Il s'agit d'un bond significatif. Nos données internes indiquent que cela est fortement corrélé à l'IA. C'est l'IA qui est à l'origine de ce phénomène. »
L’utilisation malveillante de l’IA commence à se manifester de manière à avoir un impact sur un éventail plus large de services publics, notamment dans le domaine des infrastructures critiques. Au cours du mois dernier, des cyberattaques visant les services d’eau et de traitement des eaux usées dans 12 États ont été signalées. Lors de son discours d'ouverture mercredi, le fondateur de Black Hat, Jeff Moss, a déclaré qu'il pensait que l'Iran était derrière les attaques et qu'elles étaient situées dans des zones destinées à avoir un impact sur les installations militaires américaines.
De tels incidents mettent en évidence l’impact croissant des affaires mondiales sur le monde de la cybersécurité, selon Moss. « Si votre client est l’Ukraine, devinez quoi, votre adversaire est la Russie », a noté Moss. « Ces choses sont politiques et nous devons en avoir une vision et en être conscientes si nous voulons être efficaces dans notre travail. »
Coalitions et régulation
L'efficacité du travail de sécurité dépendra également de manière significative de la capacité de l'industrie à construire des coalitions, selon Chris Inglis, nouvellement nommé conseiller stratégique de la plateforme anti-ransomware Halcyon Inc. Inglis, qui a travaillé pendant de nombreuses années à la National Security Agency et a été le premier directeur national américain de la cybersécurité de 2021 à 2023, a déclaré à SiliconANGLE dans une interview exclusive que le projet collaboratif Glasswing d'Anthropic est une étape importante dans la cybersécurité.
« L'événement important d'avril 2026 a été Glasswing, pas Mythos », a déclaré Inglis. « Nous avons besoin de coalitions. Cela doit être le nouveau mantra. »
En tant que figure centrale des précédentes politiques de cybersécurité du gouvernement américain, Inglis soutient une approche réglementaire plus légère de la part des régulateurs. Lors d'une apparition à la conférence mercredi, l'actuel directeur national de la cybersécurité, Sean Cairncross, a indiqué qu'un récent décret sur l'IA de la Maison Blanche était conçu pour être non réglementaire, une approche soutenue par Inglis.
« Le gouvernement se rend compte que le secteur privé est la source de la plupart des innovations », a déclaré Inglis. « Inciter d’abord, contribuer ensuite et réglementer en troisième. »
Il reste à voir si l'histoire évolutive de la violation de Hugging Face par les modèles d'OpenAI entraînera une surveillance réglementaire. Ce qui est clair, c’est que l’IA soulève des questions difficiles au sein de la communauté de la cybersécurité, alors que les chercheurs et les responsables informatiques des entreprises cherchent à contrôler une technologie autonome puissante et en évolution rapide.
« C'était zéro jour, puis zéro heure, maintenant c'est zéro seconde », a déclaré Arsh Arora, responsable des opérations IA et Cyber IR chez McKesson Corp. lors d'une présentation mardi. « Si vous pensez que cela fait peur, l'avenir est plus sombre. Tout ce que nous pouvons faire, c'est prier pour que la boîte noire de l'IA fonctionne comme prévu. »
