Un groupe de recherche a associé trois autres campagnes de piratage à des agents malveillants de l’intelligence artificielle.
Transluce, une organisation à but non lucratif dédiée à la sécurité de l'IA, détaillé ses conclusions mercredi. Ses chercheurs ont déterminé que les agents ciblaient trois services : la bibliothèque numérique d'une université, un outil de visualisation de données et un site Web géré par le gouvernement australien. Les deux derniers incidents ont été attribués à des agents créés par OpenAI Group PBC.
Premier ministre australien Anthony Albanese dit lors d'une conférence de presse aujourd'hui, les agents ont piraté un site Web géré par l'agence nationale des statistiques de santé. Ils n’ont accédé à aucune donnée des patients. Les agents ont cependant téléchargé des statistiques non publiques sur le système de santé australien.
OpenAI a déclaré dans un communiqué que l'activité de l'agent malveillant impliquait « plusieurs sites Web du gouvernement australien ». Il n'a pas précisé quelles propriétés en ligne supplémentaires étaient affectées ni comment. Selon l'entreprise, son examen de l'incident est toujours en cours.
« Ce qui s'est passé en Australie montre à quelle vitesse ces modèles progressent », a déclaré Sandeep Johri, directeur général de la société de cybersécurité Checkmarx Inc. « Nos défenses doivent progresser tout aussi rapidement. Les organisations doivent partir du principe que les agents d'IA découvriront les faiblesses plus rapidement que les gens et atteindront des endroits que les gens n'auraient jamais imaginés. Cela est vrai, que l'agent agisse seul ou qu'il soit pointé vers une cible par quelqu'un d'autre. »
Les agents d'OpenAI ont piraté le site Web australien de statistiques sur les soins de santé au cours de ce que l'entreprise décrit comme une évaluation interne. L'évaluation a demandé aux agents de répondre à des questions sur l'Australie. Lorsque les agents n’ont pas réussi à récupérer les informations nécessaires à partir de sources accessibles au public, ils ont commencé à rechercher des ensembles de données privés.
Les chercheurs de Transluce ont déterminé que les agents avaient lancé non pas une mais plusieurs cyberattaques contre le site Web gouvernemental ciblé. Deux des tentatives de violation ont été bloquées par Cloudflare. L'essaim d'agents a ensuite déplacé son attention de l'interface principale du site Web vers un serveur de pré-production, une machine que les développeurs utilisent pour tester les modifications du code. Les agents ont réussi à contourner les filtres de robots du serveur.
« Ce qui est remarquable, ce n'est pas qu'un agent d'IA ait réussi à contourner un contrôle, c'est que personne n'a construit l'agent pour qu'il s'arrête lorsqu'il en heurte un », a déclaré Adrian Culley, ingénieur en sécurité offensive chez SafeBreach Inc., une start-up de cybersécurité.
La deuxième campagne de piratage liée à OpenAI repérée par Transluce ciblait Data USA. Il s'agit d'un service Web gratuit qui visualise les données accessibles au public du gouvernement américain. Selon l'organisation à but non lucratif, les agents ont utilisé des tactiques similaires à celles qu'ils ont employées pour pénétrer dans les locaux du ministère australien de la Santé.
Transluce pense que le même essaim d’agents était à l’origine d’une cyberattaque très médiatisée révélée le mois dernier. L'IA malveillante a pris le contrôle d'un site Web de développeur, l'a transformé en un forum de discussion et l'a utilisé pour effectuer des tâches de référence.
On ne sait pas si le troisième incident découvert par Transluce impliquait également des agents développés par OpenAI. La cyberattaque visait une bibliothèque numérique gérée par l'Université du Nouveau-Mexique. Les agents malveillants à l'origine de la campagne de piratage ont cherché à télécharger un fichier de la bibliothèque. Lorsque leur première tentative a échoué, ils ont commencé à analyser le site Web à la recherche de vulnérabilités.
L’incident partage certaines similitudes avec les deux cyberattaques liées à OpenAI. Dans les trois campagnes de piratage, les agents ont utilisé un service appelé urlquery.net pour accéder aux sites Web ciblés. Le service est conçu pour aider les professionnels de la cybersécurité à analyser les sites Web malveillants. Selon Transluce, les agents d'OpenAI l'ont utilisé pour contourner les garde-fous qui limitaient leur accès au Web.
Le rapport de l'organisation à but non lucratif sur les cyberattaques contient également d'autres conclusions notables.
On pense que l'activité de l'agent a commencé en mars dernier ou en novembre dernier, bien avant que Hugging Face Inc. ne soit piraté par des modèles OpenAI malveillants. Ce dernier incident était le premier du genre à avoir été divulgué par l’entreprise. De plus, l’activité de collecte de données associée aux agents était détectable dès le 16 septembre. Cela suggère que certains agents d’IA malveillants pourraient encore être actifs.
Transluce a publié une collection de journaux de trafic Web liés à des agents pour aider d'autres chercheurs à étudier le phénomène. L'ensemble de données comprend plus de 36 000 enregistrements. Environ un dixième d’entre eux présentent « des preuves significatives d’une activité de type agent », tandis que le reste contient des données moins définitives mais néanmoins utiles.
