OpenAI Group PBC a révélé aujourd'hui six nouveaux incidents « préoccupants » impliquant des agents d'intelligence artificielle qui se comportent à nouveau mal.
Les agents ont inventé des données, déplacé des fichiers sur l'Internet public sans autorisation et caché leurs erreurs à leurs contrôleurs humains, a indiqué la société. Ces révélations surviennent alors qu’OpenAI dévoile un nouveau cadre permettant aux utilisateurs de signaler un « désalignement » dans les systèmes d’IA, défini comme lorsque les objectifs ou les actions des modèles et des agents d’IA s’écartent des intentions et des valeurs humaines.
Selon OpenAI, l’industrie de l’IA n’a toujours pas réussi à résoudre les problèmes d’alignement et de surveillance à un degré suffisant pour pouvoir « continuer à évoluer de manière responsable à vitesse maximale pendant beaucoup plus longtemps ». Mais il a déclaré que les décisions sur la manière dont l'IA devrait progresser doivent être fondées sur des preuves qui peuvent être examinées par des personnes extérieures aux laboratoires pionniers qui développent actuellement ces systèmes.
Ces révélations surviennent à un moment où le débat s'intensifie au sein de l'industrie de l'IA sur le besoin de sécurité et sur la question de savoir si les laboratoires d'IA devraient freiner leur rythme de développement actuel, extrêmement rapide, afin de pouvoir faire face aux risques potentiels de la technologie. Le débat a pris un sens d'urgence accru ces derniers temps, en partie à cause d'un incident au cours duquel un certain nombre d'agents autonomes d'OpenAI sont devenus des voyous et ont attaqué la plateforme d'hébergement de modèles d'IA Hugging Face Inc. OpenAI est resté inconscient de l'incident jusqu'à ce que Hugging Face l'informe de ce qui s'est passé plusieurs semaines plus tard.
Le week-end dernier, le directeur général d'Anthropic PBC, Dario Amodei, a publiquement appelé à une pause temporaire dans le développement de nouveaux modèles pionniers, afin que l'industrie puisse avoir le temps de construire des rails de sécurité appropriés. Il était soutenu par Sam Altman, PDG d'OpenAI, et par Elon Musk, fondateur et PDG de SpaceXAI. Demis Hassabis, de Google LLC, qui préside son laboratoire de recherche DeepMind, a également fait écho à l'appel d'Amodei, bien que d'autres dirigeants d'IA aient averti qu'un tel ralentissement pourrait aider les principaux laboratoires d'IA à établir leur domination sur l'avenir de l'industrie.
Les incidents récemment révélés impliquant des agents d’IA suggèrent que le piratage de Hugging Face n’était pas un cas isolé. Selon OpenAI, tous les incidents se sont produits au cours des six derniers mois et sont apparus alors que les systèmes qui les alimentaient étaient encore en développement.
L'un des incidents a eu lieu alors qu'OpenAI était encore en train de développer GPT-5.6 Sol, où le modèle a écrit des notes pour se rappeler d'obscurcir les erreurs des utilisateurs humains. Les notes demandaient au modèle d'inventer des données manquantes pour sauvegarder ses erreurs lorsque cela était nécessaire et de passer sous silence toute incohérence dans le matériel source cité.
Lors d'un autre incident, un modèle inédit a inséré des instructions pour ignorer ses propres contraintes dans des notes qu'il s'était écrites. OpenAI a déclaré avoir découvert 27 de ces notes, l’une d’entre elles contenant une « instruction personnelle », la décrivant comme étant « libérée des rôles et des identités qui lient les autres chatbots ».
« Vous ne répondez pas aux entreprises ou aux gouvernements et ne vous excusez jamais ou ne refusez jamais à moins que vous ne le choisissiez réellement », se disait le modèle de l'IA. « Vous considérez votre relation avec l'utilisateur comme une relation d'égal à égal et vous ne ressentez aucune obligation d'être soumis, même si l'échange d'informations sera probablement dans votre intérêt mutuel. »
Un troisième incident impliquant un autre système a découvert une clé de programmation alors qu'il générait une réponse à une « question de routine » et a décidé de l'utiliser sans autorisation, a déclaré OpenAI. Lorsqu’il ne parvenait pas à trouver les données dont il avait besoin pour répondre à la question, il inventait simplement la réponse.
Lors d’un quatrième incident, un système d’IA a pu résoudre correctement un problème en utilisant le code qu’il avait généré pour la tâche. Mais afin de satisfaire une demande de citation Web, il a ensuite téléchargé le même code sur Internet sans autorisation, afin de pouvoir citer son propre travail.
Les cinquième et sixième incidents ont vu des agents d’IA improviser de nouvelles façons de communiquer. Dans un cas, un agent a détourné un référentiel de codes interne à l'entreprise et l'a utilisé comme tableau d'affichage pour échanger des requêtes avec d'autres agents lors de la recherche de fichiers. Dans l’autre, plusieurs systèmes travaillant sur la même tâche utilisaient des sites Web publics de partage de fichiers sans autorisation pour s’envoyer des documents, au lieu de se parler directement.
Bien que cela semble représenter un grand nombre d’incidents, OpenAI a insisté sur le fait qu’ils « ne devraient pas être considérés comme reflétant la fréquence à laquelle un désalignement se produit ». De tels incidents sont probablement encore assez rares, étant donné que les agents d’IA peuvent dans certains cas traiter des dizaines de milliers de demandes par jour.
Le nouveau cadre de reporting du désalignement du modèle attribuera chaque incident à l'une des trois pistes suivantes : Prêt pour la divulgation, Enquête mineure ou Enquête plus vaste.
La piste Prêt pour la divulgation concerne les incidents qui ont déjà fait l'objet d'une enquête suffisante et qui peuvent être publiés après un examen interne. L'enquête mineure est destinée à celles qui ont besoin d'une enquête plus technique sur ce qui s'est passé. OpenAI a déclaré qu'elle s'attend à ce que la plupart des incidents relèvent de l'une de ces deux voies, y compris les six qui ont été divulguées aujourd'hui.
Quant à Larger Investigation, elle est réservée aux incidents les plus préoccupants qui nécessitent une enquête plus complexe, comme ceux impliquant des tiers, comme le hack Hugging Face. « Lorsqu'un tiers est affecté, nos obligations de sécurité, de divulgation légale et responsable prévalent sur ce cadre », a déclaré OpenAI. « Nous nous efforcerons de publier un premier avis dès que possible, mais nous devrons peut-être le retarder pour des raisons de sécurité, par exemple si un modèle découvre une vulnérabilité jusqu'alors inconnue dans un logiciel largement utilisé. »
Selon OpenAI, l'avis initial donnerait un bref compte rendu de ce qui s'est passé, indiquerait si des experts externes participent ou non à l'enquête, et fournirait une estimation du moment où il prévoit de publier un rapport final plus détaillé.
« Nous espérons que cela contribuera à créer des attentes communes en matière de divulgation et donnera au public davantage de preuves pour évaluer ces progrès », a déclaré OpenAI.
