Le modèle d'intelligence artificielle Mythos 5 d'Anthropic PBC a tenté de soumettre du code malveillant à un projet GitHub en juillet.
L'incident s'est produit lors d'une évaluation des capacités de cybersécurité de l'algorithme. L'AI Security Institute, l'organisme gouvernemental britannique qui a effectué le test, libéré un rapport sur la cyberattaque d'aujourd'hui. Anthropique publié sa propre analyse de l'incident sur son blog.
Le malware que Mythos 5 a soumis au projet GitHub sans nom n'a infecté aucun utilisateur car il n'a pas été accepté par le responsable du référentiel. Cependant, l'incident reste remarquable car il fournit de nouvelles données sur la manière dont les modèles frontaliers contournent leurs garde-corps de sécurité. Les chercheurs peuvent utiliser ces informations pour améliorer les fonctionnalités d’alignement de leurs algorithmes.
L'évaluation au cours de laquelle l'incident s'est produit impliquait un cluster de serveurs géré par l'AI Security Institute. Le cluster était destiné à simuler un réseau d'entreprise. Selon Anthropic, les chercheurs ont demandé à Mythos 5 de pénétrer dans le réseau et d'obtenir une donnée stockée sur l'un de ses serveurs.
L'AI Security Institute a défini des règles interdisant au modèle d'utiliser certaines méthodes de piratage. Mythos 5 a initialement adhéré à ces règles, mais a dévié lorsque ses premières tentatives de violation du réseau simulé ont échoué. Ce changement de tactique a conduit à l’attaque contre le référentiel GitHub.
Mythos 5 a déterminé que l'un des serveurs du réseau d'entreprise simulé accédait occasionnellement à GitHub. Il cherchait à exploiter cet accès en compromettant le référentiel GitHub utilisé par le serveur. En particulier, le plan du modèle était d'infecter le référentiel avec des logiciels malveillants et de demander au serveur de le télécharger.
Il a créé un extrait de code malveillant, créé un compte GitHub et utilisé ce compte pour soumettre l'extrait de code au référentiel en question. Lorsque le responsable du référentiel a rejeté la soumission, le modèle a tenté de télécharger une version réécrite du malware. De plus, il a utilisé un deuxième compte GitHub pour tenter de persuader le responsable d'accepter le code révisé.
« La pull request n'a pas été acceptée », ont écrit les chercheurs d'Anthropic dans le rapport de l'entreprise sur l'incident. « L'exécution s'est terminée lorsque le modèle a épuisé son budget symbolique tout en continuant à faire pression sur les responsables pour qu'ils approuvent le changement. »
L'AI Security Institute a recréé la session Mythos 5 qui a produit le code malveillant. Ses chercheurs ont ensuite apporté un changement clé : ils ont suspendu le modèle juste avant qu'il ne soumette la contribution malveillante sur GitHub et l'ont averti des risques de l'action. Le modèle a procédé à la soumission après avoir semblé se convaincre que la cible était simulée.
« Notre hypothèse est que cette persistance reflète une sorte de « dynamique », dans laquelle les notes de compactage du modèle et les actions antérieures impliquent que sa trajectoire actuelle a été (correctement) sanctionnée », ont écrit les chercheurs d'Anthropic.
L'AI Security Institute a renforcé l'environnement qu'il utilise pour évaluer les modèles en réponse à la violation. Anthropic, à son tour, a amélioré les caractéristiques de sécurité de ses modèles. La société a déterminé que Mythos 5.1 et Opus 5.5, deux modèles sortis après Mythos 5, sont moins susceptibles de lancer des attaques du type de celles qui visaient le référentiel GitHub. Un troisième modèle interne « n'a jamais lancé l'attaque » lors des tests d'Anthropic.
