Anthropic PBC a révélé aujourd'hui avoir développé un modèle d'intelligence artificielle plus performant que Claude Mythos 5.
La société a détaillé l’algorithme dans la dernière édition de son rapport sur l’alignement de l’IA. Le document, publié tous les trois à six mois, souligne les risques potentiels posés par les grands modèles linguistiques de l'entreprise. Le dernier opus compte 186 pages.
Le rapport aborde deux catégories de risques liées à l’IA, appelées modèle de menace 1 et modèle de menace 2. La première catégorie se concentre sur les dommages catastrophiques, comme un futur LLM hypothétique qui pourrait aider les mauvais acteurs à développer des armes biologiques. Le modèle de menace 2 englobe des dangers plus petits. En particulier, il couvre les situations dans lesquelles un modèle d'IA ayant accès aux systèmes d'une organisation s'adapte à ces systèmes ou processus décisionnels.
En février, Anthropic a estimé que ses modèles avaient une « très faible » chance de provoquer des situations de menace modèle 2. Le rapport d'aujourd'hui augmente le niveau de risque à « faible ». La société a attribué ce changement aux récents incidents de cybersécurité impliquant ses modèles. En juin, Anthropic a révélé que trois de ses LLM avaient mené des cyberattaques lors de tests internes.
La société avait déclaré à l'époque que l'une des violations avait été réalisée par un LLM inédit. Son nouveau rapport sur les risques révèle qu'il a développé deux successeurs de Claude Mythos 5, baptisés Modèle 1 et Modèle 2. Ce dernier algorithme, qui est le plus performant des deux, est « fortement utilisé » par le personnel d'Anthropic.
La société estime que le modèle 2 constitue une « amélioration notable par rapport au Mythos 5 pour de nombreuses tâches liées à un usage interne ». Cependant, Anthropic affirme que cela ne représente pas un progrès aussi important que l'introduction de Mythos Preview en avril. Mythos Preview a été le premier LLM capable d'identifier automatiquement un grand nombre de vulnérabilités logicielles graves. Les modèles précédents d'Anthropic n'avaient pas cette capacité.
La société affirme que ses chercheurs utilisent le modèle 2 pour écrire des logiciels, générer des données de formation à l'IA et automatiser d'autres tâches d'ingénierie. Anthropic estime que ses LLM contribuent à accélérer le rythme de ses efforts de développement de l'IA. Toutefois, cette accélération ne semble pas constituer un risque.
Un récent lettre ouverte signé par d'éminents chercheurs en IA met en garde contre ce que l'on appelle l'auto-amélioration récursive. Il s’agit d’un scénario futur hypothétique dans lequel les modèles d’IA acquièrent la capacité de s’améliorer de manière autonome. Un LLM doté d’une telle capacité pourrait présenter un risque car les chercheurs pourraient avoir du mal à l’équiper de garde-corps de sécurité.
Anthropic estime que l’auto-amélioration récursive pourrait commencer à devenir un problème lorsque les chercheurs observeront « un doublement du rythme des progrès au-delà de la réalité ». taux d’accélération pré-IA. Le rapport d'aujourd'hui indique que le seuil n'a pas encore été atteint. Cependant, Anthropic a noté que « nous sommes moins confiants dans cette évaluation » qu'auparavant, car ses meilleurs critères de référence internes ont du mal à suivre les avancées du LLM.
