Un chercheur d’Anthropic PBC a démissionné, craignant que les laboratoires d’intelligence artificielle « jouent avec nos vies ».
Jacob Coxon faisait jusqu'à aujourd'hui partie de l'équipe de pré-formation en IA de l'entreprise. Il a annoncé sa démission dans un série de X posts qui ont été consultés des millions de fois. Coxon a écrit que sa décision était motivée par des préoccupations concernant l'auto-amélioration récursive, ou RSI. C’est un terme désignant une hypothétique future IA capable d’améliorer automatiquement ses propres capacités.
« Ce seront bientôt des systèmes surhumains capables de pirater n'importe quoi, de révolutionner n'importe quel domaine du jour au lendemain et d'acquérir un pouvoir et des ressources réels », a écrit Coxon. « Ceux qui construisent l’IA croient sincèrement qu’elle pourrait tous nous tuer d’ici la fin de la décennie. »
Evan Hubinger, responsable scientifique de l'alignement chez Anthropic, a réaffirmé ce dernier point dans un Message X. « Jacob a raison ici : nous croyons sincèrement que l'IA pourrait tuer tous les humains ! Personnellement, je pense que ce chiffre sera supérieur à 10 % au cours de la prochaine décennie », a-t-il écrit.
Aucun laboratoire d'IA n'a encore annoncé une implémentation fonctionnelle de RSI. Cependant, Anthropic et OpenAI Group PBC utilisent déjà l’IA pour automatiser les tâches de développement de modèles. En avril, l'ancienne société révélé que Claude avait réalisé une expérience de recherche sur l'IA avec un apport humain minimal. Le projet s'est concentré sur l'atténuation des risques posés par les grands modèles de langage.
La démission de Coxon a suscité des réactions non seulement de la part de Hubinger mais aussi des centaines d'autres observateurs de l'industrie. Beaucoup ont exprimé leur inquiétude quant aux préoccupations qu'il a soulevées, tandis que d'autres ont exprimé des doutes. Certains commentateurs ont souligné que la démission de Coxon pourrait avoir des implications sur la prochaine introduction en bourse d'Anthropic. « Si Anthropic est intellectuellement honnête ; alors ce risque apparaîtrait mieux sur leur S-1″, a tweeté l'investisseur et chercheur en IA Azeem Azhar. « Ce sera le meilleur test pour savoir s'ils y croient sérieusement. »
Un certain nombre de législateurs ont également réagi à la nouvelle. Le sénateur du Vermont Bernie Sanders a écrit sur X que « je présenterai bientôt une législation pour interdire la superintelligence et suspendre le développement de l’IA ». La représentante du Massachusetts, Lori Trahan, qui a récemment présenté un projet de loi visant à réglementer les modèles d'IA avancés, a déclaré qu'« il est grand temps pour le Congrès de se mettre à l'écart et de faire son travail ».
La démission de Coxon fait suite à plusieurs avancées marquantes dans la recherche sur l'IA.
Mardi, OpenAI a révélé qu'un modèle inédit avait résolu l'un des problèmes ouverts les plus difficiles en mathématiques. L’algorithme a trouvé une faille dans un ensemble d’équations que les scientifiques utilisent pour étudier le mouvement des fluides. Les équations de Navier-Stokes, comme on les appelle, ont des applications dans des domaines allant des soins de santé à la conception automobile.
La semaine dernière, Anthropic a utilisé Claude pour développer une version vérifiable par ordinateur d’une preuve mathématique importante. L’IA l’a créé en 11 jours au lieu des années que la tâche était censée prendre.
Coxon rejoint un nombre croissant de chercheurs en IA qui ont exprimé leurs inquiétudes face à l'avancée rapide des modèles pionniers. Dimanche, Jakub Pachocki, scientifique en chef d'OpenAI exhorté l’industrie technologique pour ralentir le développement de l’IA. En juillet, un groupe de chercheurs signé une lettre ouverte qui mettait en garde contre les risques liés aux modèles frontières auto-améliorés.
