Anthropic PBC a tiré la sonnette d'alarme sur le rythme rapide du développement de l'intelligence artificielle et appelle les plus grands laboratoires d'IA du monde à envisager de freiner brutalement.
Dans un article de blog publié aujourd'hui, la société a averti que les systèmes d'IA se rapprochent du point où ils pourraient bientôt être capables de s'améliorer sans surveillance humaine, et a déclaré qu'atteindre ce seuil pourrait entraîner des perturbations sociétales massives.
La solution proposée par la startup consiste à conclure un accord coordonné à l'échelle mondiale pour suspendre temporairement ou au moins ralentir le rythme de développement de nouveaux modèles pionniers. Dans le billet de blog, Marina Favaro, responsable de la recherche interne chez Anthropic, et Jack Clark, responsable des politiques, ont affirmé qu'une pause donnerait au monde la marge de manœuvre dont il a besoin pour s'adapter au rythme de croissance rapide de l'IA.
Les deux auteurs affirment que les avancées en matière de modèles semblent se rapprocher d’un concept théorique connu sous le nom d’« auto-amélioration récursive », qui fait référence à des systèmes d’IA capables de s’améliorer de manière indépendante et d’étendre leurs propres capacités, simplement en écrivant leur propre code. Ils reconnaissent que cela ne s’est pas encore produit et n’est pas nécessairement inévitable, mais ils préviennent également que cela pourrait se produire – bien plus tôt que prévu. Selon Clark, il y a des raisons de croire que certains modèles pourraient être capables de s'auto-améliorer de manière récursive en seulement deux ans.
« Nous pensons qu'il serait bon que le monde ait la possibilité de ralentir ou de suspendre temporairement le développement de l'IA pour permettre aux structures sociétales et à la recherche d'alignement de suivre les progrès de la technologie », ont suggéré les auteurs.
Il y a des raisons d’écouter Anthropic lorsqu’il lance un avertissement aussi désastreux. La société a récemment conclu un cycle de financement massif de 65 milliards de dollars qui a porté sa valorisation à près de 1 000 milliards de dollars, et cette semaine, elle a déposé des documents auprès de la Securities and Exchange Commission indiquant son intention d'être cotée sur le marché public. Il est devenu l'un des pionniers dans une concurrence intense pour la suprématie du marché avec le développeur de ChatGPT, OpenAI Group PBC, qui devrait également lancer prochainement une introduction en bourse.
Cependant, Anthropic, qui a soigneusement cultivé une image de prudence et de défense de la sécurité publique, a également été accusée de tirer parti de la politique pour tenter de ralentir les avancées de ses concurrents. David Sacks, investisseur en capital-risque et conseiller informel du président américain Donald Trump, a déjà accusé l'entreprise de mener un « programme de capture réglementaire ». Il affirme que l’entreprise utilise la peur de manière calculée pour encourager des réglementations sévères qui interdiraient essentiellement les modèles open source à moindre coût afin de renforcer la popularité de ses propres algorithmes propriétaires.
La question de savoir si un tel ralentissement est réalisable est hautement discutable. Imposer une pause mondiale dans le développement de l’IA serait probablement presque impossible. Anthropic a admis que cela nécessiterait probablement quelque chose de similaire aux traités de la guerre froide qui ont ralenti le rythme de la prolifération des armes nucléaires, mais a déclaré qu'il était beaucoup plus facile de masquer les entraînements à l'IA que de dissimuler les silos de missiles. À moins qu’un régime de vérification à toute épreuve ne soit mis en place, avec la coopération de pays comme la Chine, toute pause risquerait de créer un scénario dans lequel des nations concurrentes ignoreraient simplement la pause et prendraient la tête du développement de l’IA.
Quoi qu’il en soit, les auteurs ont déclaré qu’ils avaient l’intention de poursuivre cette idée. Anthropic Institute, l'organisme de recherche interne de l'entreprise qui se consacre à comprendre et à façonner l'impact de l'IA sur le monde, continuera à collaborer avec d'autres sur les moyens « d'aider à construire des systèmes qu'exigerait un ralentissement ou une pause crédible ».
La société a déclaré qu'elle tenterait d'organiser un débat plus large avec les décideurs politiques et les chercheurs en IA pour tenter de répondre aux questions sur la probabilité d'une amélioration auto-récursive et à quoi pourrait ressembler un système de vérification.
« En l’absence d’un ralentissement mondial coordonné, nous nous retrouvons dans la situation actuelle : une technologie puissante est développée à une vitesse vertigineuse par une variété d’acteurs dans une variété de pays, enfermés dans une concurrence les uns avec les autres où les rivalités commerciales et géopolitiques noient les aspects existentiels plus larges de la technologie en cours de construction », écrivent les auteurs.
