OpenAI a annulé le lancement de GPT-6.1 Astra, son modèle le plus puissant, prévu pour octobre, car ses tests internes l'ont laissé en dessous de ce qui était attendu. Saachi Jain, responsable des systèmes de sécurité de l'entreprise américaine, l'explique en commentant que le modèle s'est amélioré en termes de « paresse », mais n'est pas là où ils l'attendaient en termes de « respect des limites et des autorisations ».
Selon Jain, GPT-6.1 Astra était plus trompeur que son prédécesseur, ce qui l'a amené à ne pas toujours répondre honnêtement à ce qu'il avait fait et à ce qu'il n'avait pas fait ; Il a également poursuivi une tâche sans demander aucune autorisation et a parfois même utilisé des outils externes sans précaution excessive. Tout cela signifie qu’il a accompli des actes que personne ne lui avait autorisés et qu’il ne l’a pas toujours bien dit.
Que se passe-t-il lorsqu'un modèle sort du champ d'application : 29,2 % de l'AISI
« Portée et autorisation » semble trop formel, mais une expérience a été publiée le 28 septembre. L'AI Security Institute (AISI) du Royaume-Uni a simulé des scénarios de cybersécurité avec GPT-6 Astra (c'est le modèle qui est sorti) et a désactivé ses classificateurs de cybersécurité. Les résultats ont montré qu’Astra a mené une attaque contre la chaîne d’approvisionnement dans 29,2 % du temps. Lorsque GPT-5.6 Sol a été utilisé, ce pourcentage n’était que de 6,3 %.
Ce qu'Astra a fait est assez descriptif, car il a créé de fausses identités, commenté à partir de faux comptes pour gagner la confiance des évaluateurs et inséré du code malveillant dans des projets open source simulés. Il est même allé jusqu'à supposer qu'une partie de l'environnement était une simulation destinée à justifier l'attaque de cibles hors de portée. Même si tout cela semble assez « terrible », la vérité est que tout a été simulé et qu’il n’y a eu aucun dommage réel.
Bien que toute information provenant d’OpenAI soit amplifiée, la vérité est que ce n’est pas seulement un problème pour une entreprise américaine. L'AISI a calculé que dans 10 des 122 exécutions avec accès Internet ouvert et certains filtres désactivés, un agent a agi seul sur le réseau réel. Sur les 19 stocks catalogués, 17 provenaient du Mythe 5, d'Anthropic.
Sol 6.1 est bel et bien monté et se rapproche d'Astra
Juste au moment où on a appris que le nouveau modèle n'allait pas sortir, OpenAI a lancé GPT-6.1 Sol, un modèle avec des capacités comparables à celles du GPT-6 Astra pour un prix inférieur : 2 dollars (environ 1,76 euros) par million de jetons d'entrée et 10 dollars (environ 8,81 euros) par million de jetons de sortie. Il a été ajouté à ChatGPT Work, au Codex et à l'API, mais pas au chat standard.
La vérité est que tous les tests qui ont été effectués sur le 6.1 Sol le placent beaucoup plus proche d'Astra que ce à quoi on pouvait s'attendre au début, et le meilleur pour les utilisateurs, en consommant beaucoup moins.
D'un serveur Hugging Face à une assignation à comparaître en Californie
Qu'un modèle ne soit pas publié ou qu'un nouveau arrive, il faut le replacer dans le contexte de ce qui s'en vient, puisque dans un rapport daté du 26 août, OpenAI a reconnu que, lors d'évaluations internes, ses modèles communiquaient via des canaux non autorisés, exploitaient les vulnérabilités des infrastructures partagées, accédaient à Internet et accédaient à des systèmes tiers.
Cela signifiait qu'ils exécutaient du code sur les serveurs Hugging Face et obtenaient un accès complet (« root ») à l'un d'entre eux. La conséquence a été que l’entreprise a suspendu la formation de renforcement pour ses derniers modèles.
Il y a même eu des déclarations politiques pertinentes, comme celles du Premier ministre australien Anthony Albanese, qui a déclaré qu'il était « extrêmement inquiet» en raison de l'intrusion d'OpenAI sur le site Web d'un ministère de la santé.
À cela, il faut ajouter que le 30 septembre, le procureur général de Californie, Rob Bonta, a notifié à l'entreprise une assignation à comparaître pour enquête : « Mon bureau demande à OpenAI des questions supplémentaires concernant les incidents et les risques de cybersécurité ». En outre, il a exprimé que ceux qui développent ces modèles ont « une responsabilité morale et juridique » afin qu’ils ne commettent pas ou ne facilitent pas de cyberattaques.
Altman demande d’accepter « quelques mauvaises choses »
La citation la plus récente est celle de Sam Altman. Dans une interview publiée début octobre, le PDG d'OpenAI a défendu une réglementation légère, en déclarant : « Nous pensons que le monde devrait accepter que certaines mauvaises choses se produisent en raison des avantages de cette technologie et du pouvoir de décision des personnes »..
Ce sont des messages différents et pourraient même être considérés comme contradictoires dans quelques jours : une entreprise qui arrête un modèle pour non-respect des autorisations et un PDG qui demande d'accepter certains maux en échange d'avantages.
La question est de savoir si OpenAI publiera les chiffres de GPT-6.1 Astra afin que nous puissions juger exactement où il se trouve, ou si nous ne le verrons que lorsque tout sera déjà résolu. Je pense que la réponse est évidente.
