OpenAI Group PBC aujourd'hui divulgué que l'un de ses grands modèles de langage inédits peut présenter un risque important en matière de cybersécurité.
L’algorithme, connu sous le nom d’Astra, a été détaillé pour la première fois la semaine dernière. OpenAI a révélé dans un article de blog dimanche que le LLM avait résolu 10 problèmes mathématiques de longue date. La société a publié les épreuves et a révélé que chacune nécessitait environ 2 000 $ de jetons à générer.
Dans le cadre de ses efforts en matière de sécurité de l'intelligence artificielle, OpenAI a publié un document de 29 pages connu sous le nom de Preparedness Framework. L'une des sections du document contient un système de notation des risques liés à l'IA. Le système classe les risques de cybersécurité posés par un LLM comme étant « élevés » ou « critiques » en fonction de ses capacités.
Le modèle phare GPT-5.6 Sol d'OpenAI et quelques algorithmes antérieurs ont reçu une note élevée. Selon la société, Astra est le premier de ses LLM pouvant prétendre à une désignation critique. Ses ingénieurs ont tiré cette conclusion sur la base d’une série de tests récents de cybersécurité.
« Ces résultats, en plus des évaluations d'experts, nous ont amenés à conclure hier soir que nous ne pouvons pas exclure des cybercapacités critiques », a déclaré OpenAI dans un article de blog.
Dans le cadre du cadre de préparation, un modèle pose un risque critique de cybersécurité s’il peut détecter des exploits zero-day dans « de nombreux systèmes critiques renforcés du monde réel ». Le modèle est admissible si ces exploits couvrent plusieurs niveaux de gravité et sont découverts sans aucune assistance humaine.
OpenAI désigne également un LLM comme critique s'il peut lancer des cyberattaques contre des systèmes renforcés sur la base uniquement d'un objectif de piratage de haut niveau fourni par un utilisateur. L'entreprise n'a pas précisé lequel de ses deux critères de désignation était rempli par Astra. Cependant, il a partagé des détails sur la manière dont il gère le risque.
OpenAI prend des mesures pour garantir qu'Astra ne puisse pas accéder au Web public. Selon l'entreprise, ses ingénieurs exécuteront le modèle dans des environnements de test dotés d'autorisations restreintes d'utilisation du réseau et des outils. OpenAI suspend les activités de développement qui ne sont pas effectuées dans de tels bacs à sable.
L'entreprise intensifie également ses efforts pour empêcher les pirates informatiques de voler le code d'Astra. Selon le blog d'aujourd'hui, l'initiative mettra un accent particulier sur le cryptage qui protège les poids du LLM. Ce sont les paramètres de configuration qui déterminent la manière dont un modèle traite les données.
OpenAI utilise Astra pour alimenter un certain nombre d'agents d'IA internes. La société a mis en place des mécanismes d’observabilité qui surveillent ces agents à la recherche d’activités malveillantes. Le mécanisme détecte les comportements suspects en analysant la chaîne de pensée des agents, un résumé étape par étape des activités d'inférence.
OpenAI partagera certains des flux de travail de cybersécurité qu'il a développés avec des « partenaires de test tiers ». Ces partenaires aident le développeur ChatGPT à exécuter les sandbox dans lesquels il évalue les capacités de ses LLM. De plus, OpenAI prévoit de faire appel aux agences gouvernementales compétentes et aux organisations de sécurité de l'IA.
