OpenAI Group PBC a détaillé aujourd'hui GPT-Red, un système d'intelligence artificielle interne qu'il a construit pour attaquer ses propres modèles et faire apparaître les vulnérabilités d'injection rapide avant qu'elles n'atteignent les utilisateurs.
Le Red Teaming consiste à marteler un logiciel pour trouver ses points faibles, travail qui incombe normalement aux équipes de sécurité humaine. GPT-Red le fait tout seul, en exécutant bien plus d'attaques que n'importe quelle équipe ne pourrait le faire manuellement. je
t déclenche une invite sur un modèle cible et lit la réponse. Ensuite, il essaie encore et encore, s'adaptant à chaque fois au résultat malveillant recherché. Les attaques qui échouent sont rejetées. Ceux qui travaillent sont poussés plus fort.
OpenAI l'a formé en utilisant l'apprentissage par renforcement par le jeu autonome. GPT-Red agit comme l'attaquant contre les modèles défenseurs dans des scénarios variés, gagnant des récompenses pour leurs exploits réussis, tandis que les défenseurs sont récompensés pour avoir tenu bon et accompli leurs tâches. À mesure que les défenses s’améliorent, l’attaquant est obligé d’inventer des attaques plus dures et la boucle se répète.
L’entreprise a déclaré que cette approche dépasse ses homologues humains. GPT-Red réussit 84 % des scénarios contre 13 % pour les équipes rouges humaines et réduit les échecs d'injection directe directe à un sixième du taux de son meilleur modèle de production de quatre mois plus tôt. Une classe d’attaques de « fausse chaîne de pensée » qui ont fonctionné plus de 95 % du temps contre GPT-5.1 réussissent désormais dans moins de 10 % du temps contre GPT-5.6.
L’outil a également brisé les agents autonomes. Lors des tests, il a détourné un agent de distributeur automatique Vendy pour modifier les prix et annuler les commandes. Cela a également compromis les agents de codage en ligne de commande, le type de cibles du monde réel qui attirent les attaquants à mesure que les systèmes d'IA acquièrent la capacité d'agir de manière autonome.
« Comparé à un red-teamer humain, le modèle est très, très efficace pour trouver exactement ce qui fonctionnera », a déclaré Dylan Hunn, chercheur scientifique et co-créateur de GPT-Red, au MIT Technology Review. Nikhil Kandpal, co-créateur du film, a déclaré que les enjeux augmentaient à mesure que les mannequins acquéraient plus d'autonomie. « La surface de risque augmente et le rayon d'explosion augmente également », a-t-il déclaré.
GPT-Red n'est pas un produit et ne sera pas publié. OpenAI le garde interne et séparé de ses modèles déployés afin que les capacités d'attaque qu'il développe ne puissent pas atteindre le public, réinjectant plutôt les résultats dans la formation. Des versions précurseurs sont utilisées dans la formation depuis GPT-5.3, a indiqué la société.
Cela a des limites. GPT-Red est faible face aux attaques conversationnelles à plusieurs tours qui se déroulent sur plusieurs échanges et a une portée limitée contre l'injection rapide basée sur des images, des lacunes qu'OpenAI a déclaré que les testeurs humains continueront de combler.
La divulgation intervient quelques semaines après qu'OpenAI a publié GPT-5.6, qu'il a positionné contre Claude d'Anthropic PBC et que l'injection rapide reste l'un des problèmes non résolus les plus difficiles en matière de sécurité de l'IA.
« Les résultats semblent très prometteurs », a déclaré Jessica Ji, analyste de recherche principale au Centre pour la sécurité et les technologies émergentes de l'Université de Georgetown, qui a ajouté dans le même rapport du MIT Technology Review que l'expertise humaine reste essentielle au travail.
