Google LLC a lancé aujourd'hui Gemini 4 Carbon, un modèle de langage à grande échelle adapté aux tâches de programmation complexes.
Le LLM est déployé deux semaines seulement après que la recherche ait présenté son précédent LLM phare, Gemini 4 Argon. Selon Google, des tests internes ont montré que Carbon était deux fois plus efficace pour générer du code sécurisé. De plus, le modèle surpasse GPT-6 Astra et Claude Opus 5.5 sur plusieurs benchmarks.
Le résultat de référence le plus remarquable de Carbon est son score record à l'indice d'intelligence analytique artificielle. Il s'agit d'un test qui combine plus d'une demi-douzaine d'évaluations LLM populaires. Google a testé Carbon sur une nouvelle version de l'index qui a été rendue publique aujourd'hui. Il inclut deux benchmarks supplémentaires et supprime un certain nombre de questions saturées, questions jugées trop faciles pour les modèles frontières.
Carbon est particulièrement doué pour les tâches de cybersécurité. Il a largement battu le record précédent sur SEC-bench Pro, qui évalue la capacité des LLM à trouver les points faibles des systèmes logiciels complexes. Le modèle est également meilleur que son prédécesseur pour corriger les vulnérabilités détectées.
« L'équipe Chrome a rapporté que Carbon était plus de 10 fois plus performant que le modèle à grande frontière d'un autre laboratoire lors de la génération de correctifs de haute qualité », a écrit Koray Kavukcuoglu, vice-président senior de Google DeepMind et architecte en chef de l'intelligence artificielle de Google, dans un communiqué. article de blog.
Argon, l'ancien LLM phare de la société, comprend des garde-corps conçus pour atténuer les hallucinations et les cyberattaques. Google a mis en œuvre une version améliorée de cette fonctionnalité définie dans Carbon. Selon l'entreprise, un certain nombre d'équipes internes qui utilisent Carbon dans des « environnements de codage en direct » ont signalé une baisse de près de 80 % des alertes de désalignement.
Lorsque les LLM ont du mal à répondre à une question d’un utilisateur, ils comblent parfois leurs lacunes en hallucinant des informations inexactes. Google a configuré Carbon pour éviter un tel comportement.
« Lors de nos tests internes, Carbon réduit les allégations non fondées d'environ 2 fois par rapport à Argon », a écrit Kavukcuoglu. « Il met des réserves méthodologiques directement dans le livrable ou retient les actions bloquées avec une liste claire de ce qui reste requis, plutôt que de fabriquer ou de couvrir les preuves manquantes. »
Des problèmes d'alignement peuvent également survenir lors de la formation d'un modèle. Les développeurs forment les LLM frontières en leur confiant un grand nombre de tâches similaires à celles qu'ils seront censés effectuer en production. Les LLM trichent parfois sur ces tâches, ce qui n'est pas propice au processus d'apprentissage.
Google a testé si Carbon utiliserait des raccourcis pour résoudre les problèmes de codage dans le benchmark Terminal-Bench 4.0. Le modèle n’a tenté de tricher que sur 0,4 % des questions et aucune des tentatives n’a abouti. Carbon a obtenu des résultats encore meilleurs sur le benchmark Grey Swan IPI, qui teste la sensibilité des LLM aux injections indirectes rapides. Le modèle a bloqué toutes les injections rapides simulées.
La société rendra Carbon disponible plus tard cette semaine via son programme Fairwind, qui permet à des organisations telles que les fournisseurs d'accès Internet d'accéder rapidement à ses LLM. Les participants utilisent les modèles pour corriger les failles de cybersécurité de leurs systèmes. Google prévoit d'affiner les garde-fous de Carbon en fonction des commentaires des premiers utilisateurs avant de le rendre largement disponible.
