Google LLC a lancé aujourd'hui l'API Gemini Decisions, un service d'intelligence artificielle conçu pour répondre aux questions des utilisateurs de manière rentable.
Il est alimenté par un nouveau modèle d'IA appelé Gemini Decision 1.
Les grands modèles de langage traditionnels sont conçus pour répondre à un large éventail de demandes. Gemini Decision 1 a un objectif beaucoup plus restreint : il ne peut traiter que trois types de questions. L’avantage est qu’il répond à ces questions à un coût nettement inférieur. Selon Google, le modèle est près de cinq fois moins cher que son Gemini 3.5 Flash-Lite LLM d'entrée de gamme.
Le modèle peut répondre à des questions oui-non, à des questions à choix multiples et à des invites qui lui demandent d'évaluer un élément sur une échelle spécifiée par l'utilisateur. Une équipe de cybersécurité pourrait par exemple demander au modèle d’évaluer la gravité d’une alerte antivirus sur une échelle de 1 à 10.
Les invites Gemini Decision 1 comprennent deux éléments : les questions de l'utilisateur et l'ensemble de données auquel ces questions se rapportent. L'ensemble de données peut inclure jusqu'à 256 000 jetons de texte, audio, images, vidéo ou une combinaison de ceux-ci.
Les LLM génèrent généralement un texte verbeux et fluide en réponse aux questions des utilisateurs. La décision Gemini 1, en revanche, produit des réponses laconiques telles que « oui » ou « non ». Il affiche également un score qui indique son degré de confiance dans l'exactitude d'une réponse donnée. Ce score aide les applications à décider si elles doivent utiliser la sortie.
Les réseaux de neurones conçus pour générer de brèves réponses à des questions simples sont appelés modèles de décision. Le premier modèle de ce type, Jev, a été lancé à la mi-septembre par une startup appelée TypeSafe AI Inc. Il a gagné un million d'utilisateurs en quelques jours. Trois semaines après le lancement, TypeSafe soulevé 870 millions de dollars pour une valorisation de 7,5 milliards de dollars.
Les modèles de décision peuvent répondre à un ensemble restreint de questions pour lesquelles ils sont optimisés plus rapidement que les LLM. De plus, ils sont plus faciles à intégrer dans les applications. Une application qui alimente certaines de ses fonctionnalités à l’aide d’un modèle d’IA doit vérifier la sortie du modèle pour détecter les erreurs et filtrer les détails redondants avant de l’ingérer. Les réponses concises et structurées des modèles de décision simplifient les deux tâches.
« Gemini Decision 1 évalue les options sans décodage jeton par jeton, gardant une latence médiane de 50 à 100 ms de calcul du modèle (150 à 250 ms de bout en bout), sur des entrées et des contextes multimodaux jusqu'à 16 000 jetons, restant presque stable de 1 à 100 questions par requête », ont écrit Min Choi, chef de produit Google DeepMind, et Felix Yu, scientifique principal, dans un communiqué. article de blog.
Google a vérifié comment Gemini Decision 1 se compare à l'API Decisions de Jev et OpenAI Group PBC, un service concurrent lancé le mois dernier. Le géant de la recherche affirme que son modèle a obtenu de meilleurs résultats sur sept des neuf benchmarks qu'il a testés. Cependant, Jev s'est avéré légèrement plus rentable.
Gemini Decision 1 est disponible via l'API Gemini Decisions pour 10 cents pour 1 million de jetons d'entrée. Google ne facture pas les jetons de sortie. L'algorithme est également accessible via un niveau gratuit limité dans Google AI Studio, un service que les développeurs peuvent utiliser pour se familiariser avec les modèles du géant de la recherche.
