La startup de modèles de langage de diffusion Inception AI Inc. a publié aujourd'hui Mercury 3, son nouveau modèle phare.
Dans les propres benchmarks de l'entreprise, Mercury 3 a battu GPT-6 Luna d'OpenAI Group PBC et Claude Haiku 5.5 d'Anthropic PBC sur huit des 12 tests à quatre à huit fois leur vitesse.
La version aborde le principal doute sur l'approche d'Inception. Le co-fondateur et directeur général Stefano Ermon a déclaré que la question la plus fréquemment posée à l'entreprise depuis Mercury 1 « est de savoir si la diffusion peut être étendue ». Selon lui, les limites se résument « au calcul et aux données, et non aux barrières algorithmiques fondamentales ».
GPT-6 Luna et Haiku 5.5 écrivent leurs réponses de manière conventionnelle, un jeton après l'autre. Un modèle Mercury rédige toute la réponse dès le départ, puis affine chaque position en parallèle en quelques passes. Inception a cadencé Mercury 3 à 1 068 jetons par seconde sur les unités de traitement graphique Nvidia Corp., Haiku 5.5 atteignant environ 240 dans la même comparaison et GPT-6 Luna environ 130.
Inception n'a pas divulgué le nombre de paramètres pour Mercury 3, affirmant seulement qu'il est plus de 40 fois la taille de Mercury 1. La fenêtre contextuelle atteint 1 million de jetons, contre 260 000 gérés par Mercury 2.5. Ermon a déclaré que la formation sur le successeur de Mercury 3 était déjà en cours.
Parmi les résultats de référence, l'avance la plus large de Mercury 3 sur GPT-6 Luna est venue dans le codage, où il a obtenu un score de 51,1 sur SWE-Bench Atlas contre 33,3 pour le modèle OpenAI et 32,3 pour Haiku 5.5. Le nouveau modèle était à la traîne de Haiku 5.5 sur DeepSWE, un deuxième benchmark de codage, de 46,3 à 51,6, et sur un test en contexte long. GPT-6 Luna en a remporté deux autres avec moins d'un point chacun. Aucun groupe extérieur n'a encore publié ses propres résultats sur le modèle.
Les premiers clients intègrent Mercury 3 dans des produits où les utilisateurs remarquent chaque retard. Kuan Zou, fondateur et directeur général de la startup de recherche en temps réel Octen AI, a déclaré que sur les lunettes intelligentes, « une réponse qui prend cinq secondes semble cassée ». Le temps de génération médian dans les tests d'Octen était de 0,9 seconde. Sur l'application de tutorat RevisionDojo, le co-fondateur et directeur de la technologie, Michael Tong, a déclaré que les indices et les réponses marquées revenaient désormais en une seconde environ.
Mercury 3 répertorie 20 cents par million de jetons d'entrée et 70 cents par million de jetons de sortie, avec une entrée en cache 90 % moins chère. Une promotion de lancement réduit de moitié les deux tarifs pour le moment. GPT-6 Luna et Haiku 5.5 listent chacun 10 cents et 50 cents pour les invites typiques. Les développeurs peuvent accéder au nouveau modèle sur la propre plate-forme d'Inception ou via OpenRouter Inc., Baseten Labs Inc. et Vercel Inc., et les logiciels déjà écrits pour l'interface de programmation d'applications d'OpenAI ne nécessitent que des modifications mineures pour l'appeler.
Microsoft était en pourparlers pour acquérir Inception en mai, selon un rapport de Reuters selon lequel la startup voulait plus d'un milliard de dollars. Space Exploration Technologies Corp. a également contacté l'entreprise, a indiqué Reuters. Aucun accord avec l'un ou l'autre des prétendants n'a été annoncé.