Moonshot AI a publié aujourd'hui Kimi-K2.6, le dernier ajout à sa populaire série Kimi de grands modèles de langage open source.
La startup chinoise d'intelligence artificielle affirme que l'algorithme surpasse GPT-5.4 et Claude Opus 4.6 dans plusieurs benchmarks d'IA.
Chacun des neurones artificiels d'un LLM comprend des modules appelés poids qui hiérarchisent les données d'entrée en fonction de leur pertinence. À partir de là, les données sont envoyées à un algorithme appelé fonction d’activation. Il traite l'entrée et détermine ensuite si la sortie est suffisamment précieuse pour être partagée avec d'autres neurones.
Kimi-K2.6 implémente une fonction d'activation connue sous le nom d'unité linéaire Swish-Gated, ou SwiGLU en abrégé. Il est plus efficace sur le plan matériel que les algorithmes précédents et simplifie le processus de formation LLM à certains égards. L'algorithme a été intégré dans plusieurs autres familles LLM open source en plus de Kimi, notamment la série Llama de Meta Platforms Inc.
Les neurones de Kimi-K2.6 sont organisés en 384 réseaux de neurones dits experts, chacun optimisé pour un ensemble de tâches différent. Lorsque le LLM reçoit une invite, il n'utilise que 8 experts pour générer une réponse. La réduction du nombre de réseaux de neurones impliqués dans le traitement des entrées utilisateur réduit l'utilisation du matériel.
Les réseaux neuronaux de Kimi-K2.6 utilisent une technologie appelée MLA, ou attention latente multi-têtes, pour identifier la partie la plus importante d'une invite. Il s'agit d'une version plus efficace sur le plan matériel du mécanisme d'attention standard trouvé dans les LLM. La technologie fonctionne de la même manière, sauf qu'elle compresse les données qu'elle traite dans une représentation mathématique légère afin de réduire les exigences matérielles.
Les réseaux neuronaux de Kimi-K2.6 sont pris en charge par un encodeur de vision doté de 400 millions de paramètres. Il transforme les images en intégrations, représentations mathématiques que le LLM peut plus facilement comprendre. L'encodeur de vision permet au Kimi-K2.6 de traiter non seulement les invites textuelles mais également les entrées multimédias.
Selon Moonshot AI, le modèle peut transformer de simples instructions utilisateur et des croquis d'interface en sites Web complets. Lorsque le LLM se voit confier une tâche plus complexe et plus longue, il peut lancer jusqu'à 300 agents pour accélérer le flux de travail. Les agents décomposent une tâche en sous-étapes et les exécutent en parallèle, ce qui est plus rapide que de les réaliser les unes après les autres.
Kimi-K2.6 peut éventuellement intégrer des travailleurs humains en boucle à l'aide d'une fonctionnalité appelée groupes de griffes. Selon Moonshot AI, cela permet au LLM de répartir le travail impliqué dans un projet entre les humains et les agents. Kimi-K.26 est également meilleur que son prédécesseur dans certaines autres tâches, notamment le développement de Rust. Rust est un langage de bas niveau avec une syntaxe complexe qui est principalement utilisé pour programmer des appareils connectés.
Moonshot AI a comparé Kim-K.26 à GPT-5.4 et Claude Opus 4.6 sur plus de deux douzaines de benchmarks populaires. Selon l'entreprise, son algorithme a surpassé les deux LLM frontières ou s'est rapproché de quelques points de pourcentage de leurs scores dans la plupart des tests.
L'une des évaluations que Kim-K.26 a réalisées le plus efficacement est HLE-Full, qui se classe parmi les références les plus difficiles de l'écosystème de l'IA. Il comprend environ 2 500 questions de niveau doctorat couvrant plus de 100 domaines universitaires. Kim-K.26 a obtenu 54 tandis que Opus 4.6 et GPT 5.4 ont obtenu respectivement 53 et 52,1 points.
