Le laboratoire chinois d'intelligence artificielle Moonshot AI a levé 2 milliards de dollars de financement pour une valorisation dépassant les 20 milliards de dollars.
TechCrunch signalé l'accord aujourd'hui, citant une publication sur les réseaux sociaux d'une société de conseil en investissement impliquée dans l'accord. Le cycle de financement a été mené par la branche capital-risque de Meituan, la plus grande entreprise chinoise de livraison de nourriture. Plusieurs autres investisseurs ont également participé.
L'investissement intervient quelques semaines après Moonshot AI libéré son nouveau modèle d'IA. Kimi-K2.6 est un grand modèle de langage open source avec environ 1 000 milliards de paramètres. Il comprend 384 experts, des réseaux de neurones miniatures optimisés chacun pour un ensemble de tâches différent.
Lorsqu'un LLM reçoit une invite, il utilise un mécanisme dit d'attention pour identifier et hiérarchiser les parties les plus importantes de la demande. Le mécanisme d'attention stocke ses résultats dans une structure de données appelée cache KV. L'une des fonctionnalités phares de Kimi-K2.6 est un module qui compresse son cache KV dans un espace latent, une représentation mathématique abstraite avec une empreinte mémoire plus petite.
Moonshot AI propose ses LLM aux côtés d'algorithmes plus spécialisés. L'un d'eux est Kimi-VL, un modèle de langage de vision open source optimisé pour traiter les données visuelles. Il est particulièrement doué pour extraire des informations à partir de vidéos.
L’entreprise investit non seulement dans le développement de modèles open source, mais également dans la recherche fondamentale sur l’IA. L'année dernière, il libéré une version améliorée de Muon, un outil logiciel qui réduit la quantité de matériel nécessaire pour entraîner les couches cachées. Ce sont les parties d'un LLM qui effectuent la plupart des calculs impliqués dans le traitement des invites.
La version originale de Muon ne prend en charge que des modèles d'IA relativement petits. En revanche, la mise en œuvre de Moonshot AI peut optimiser les LLM avec plus de 10 milliards de paramètres.
Quelques mois après la sortie de la mise à niveau Muon, la société a lancé un autre projet de recherche appelé Kimi Delta Attention. Il permet aux LLM de traiter plus rapidement des invites volumineuses contenant jusqu'à 1 million de jetons. De plus, la technologie réduit la quantité de mémoire nécessaire à la tâche.
Moonshot AI monétise ses technologies open source avec un service de chatbot payant appelé Kimi. Il est disponible en cinq niveaux d'abonnement avec des limites d'utilisation différentes. Les clients ont également accès à Kimi Code, un agent IA conçu pour accélérer les tâches de programmation. Les revenus annualisés générés par les produits payants de Moonshot AI auraient dépassé les 200 millions de dollars avant l'augmentation de capital récemment annoncée.
L'un des principaux concurrents de l'entreprise pourrait bientôt clôturer lui-même un important tour de table. DeepSeek, la startup chinoise à l'origine de la populaire série LLM du même nom, est aurait en pourparlers pour lever son premier investissement extérieur. L'accord devrait le valoriser à 45 milliards de dollars.
