Microsoft Corp. a développé un nouveau modèle de langage à grande échelle qui, selon lui, est nettement plus efficace que les principales alternatives open source.
Le groupe de recherche en intelligence artificielle de l'entreprise détaillé l'algorithme jeudi.
MAI-Base-2 n'est pas un LLM à part entière mais plutôt un modèle de base, une sorte de prototype sans fioritures. Les développeurs transforment les modèles de base en LLM en les soumettant à plusieurs cycles de formation supplémentaires. Cette formation supplémentaire se concentre généralement sur l’ajout de fonctionnalités de raisonnement et de garde-fous de sécurité.
Le modèle de base open source le plus performant sur le marché aujourd'hui est DeepSeek-V4-Pro-Base. Microsoft affirme que MAI-Base-2 l'a surpassé sur une série de tests de référence internes contenant des questions scientifiques, de programmation et de mathématiques. De plus, MAI-Base-2 est jusqu'à 12 fois plus efficace en termes de matériel selon certaines mesures.
MAI-Base-2 présente une architecture mixte d'experts, ou MoE, ce qui signifie qu'il n'utilise qu'un sous-ensemble de ses neurones artificiels pour traiter les invites. C'est plus efficace que d'activer l'ensemble du réseau neuronal. MAI-Base-2 possède 2 000 milliards de paramètres et en active 80 milliards lorsqu'il reçoit une invite.
Les neurones artificiels d'un modèle de langage sont organisés en groupes appelés couches. Le modèle de base de la génération précédente de Microsoft mélangeait des couches MoE avec des modules basés sur une conception moins efficace appelée FFN. MAI-Base-2 est entièrement constitué de couches MoE, qui sont l'un des contributeurs à ses performances.
Microsoft a entraîné le modèle pendant 38 jours en utilisant 16 000 puces GB200 de Nvidia Corp. L'ensemble de données de formation utilisé dans le projet comprenait 50 000 milliards de jetons. Environ un cinquième des jetons ont été utilisés pour former un module de vision par ordinateur intégré à MAI-Base-2. Le module rend le modèle meilleur que son prédécesseur dans des tâches telles que la compréhension des graphiques scientifiques.
Les développeurs forment les LLM en observant la manière dont ils accomplissent les tâches et en fournissant des commentaires sur la façon dont ils peuvent s'améliorer. Cette rétroaction, générée de manière algorithmique, prend la forme d’un objet mathématique appelé gradient. Le gradient parcourt les couches du modèle en cours d'entraînement et recalibre chacune d'entre elles pour améliorer la qualité de sa sortie.
Les dégradés changent à chaque fois qu'ils traversent une couche LLM. Dans certaines circonstances, ces modifications provoquent des bugs pouvant perturber le flux de travail de formation. Microsoft a utilisé une méthode appelée gradient clipping pour empêcher ce problème d'affecter MAI-Base-2. Il a également utilisé Muon, un outil d'IA open source populaire, pour accélérer le flux de travail de formation.
Microsoft accordera sous licence les pondérations de MAI-Base-2 à des « partenaires de confiance » via sa plateforme cloud Azure. De plus, il utilisera le modèle pour alimenter une nouvelle série de LLM. La société prévoit de partager prochainement plus d’informations sur ces modèles.
