Nebius Group NV, un opérateur néerlandais de centres de données d'intelligence artificielle, a annoncé aujourd'hui son intention d'acheter l'éditeur de logiciels Eigen AI Inc. pour 643 millions de dollars.
La société financera l'acquisition en espèces et en actions. Il espère finaliser l'accord dans quelques semaines.
Nebius donne accès aux clusters d'unités de cartes graphiques que les développeurs peuvent utiliser pour former des modèles d'IA et exécuter des charges de travail d'inférence. Il propose également un service d'inférence géré, Token Factory, qui supprime le besoin de gérer les unités de traitement graphique sous-jacentes. Nebius utilisera la technologie d'Eigen AI pour améliorer le service.
Token Factory permet aux clients d'effectuer des inférences à l'aide de plus d'une douzaine de modèles d'IA open source. Le logiciel d'Eigen AI, à son tour, optimise les modèles open source pour améliorer leur vitesse et l'efficacité matérielle.
Les réseaux de neurones comprennent des extraits de code appelés noyaux. La plate-forme d'Eigen AI peut remplacer certains des noyaux par défaut dans un modèle open source par des modules personnalisés offrant de meilleures performances. Selon la société, ces modules personnalisés sont implémentés dans CUDA et Triton. CUDA est l'interface par laquelle les applications interagissent avec les puces Nvidia Corp., tandis que Triton est un langage de programmation de type Python optimisé pour les projets d'IA.
Eigen AI affirme que son logiciel optimise également d'autres composants des modèles d'IA open source. Il compresse leurs pondérations, les paramètres qui déterminent la manière dont les données d'entrée sont traitées, afin de réduire les besoins en mémoire. De plus, la plateforme améliore le cache KV dans lequel les modèles de langage stockent les informations qu'ils utilisent pour répondre aux invites.
La volonté de Nebius d'intégrer Eigen AI dans Token Factory mettra un accent particulier sur les fonctionnalités post-formation de l'ancienne plateforme. La post-formation est le processus de mise au point d'un modèle déjà formé pour améliorer la qualité du résultat. Dans de nombreux cas, les développeurs accomplissent cette tâche en fournissant au modèle des exemples sur la manière d'effectuer des actions qu'il ne prend pas en charge dès le départ.
La post-formation d'un modèle nécessite généralement que les équipes logicielles ajustent bon nombre de ses paramètres, ce qui nécessite une quantité importante d'infrastructure. La plateforme d'Eigen AI utilise une approche plus efficace appelée LoRA. La technologie fonctionne en étendant les réseaux de neurones avec un petit nombre de paramètres externes. Pendant la post-formation, LoRA recalibre uniquement les nouveaux paramètres, ce qui est plus rapide que la reconfiguration d'un grand sous-ensemble des paramètres existants du modèle.
Eigen AI propose ses principales fonctionnalités d'optimisation de modèles ainsi que plusieurs produits complémentaires. Une offre, Eigen Data, accélère le processus d'assemblage d'ensembles de données de formation. Un service cloud appelé Eigen Inference aide les développeurs à réduire la latence de leurs modèles d'IA.
Les employés de l'entreprise rejoindront Nebius une fois la transaction conclue. Selon l'opérateur du centre de données, l'équipe l'aidera à établir un nouveau pôle d'ingénierie dans la Bay Area.
