XCENA Inc., une startup dotée d'un dispositif de mémoire conçu pour accélérer les clusters d'intelligence artificielle, a annoncé aujourd'hui avoir levé 135 millions de dollars de financement.
Le tour de table de série B a été mené par les fonds coréens Atinum Investment et IMM Investment. XCENA indique que l'augmentation comprenait également les contributions de plus d'une demi-douzaine d'autres bailleurs de fonds institutionnels. L'entreprise est désormais évaluée à 570 millions de dollars.
XCENA a été fondée en 2022 par d'anciens employés de Samsung Electronics Co. et SK hynix Inc., les principaux fournisseurs mondiaux de mémoire pour cartes graphiques. Le produit phare de XCENA est un appareil appelé MX1, décrit comme un contrôleur de mémoire informatique. Il est conçu pour accélérer les tâches de gestion des données impliquées dans l'exécution des charges de travail d'inférence d'IA.
Les grands modèles de langage utilisent une structure de données appelée cache KV pour interpréter les invites utilisateur. Lorsque le cache KV ne peut pas tenir dans la mémoire intégrée d'une carte graphique, il doit être déchargé vers une DRAM externe plus lente, ce qui crée des retards de traitement. Un problème similaire affecte les bases de données vectorielles que de nombreux LLM utilisent pour stocker des informations.
XCENA affirme que le MX1 relève le défi. L'appareil combine jusqu'à deux téraoctets de DRAM avec plusieurs milliers de cœurs d'unité centrale. Selon XCENA, il peut contenir le cache KV et les bases de données vectorielles d'un LLM sans les problèmes de performances qui affectent les périphériques de mémoire traditionnels. Le résultat est une augmentation des performances d’inférence.
L'appareil accélère également les charges de travail de l'IA en réduisant le besoin de calculs en double. De nombreux LLM actualisent leur cache KV, la structure de données qu'ils utilisent pour interpréter les invites, après chaque demande de l'utilisateur. MX1 permet de réutiliser le même cache KV entre les requêtes et ainsi de réduire les frais de traitement.
La société affirme que la puce peut également accélérer les applications d'analyse telles qu'Apache Spark. De telles charges de travail déplacent régulièrement des données entre les processeurs sur lesquels elles s'exécutent et la mémoire qu'elles utilisent pour stocker les données. Le pool de mémoire et les cœurs de processeur du MX1 sont plus proches les uns des autres que les composants d'un serveur standard, ce qui réduit les temps de trajet des données.
Les cœurs de processeur de l'appareil sont basés sur l'architecture open source RISC-V. Ils sont organisés en clusters à quatre cœurs dotés chacun d'un cache L1 dédié, un type de mémoire à haute vitesse. Les clusters à quatre cœurs sont organisés en clusters plus grands dotés également d'un pool de mémoire intégré.
XCENA fournit des interfaces de programmation d'applications qui permettent aux développeurs de porter leurs charges de travail d'IA sur le MX1 sans modifications majeures du code. Selon l'entreprise, les clients ayant des exigences plus avancées ont accès à un deuxième ensemble d'API qui peuvent être utilisées pour effectuer des optimisations de performances de bas niveau. XCENA fournit également un outil de simulation qui facilite les tests de fiabilité des logiciels.
La société prévoit de fabriquer le MX1 en utilisant le processus de fabrication de puces de quatre nanomètres de Samsung. Selon TechCrunch, XCENA commencera la production de masse d'ici la fin de l'année et devrait commencer à générer des revenus en 2027.
La société utilisera le produit de son cycle de financement pour développer de nouveaux produits de mémoire informatique. En outre, XCENA prévoit d'accélérer ses efforts de commercialisation et d'établir des partenariats avec des acteurs clés de l'industrie tels que les hyperscalers.
