La start-up d'infrastructure de centres de données Cornelis Networks Inc. fait un grand pas en avant avec le lancement d'une nouvelle architecture Active Compute Fabric pour prendre en charge les réseaux évolutifs et évolutifs pour les charges de travail d'intelligence artificielle.
Le nouveau tissu a été annoncé parallèlement à une collaboration stratégique avec Qualcomm Technologies Inc. et à un cycle de financement de 205 millions de dollars mené par IAG Capital Partners.
Cornelis est un développeur de systèmes de mise en réseau de centres de données spécialisés et sans congestion pour l'IA et le calcul haute performance. Rival de fournisseurs plus établis tels que Cisco Systems Inc. et Arista Networks Inc., son infrastructure réseau est conçue pour accélérer ces charges de travail et maximiser les performances de calcul afin d'améliorer la formation et l'inférence des modèles d'IA.
L’Active Compute Fabric s’appuie sur cette base. Annoncée aujourd'hui lors du AI Infra Summit, il s'agit d'une nouvelle architecture ouverte qui intègre le calcul programmable directement dans la structure du réseau, le rendant beaucoup plus flexible et efficace. Cornelis a déclaré que la croissance rapide de la taille des clusters de calcul des modèles d'IA a créé de sérieux goulots d'étranglement dans les réseaux des centres de données, laissant les accélérateurs d'IA coûteux inactifs pendant trop longtemps en attendant les données qu'ils doivent traiter.
Au cours des deux dernières années, le calcul, la mémoire et le stockage ont tous évolué pour devenir plus « sensibles à la charge de travail », mais les réseaux traditionnels n'ont pas encore subi le même changement, ce qui signifie qu'ils ont du mal à suivre, a déclaré Lisa Spelman, directrice générale de Cornelis.
Active Compute Fabric est censé changer cela. Il combine l'accélération intégrée au transport sans perte et au calcul programmable afin que le réseau puisse travailler activement avec les données même lorsqu'elles traversent le système. De ce fait, il peut s'adapter en temps réel en fonction des charges de travail changeantes qu'il est amené à gérer, se décharger d'opérations collectives complexes et assumer de nouvelles fonctions. Mieux encore, il s'appuie sur des normes ouvertes telles qu'Ethernet et UALink pour la mise à l'échelle et Ultra Ethernet pour la mise à l'échelle, afin que les organisations puissent l'implémenter avec leurs architectures de calcul existantes.
Brandon Draeger, directeur marketing de Cornelis, a déclaré à SiliconANGLE qu'Active Compute Fabric effectue certaines opérations spécifiques à la charge de travail lorsque les données circulent à travers le réseau, plutôt que de simplement agir comme une sorte de messager. Par exemple, il peut assembler des données de cache KV pour une inférence désagrégée, coordonner l'envoi d'experts pour des modèles mixtes d'experts et accélérer des opérations collectives comme AllReduce et compresser les gradients en transit. Tout cela est fait avant que les données n'arrivent à destination.
« La charge utile n'arrive pas comme elle est partie », a déclaré Draeger. « Dans une opération collective, les résultats partiels de nombreux points finaux sont combinés à l'intérieur du tissu, de sorte qu'un seul résultat réduit arrive à destination au lieu de milliers de contributions distinctes. Les gradients compressés se déplacent comme une fraction de leur taille d'origine. Le travail se produit une seule fois, sur le chemin que les données empruntaient déjà, au lieu de consommer des cycles d'accélération aux deux extrémités. «
Cela offre deux avantages clés. Cela signifie que moins de données doivent traverser le réseau et que les GPU passent moins de temps à attendre les communications et à synchroniser les informations qui arrivent. Selon Draeger, cela permet de réduire le trafic réseau global jusqu'à 50 %, sur la base des résultats des simulations de pré-production de Cornelis.
« L'utilisation des accélérateurs dans les grands déploiements d'IA représente généralement près de la moitié de la capacité installée, et l'architecture est conçue pour restituer une part significative de ce qui est actuellement gaspillé », a-t-il expliqué. « Cela dépend du modèle, de la taille du cluster et de la pile du client. Les améliorations varieront donc en fonction de la charge de travail et du déploiement. »
Spelman a déclaré que Cornelis se développe dans la mise à l'échelle et la mise à l'échelle afin de pouvoir rapprocher son architecture réseau des accélérateurs d'IA qui alimentent les charges de travail d'IA afin de les alimenter en données plus rapidement et d'améliorer leurs performances. « L’infrastructure de l’IA atteint un point où les points finaux plus rapides ne suffisent plus », a-t-elle déclaré. « La structure doit devenir un élément actif du système informatique. Nous constatons une demande croissante de la part des clients pour une alternative ouverte qui leur donne plus de choix dans la façon dont ils construisent leur infrastructure d'IA, et cette approche crée un véritable élan pour Cornelis. »
La vision de Cornelis en matière de réseaux scale-up et scale-out ouverts et efficaces est partagée par Qualcomm, qui le rejoindra sur scène lors du sommet AI Infra à Santa Clara pour annoncer une collaboration stratégique visant à façonner l'avenir des réseaux pour les centres de données IA à l'échelle du rack. Ils considèrent tous les deux les structures de réseau passives existantes qui ne font que déplacer des données comme un problème majeur qui entraîne une sous-utilisation constante des accélérateurs d'IA, et estiment que les réseaux devraient recevoir une plus grande priorité dans la conception des infrastructures des centres de données d'IA.
Draeger a expliqué que cela se produit parce que les réseaux de centres de données existants sont comme des « canaux passifs » qui transmettent simplement des paquets de données et ne font rien d'autre. « Cela signifie que chaque collectif, chaque étape de synchronisation et chaque transfert de cache coûte du temps d'accélération », a-t-il déclaré.
À l’heure actuelle, le réseau représente environ 15 % du coût d’un système d’IA, mais il détermine également la valeur que vous retirez des 85 % restants de ce qui a été dépensé. Cornelis et Qualcomm estiment que le réseau devrait être traité comme une « décision de conception de premier ordre », ce qui signifie construire un réseau évolutif et évolutif parallèlement à l'accélérateur, et non après que la décision de calcul ait été prise.
« Qualcomm et Cornelis partagent ce point de vue, et nous sommes à des stades avancés d'évaluation technologique conjointe axée sur l'inférence à l'échelle du rack dans des environnements scale-up et scale-out », a déclaré Draeger. « L'objectif est un système dans lequel le réseau et les accélérateurs sont conçus pour fonctionner ensemble dès le départ. »
À l'avenir, Cornelis exploitera les 205 millions de dollars de nouveaux capitaux qu'elle a levés pour augmenter la production de ses commutateurs réseau CN5000 et CN6000 et accélérer le déploiement de son Active Compute Fabric.
