La start-up de réseautage de centres de données Upscale AI Inc. a annoncé aujourd'hui avoir levé 190 millions de dollars de nouveaux fonds.
Un centre de données comprend plusieurs types de commutateurs, chacun étant conçu pour des tâches différentes. Il existe des commutateurs évolutifs optimisés pour déplacer les données entre les serveurs installés dans le même rack. Le trafic entre les racks, à son tour, est géré par des périphériques dits scale-out. Upscale AI développe des commutateurs scale-up et scale-out optimisés pour les charges de travail d’intelligence artificielle.
Les calculs qu'un modèle d'IA utilise pour traiter une invite doivent être effectués les uns après les autres. Si un pic de latence inattendu retarde l’un des calculs, tous les calculs suivants doivent être reportés. De telles inefficacités peuvent apparaître lorsque les unités de traitement graphique échangent des données plus lentement que prévu lors de l'exécution d'un modèle d'IA.
Upscale AI affirme que sa série de commutateurs évolutifs relève le défi en fournissant une latence déterministe. Les vitesses de déplacement des données peuvent être prévues à l’avance, ce qui évite des retards inattendus pouvant perturber les calculs. La fonctionnalité est alimentée par une puce personnalisée que la société appelle SkyHammer.
SkyHammer prend en charge plusieurs protocoles réseau open source optimisés pour le trafic à grande échelle. L'une des technologies prises en charge, UALink, permet aux GPU d'accéder aux données dans la mémoire de chacun comme s'il s'agissait de RAM locale. SkyHammer est également compatible avec ESUN, une version du protocole Ethernet populaire optimisé pour les charges de travail d'IA.
En mars, Upscale AI a présenté en avant-première une gamme de commutateurs évolutifs permettant de relier les racks de cartes graphiques. La gamme de produits est basée sur la série de puces Spectrum-X de Nvidia. Les processeurs alimentent une gamme éponyme de commutateurs Ethernet que le géant des puces vend aux côtés de ses GPU.
Le trafic circulant entre deux cartes graphiques doit généralement passer par une unité centrale de traitement avant d'atteindre sa destination. Les commutateurs Spectrum-X de Nvidia prennent en charge une technologie appelée RoCE qui permet aux paquets de contourner le processeur, ce qui réduit la latence. Les appareils collectent également des données télémétriques pour aider les administrateurs à détecter les problèmes techniques.
La série de commutateurs évolutifs d'Upscale AI combinera le silicium Spectrum-X avec un système d'exploitation open source appelé SONiC. Le logiciel, initialement développé par Microsoft Corp. pour alimenter son cloud public, rationalise de nombreuses tâches de gestion de réseau. Cependant, son utilisation peut encore s’avérer difficile. Upscale AI a développé une version optimisée pour l'IA de SoNIC conçue pour simplifier l'expérience utilisateur.
« L'infrastructure de l'IA est en train d'être redéfinie à l'échelle du cluster, et la mise en réseau est l'un des goulots d'étranglement les plus critiques », a déclaré Barun Kar, PDG d'Upscale AI. « Upscale AI construit une structure d'IA à standard ouvert et hautes performances, spécialement conçue pour les charges de travail synchronisées à grande échelle. »
La société affirme que son matériel est actuellement évalué par plusieurs hyperscalers et opérateurs néocloud. Upscale AI utilisera son capital nouvellement levé pour accélérer ses efforts de commercialisation.
