La course à la génération rapide de jetons est passée des feuilles de référence aux centres de données de production, et le plan matériel pour la gagner n'est plus une histoire uniquement GPU.
Alors que les cas d’utilisation de l’IA agentique se multiplient et que les utilisateurs exigent une interactivité en temps réel, l’infrastructure d’inférence est repensée de fond en comble. Selon Sid Sheth (photo, à droite), co-fondateur, président et directeur général de d-Matrix Corp.
« Il s'agit de la première annonce publique d'une solution de calcul hétérogène spécifiquement destinée à la génération rapide de jetons en partenariat avec Nvidia », a déclaré Sheth. « De nombreux nuages d'inférence viennent vers nous et nous disent : une latence plus faible, le déploiement dans une infrastructure uniquement GPU ne nous y amène tout simplement pas. »
Sheth et Sudeep Bhoja (à gauche), co-fondateur et directeur de la technologie de d-Matrix Corp., se sont entretenus avec John Furrier de theCUBE au RAISE Summit, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté du lancement de la production Corsair de d-Matrix, du partenariat Parasail-Nvidia et de l'architecture de mémoire 3D de nouvelle génération de la société. (* Divulgation ci-dessous.)
Génération rapide de jetons et architecture d'inférence hétérogène
L'annonce – un déploiement Parasail associant les accélérateurs d-Matrix Corsair aux GPU Nvidia Hopper et Blackwell – marque l'un des premiers exemples à l'échelle commerciale d'inférence désagrégée hétérogène en production. Les aspects économiques sont simples : les jetons rapides premium coûtent actuellement jusqu'à 10 fois plus cher que les jetons à débit standard, créant ainsi un nouveau niveau de revenus que les fournisseurs d'inférence s'efforcent de capturer, a noté Sheth.
« Ce que nous lançons ici, c'est une nouvelle classe de jetons rapides », a-t-il déclaré. « Aujourd'hui, les jetons rapides sont équivalents à des jetons premium. Vous avez aujourd'hui Anthropic Claude Code – ils ont quelque chose appelé Fast Mode, et dans ce mode, vous avez essentiellement des niveaux d'interactivité beaucoup plus élevés avec l'application. Les développeurs d'applications facturent davantage pour ces jetons rapides. «
Les arguments techniques en faveur de l’hétérogénéité reposent sur la bande passante mémoire. L'inférence de l'IA n'est pas gênée par les échecs de calcul, mais par la rapidité avec laquelle les données peuvent passer de la mémoire à la logique, a noté Bhoja. En empilant la DRAM et la logique sur un seul substrat, la plate-forme Corsair de d-Matrix offre une bande passante mémoire bien au-delà de ce que les architectures de mémoire à large bande passante peuvent atteindre.
« Tout est question de bande passante mémoire : disposer d'une capacité mémoire suffisante, puis extraire la bande passante de la mémoire », a déclaré Bhoja. « Si vous pouvez combiner cela en un seul substrat, soit en trois dimensions, soit sur une seule puce, vous pouvez rendre la bande passante mémoire beaucoup plus rapide car les distances que nous parcourons sont beaucoup plus proches. Ce que nous proposons chez d-Matrix est d'empiler la DRAM et la logique dans une seule puce, et ce faisant, nous obtenons des performances plusieurs fois supérieures à celles de la mémoire HBM – et comme nous ne déplaçons pas beaucoup de millimètres sur le silicium, nous pouvons le faire avec une très faible énergie. «
Pour l’avenir, d-Matrix développe une architecture 3D de nouvelle génération qui va plus loin dans l’intégration mémoire-calcul – en reliant de manière hybride quatre piles DRAM directement au-dessus du calcul pour multiplier la capacité et la bande passante dans un encombrement réduit, a déclaré Bhoja.
« Nous voulons placer quatre piles DRAM au-dessus du calcul et augmenter la capacité et les bandes passantes », a déclaré Bhoja. « Vous obtenez essentiellement beaucoup plus de jetons rapides avec un encombrement réduit. »
Voici l'interview vidéo complète, faisant partie de la couverture du RAISE Summit par SiliconANGLE et theCUBE :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement RAISE Summit. Ni Solidigm, le sponsor principal de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
