L'inférence agentique remodèle le centre de gravité de l'infrastructure de l'IA. Ce qui a commencé comme une course à la formation à grande échelle est passé à une phase définie par l’expansion des fenêtres contextuelles, le raisonnement à mémoire augmentée et la nécessité d’alimenter en permanence les unités de traitement graphique en données.
À mesure que les entreprises s’orientent vers les systèmes agentiques, le stockage est devenu le chemin critique des performances de l’IA. L'inférence agentique révèle de nouveaux goulots d'étranglement, accélère l'adoption de modèles de conception et pousse les organisations à repenser la manière dont l'intelligence est organisée, récupérée et transmise aux GPU, selon Greg Matson (photo), vice-président senior et responsable du marketing et des produits chez Solidigm, une marque de SK Hynix NAND Product Solutions Corp.
« Cela a commencé il y a quelques années avec la formation, où le besoin d'un stockage haute capacité et hautes performances, très proche des GPU, était tout d'un coup au centre de la scène », a déclaré Matson au CUBE. « Mais maintenant, alors que nous passons de l'année dernière à cette année, de la phase d'inférence à l'inférence agentique, cela explose encore plus. Le stockage est en fait un tout nouveau niveau de stockage créé pour étendre la mémoire du système. »
Matson s'est entretenu avec theCUBE au RAISE Summit, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Des conversations avec des dirigeants de différents secteurs ont montré comment l'inférence agentique étend la conception d'infrastructures au-delà du calcul brut pour englober les architectures spécialisées, la mémoire et le stockage, le déploiement de capitaux et le contrôle souverain des données d'entreprise. (* Divulgation ci-dessous.)
Voici l'interview vidéo complète de theCUBE avec Greg Matson :
Voici trois informations que vous avez peut-être manquées lors de la couverture du RAISE Summit par theCUBE :
Insight n°1 : L'inférence agentique stimule la spécialisation dans la pile d'IA.
Advanced Micro Devices Inc. répond aux charges de travail variées de l'IA en optimisant les processeurs, les GPU, l'informatique adaptative et les réseaux plutôt que de se concentrer sur des puces individuelles. Sa pile logicielle ROCm est conçue pour fournir une couche cohérente entre les clusters de centres de données, les déploiements périphériques et les PC compatibles IA, selon Mark Papermaster, directeur de la technologie et vice-président exécutif d'AMD.
« Les charges de travail sont si complexes parce que les gens regardent ce qu'ils font de bout en bout », a-t-il déclaré lors de l'événement. « Ils examinent des processus complets, pas seulement une tâche sur mesure. Cela signifie que vous avez besoin de différents moteurs informatiques et qu'ils doivent travailler ensemble à grande échelle. Nous parlons de clusters massifs de racks. »
Tensordyne Inc. résout les contraintes de puissance en modifiant les calculs à l'intérieur du silicium. Sa puce d'inférence Napier utilise le système de nombres logarithmiques propriétaire de Pareto, remplaçant les multiplications par des additions pour réduire la dépendance à l'égard de grands circuits multiplicateurs à forte consommation d'énergie. Un module Napier à 72 puces consomme 30 kilowatts, contre 150 kilowatts pour un système comparable de Nvidia Corp., selon Gilles Backhus, co-fondateur de Tensordyne.
« Nos calculs logarithmiques sont complètement cachés », a-t-il déclaré au CUBE. « Du point de vue de l'utilisateur, du point de vue (du kit de développement logiciel), vous ne le remarquez même pas. Cela ressemble simplement à des calculs à virgule flottante normaux. C'est juste que le moteur sous le capot est plus efficace. »
Des accélérateurs spécialement conçus entrent également en production aux côtés des GPU. Un déploiement Parasail associe les accélérateurs d-Matrix Corsair aux GPU Nvidia Hopper et Blackwell pour répondre aux différentes exigences de pré-remplissage gourmand en calcul et de génération de jetons sensibles à la latence, selon les cofondateurs de d-Matrix Corp., Sudeep Bhoja, directeur de la technologie, et Sid Sheth, président et directeur général. Il s’agit d’un premier exemple à l’échelle commerciale d’inférence hétérogène en production.
« Une faible latence est la clé du jeu aujourd'hui », a déclaré Bhoja lors de l'événement. « Les agents fonctionnent pendant longtemps ; les utilisateurs ne veulent pas attendre. Il existe donc une demande visant à réduire la latence, ce qui nécessite une inférence désagrégée. »
Voici l'interview vidéo complète de Sudeep Bhoja et Sid Sheth :
Insight n°2 : le stockage devient une extension active de la mémoire de l'IA.
À mesure que l'inférence agentique s'étend des invites individuelles aux sessions de plus longue durée, le volume de données contextuelles peut dépasser la capacité de la mémoire du GPU. Selon Matson, les hyperscalers remplacent les infrastructures existantes par un stockage SSD haute capacité positionné à proximité des accélérateurs.
« Bien que le GPU soit la partie la plus coûteuse de votre infrastructure, vous voulez que cette chose bourdonne 100 % du temps pour générer des jetons », a-t-il déclaré au CUBE. « Et s'il est en panne et que vous attendez des données, vous gaspillez votre argent en GPU. »
Solidigm teste le stockage dans le cadre de systèmes d'IA complets plutôt que comme composant isolé. Son AI Central Lab exécute des charges de travail réelles sur le matériel de l’accélérateur et les logiciels partenaires. Dans le même temps, les configurations de disques SSD haute densité montrent comment une plus grande capacité dans moins d'espace rack peut réduire la demande en énergie de stockage, selon Avi Shetty, vice-président de l'écosystème, des solutions et de la mise sur le marché de l'IA chez Solidigm.
« Personne ne se soucie actuellement de la lecture ou de l'écriture aléatoires sur une feuille de données », a déclaré Shetty. « Ce qui intéresse les gens, c'est de savoir comment cela fonctionne dans un centre de données d'IA et une charge de travail d'IA. »
Voici l'interview vidéo complète de theCUBE avec Avi Shetty :
Insight n°3 : Le capital et la souveraineté font désormais partie de la pile d’infrastructures d’IA.
Les projets d'inférence agent nécessitent plus que de la puissance et des GPU ; ils peuvent stagner lorsque les promoteurs ne parviennent pas à réunir des financements assez rapidement. Le modèle axé sur la demande d'Argentum AI Inc. sécurise les clients avant d'engager des capitaux, en utilisant les revenus contractuels pour soutenir la construction tout en restant neutre à l'égard des fabricants de silicium et d'équipement d'origine, selon Andrew Sobko, fondateur et PDG d'Argentum AI Inc.
« Nous sommes convaincus que le plus gros goulot d'étranglement en matière de rapidité de déploiement est la pile de capitaux », a-t-il déclaré au CUBE. « Comment financer les projets le plus rapidement possible ? C'est en quelque sorte devenu l'un de nos produits phares, que nous appelons apporter de l'énergie, du calcul et du capital. »
Parallèlement, la souveraineté des données passe de la conformité à l'architecture d'infrastructure, à mesure que l'inférence agentique s'appuie sur le contexte propriétaire de l'entreprise. Le concept couvre les préoccupations territoriales, opérationnelles, de pile, juridiques et économiques unitaires, selon Amit Eyal Govrin, PDG d'Agentcy Labs Inc., et Philip Rathle, directeur de la technologie de Neo4j Inc.
« La souveraineté, c'est exercer une action et un contrôle sur votre IA », a déclaré Govrin lors de l'événement. « Vous devez être libre de tout acteur étatique, économique et menaçant qui prendrait le contrôle de votre pile. Vous ne payez pas de loyer à quelqu'un d'autre. »
Les graphes de connaissances ajoutent une autre forme de contrôle en permettant à certaines décisions de s'exécuter de manière déterministe plutôt que de s'appuyer entièrement sur des modèles probabilistes. Cela peut donner aux entreprises des règles commerciales, une explicabilité et une gouvernance cohérentes, ainsi que la flexibilité de grands modèles de langage, a noté Rathle.
« Avoir la capacité de faire de l'IA avec un cerveau complet, les deux hémisphères, est extrêmement important », a-t-il déclaré au CUBE. « Les LLM sont spontanés, créatifs – ils font des erreurs, vous ne savez pas pourquoi. Avoir le graphique comme cerveau gauche par rapport au cerveau droit LLM est vraiment au cœur de la place des graphiques. »
Voici l'interview vidéo complète de theCUBE avec Amit Eyal Govrin et Philip Rathle :
Pour regarder davantage la couverture du RAISE Summit par theCUBE, voici notre playlist vidéo complète :
https://www.youtube.com/watch?v=videoseries
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement RAISE Summit. Ni Solidigm, le sponsor principal de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
