À mesure que les agents d’IA passent des outils de validation de principe aux systèmes de production, le coût de chaque jeton généré devient une préoccupation commerciale directe.
Ce changement pousse les fournisseurs d’infrastructures à se concentrer non seulement sur les performances brutes, mais également sur l’efficacité, le débit et les aspects économiques liés à l’exécution continue de charges de travail agentiques à grande échelle. Cette pression remodèle la façon dont l'infrastructure d'IA est évaluée, selon Chen Goldberg (photo), vice-président exécutif des produits et de l'ingénierie chez CoreWeave Inc.
« Lorsque votre produit est un agent d'IA, chaque jeton que vous générez a un coût et un impact commercial », a déclaré Goldberg. « Vera Rubin offre un débit d'inférence par watt 10 fois supérieur et un coût par million de jetons dix fois supérieur à celui de Blackwell. C'est bien plus qu'une amélioration de la fiche technique ; c'est un saut technique. »
Goldberg s'est entretenu avec theCUBE lors de « Scaling the Agentic Era With Nvidia Vera Rubin NVL72 on CoreWeave Cloud », un événement virtuel organisé par theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Les dirigeants de CoreWeave, Nvidia Corp. et Dell Technologies Inc. ont expliqué comment Vera Rubin modifie l'infrastructure de l'IA, de l'ingénierie des systèmes de bout en bout aux opérations continues et à la validation à l'échelle du rack. (* Divulgation ci-dessous.)
Voici la session d'ouverture de theCUBE avec Chen Goldberg :
Insight n°1 : les agents d'IA font de l'infrastructure un défi d'ingénierie système de bout en bout.
Le changement d’infrastructure commence par un couplage plus étroit entre les modèles et les systèmes qui les alimentent. À mesure que les charges de travail de l'IA deviennent plus interactives et dynamiques, les performances dépendent de la fiabilité des données, des calculs et des inférences transmises dans le système, selon Goldberg.
« Cette connexion entre le modèle et l'infrastructure ne concerne plus seulement les GPU », a déclaré Goldberg. « Nous devons également nous assurer que les données y parviennent. Nous nous soucions de la latence et de la fiabilité, car ces systèmes deviennent essentiels à la mission. Ce changement technologique brouille la frontière entre formation et inférence. »
Ce changement modifie également la façon dont les plateformes cloud d’IA sont construites et gérées. Pour les agents IA, la coordination complète devient essentielle pour faire fonctionner les systèmes à l'échelle du rack comme une infrastructure de production fiable, a noté Goldberg.
« Le premier, le cerveau du système, (est) ce que nous appelons Mission Control », a-t-elle déclaré. « Ce que nous faisons différemment, c'est qu'au lieu de penser séparément au calcul, au réseau et au stockage, nous rassemblons ces systèmes et les gérons dans leur ensemble. »
Voici l'interview vidéo complète de theCUBE avec Chen Goldberg :
Insight n°2 : les opérations d'IA continues deviennent le modèle d'infrastructure pour les charges de travail agentiques.
Le passage de l’IA générative aux systèmes de raisonnement, et désormais aux agents d’IA, modifie les hypothèses opérationnelles qui sous-tendent l’infrastructure de l’IA. Au lieu de répondre à une demande de modèle unique, l'infrastructure doit fonctionner comme un environnement coordonné plutôt que comme une cible de déploiement statique, ont expliqué Harsh Banwait, directeur de la gestion des produits chez CoreWeave, et Dion Harris, directeur principal du marketing des produits informatiques accélérés chez Nvidia Corp.
« Rubin va ouvrir l'ère agentique », a déclaré Harris. « Agentic est essentiellement l'endroit où vous prenez non seulement un modèle et effectuez une inférence ponctuelle, mais le modèle lui-même effectue la planification. Il possède des compétences et des sous-agents qui… décomposent un problème et le résolvent pour effectuer un travail réel. Pour ce faire, vous avez besoin d'un type d'infrastructure… et d'opérations différent. C'est pourquoi lorsque nous disons (que) Vera Rubin a été conçue pour les agents, elle a été conçue pour permettre ce nouveau flux de travail – les CPU, les GPU, le stockage, tout cela réunis – pour débloquer ces agents. flux de travail.
Au niveau de l'application, ce modèle opérationnel apparaît sous forme de retour d'information des systèmes de production qui peuvent éclairer les évaluations et les nouvelles expériences. L'implication en matière d'infrastructure est que les agents d'IA ont besoin de plates-formes capables de prendre en charge cette boucle de manière répétée, et pas seulement d'héberger une application après son lancement, a souligné Shawn Lewis, directeur général du SaaS chez CoreWeave, qui s'est entretenu avec theCUBE avec Corey Sanders, vice-président senior des produits chez CoreWeave.
« Il peut également… exécuter toute cette boucle », a déclaré Lewis. « Vous pouvez prendre un agent en production et lui dire : « Trouvez les domaines dans lesquels mon agent ne fonctionne pas très bien. » L'agent examinera ces traces, les regroupera et vous dira : « Votre agent ne s'en sort pas très bien sur ce type de problème ». Cela créera une évaluation pour vous et lancera une nouvelle expérience.
La prise en charge de ce type d’opérations continues d’IA nécessite également une orchestration plus précise de la charge de travail. Étant donné que les pipelines d'IA comprennent plusieurs étapes avec des exigences de latence et d'efficacité variables, la valeur de l'infrastructure d'IA dépend de plus en plus de la capacité des applications à utiliser les bonnes ressources de manière continue et intelligente, a souligné Peter Salanki, directeur de la technologie chez CoreWeave.
« Vous n'avez pas besoin de Vera Rubin pour tout », a-t-il déclaré au CUBE. « Vous pouvez toujours utiliser un SKU différent… comme élément efficace de votre pipeline, qu'il s'agisse d'un décodage spéculatif… d'une inférence par lots… ou d'un pré-remplissage. Vous pouvez démonter le pipeline en différents morceaux et y mettre différentes choses. »
Voici l'interview vidéo complète de theCUBE avec Harsh Banwait et Dion Harris :
Insight n°3 : À mesure que le rack devient l'ordinateur, l'infrastructure d'IA doit être validée en tant que système de production.
Alors que les agents IA et les modèles plus grands exigent plus de mémoire, des interconnexions plus rapides et des systèmes plus denses, la préparation à la production dépend désormais de la validation du rack en tant que système intégré avant que les clients ne l'utilisent. Cela signifie tester ensemble l'alimentation, le refroidissement, la mise en réseau, les logiciels et la sécurité, selon Ihab Tarazi, vice-président senior et directeur de la technologie de l'IA, du calcul et des réseaux chez Dell Technologies Inc., et Jacob Yundt, directeur principal de l'architecture informatique chez CoreWeave.
« L'élément constitutif ici est que le rack est désormais le nouveau système », a déclaré Tarazi. « Vous n'achetez plus de serveurs ; vous achetez ces L11. Ce système, même s'il semble simple, contient des milliers de composants et des dizaines de logiciels. Nous avons un processus très étendu pour construire, fabriquer, concevoir (et) tester chaque composant. »
Le premier rack Vera Rubin de CoreWeave montre comment ce modèle de validation s'étend aux opérations en direct. Pour les agents IA et les charges de travail de modèles à grande échelle, la gestion au niveau du rack doit désormais coordonner le refroidissement liquide, l'alimentation, les capteurs, l'observabilité et les interventions d'urgence en temps réel. Le gestionnaire de rack Racky et l'ensemble de vannes Valvey de l'entreprise sont des exemples de cette couche de contrôle, a observé Yundt, aux côtés de Banwait et Zach Merendino, ingénieur des opérations chez CoreWeave.
« Ces deux technologies vont nous permettre de contrôler et d'observer notre prochaine génération de GPU et CPU Nvidia Vera Rubin », a déclaré Yundt. « Racky est véritablement le cerveau de l'opération. Il connecte toute l'alimentation, le refroidissement liquide, les capteurs, la gestion et l'observabilité en un seul endroit centralisé qui est relié à la fois à Mission Control et au (CoreWeave Kubernetes Service). Cela nous permettra d'évoluer vers des centaines de milliers de GPU, y compris Vera Rubin de nouvelle génération de Nvidia. «
La conception à l’échelle d’un rack n’est plus simplement une étape importante en matière d’infrastructure ; cela devient la base opérationnelle de l’IA d’entreprise. En combinant la densité matérielle avec le contrôle, la validation et l'orchestration des logiciels, les plates-formes telles que CoreWeave Cloud se rapprochent du type d'environnement de production nécessaire pour prendre en charge les agents d'IA à grande échelle, selon John Furrier de CUBE Research.
« L'IA n'est plus une question de modèles isolés », a déclaré Furrier. « Il s'agit de systèmes – des systèmes qui rassemblent le calcul, la mise en réseau, le stockage, les logiciels, les données, la sécurité et les opérations dans une plate-forme unifiée capable de fournir des résultats concrets. Les gagnants de cette prochaine phase n'auront pas simplement accès à l'IA ; ce seront les organisations qui pourront la mettre en œuvre, la faire évoluer, la gouverner et innover continuellement autour d'elle. »
Voici l'interview vidéo complète de theCUBE avec Ihab Tarazi et Jacob Yundt :
Pour en savoir plus sur la couverture par theCUBE de l'événement « Scaling the Agentic Era With Nvidia Vera Rubin NVL72 on CoreWeave Cloud », voici notre playlist vidéo complète :
https://www.youtube.com/watch?v=videoseries
(* Divulgation : TheCUBE est un partenaire média payant pour le « Agrandir l'ère de l'agent » événement. Ni CoreWeave, le sponsor de la couverture de theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
