Le premier boom des infrastructures d’IA de Nvidia Corp. a concentré d’énormes quantités de calcul. La prochaine opportunité sera de le distribuer via des structures de réseau à haut débit.
Tout le monde sait que j’aime les histoires qui relient la Silicon Valley à Wall Street. Eh bien, deux événements importants cette semaine ont fait exactement cela, la conférence Hot Chips qui vient de se terminer à l'Université de Stanford et les bénéfices monstrueux d'aujourd'hui de Nvidia.
Le discours entourant l’infrastructure de l’IA a atteint son paroxysme. Les derniers résultats de Nvidia prouvent que l'appétit du monde pour l'IA reste insatiable. Aujourd'hui, Nvidia a enregistré un chiffre d'affaires de 96,2 milliards de dollars pour le trimestre clos le 26 juillet et s'est fixé un objectif de 108 milliards de dollars pour la période en cours.
Alors que les revenus des centres de données augmentent et que les hyperscalers abandonnent des dépenses d'investissement massives dans des méga-clusters monolithiques refroidis par liquide, le directeur général Jensen Huang a clairement indiqué que la construction de l'infrastructure d'IA était en cours, car les puces phares d'IA Vera Rubin de Nvidia sont en pleine production.
« L'IA a atteint son point d'inflexion », a-t-il déclaré. « Elle fait un travail utile. Ses jetons sont productifs et rentables. Désormais, le calcul est un revenu.
Pourtant, derrière les gros chiffres se cache une dure réalité physique. Les architectures modernes à l'échelle NVLink nécessitent jusqu'à 140 kilowatts (ou plus) de densité de puissance dans un seul rack physique. Pour des installations centralisées massives construites à partir de zéro, il s’agit d’une tâche d’ingénierie gérable. Mais à mesure que l’IA s’étend de la formation centralisée à l’inférence distribuée, aux systèmes autonomes et aux opérations d’entreprise, elle se heurte à un obstacle physique : les centres de données de périphérie existants ne peuvent pas gérer le poids physique, le refroidissement ou la densité de puissance d’un rack d’IA moderne.
Comment Nvidia maintient-il la machine à revenus et à profits en marche pour créer les prochains milliards de dollars ? La réponse est la périphérie distribuée ou l’IA à la périphérie.
Ce prochain marché de plusieurs milliards de dollars ne consiste pas seulement à construire de plus grandes usines d’IA dans le désert. Il s’agit de prendre le domaine de l’évolutivité de l’IA et de l’étendre là où les systèmes conventionnels à l’échelle du rack ne peuvent physiquement pas s’adapter.
Le paradoxe du bord : 30 gigawatts coincés dans des racks de 30 kilowatts
Dans les bureaux centraux de télécommunications, les campus industriels, les installations régionales et les centres de données d'entreprise se trouve une vaste infrastructure installée représentant environ 30 gigawatts de capacité électrique cumulée (mon estimation à partir des conversations et de la collecte de données de l'année dernière).
Le problème ? C’est fragmenté.
Un site de télécommunications ou une installation d'entreprise typique est limité thermiquement et électriquement à environ 30 à 50 kilowatts par rack. Tenter de déposer une unité d'usine d'IA monolithique de 140 kilowatts dans ces environnements interrompt la fourniture d'énergie, surcharge les capacités de refroidissement liquide et viole les limites physiques du bâtiment.
Cela crée une impasse structurelle. L’industrie dispose d’un grand pouvoir à la pointe de l’agrégat, mais elle ne peut pas absorber la densité monolithique requise par les tissus de premier ordre.
Le changement de paradigme : briser le châssis physique
Pour résoudre cette inadéquation de densité, les architectes d’infrastructure avant-gardistes se tournent vers une proposition simple mais radicale : cesser de traiter le rack physique comme un ordinateur. Il s’agit d’un changement radical par rapport aux besoins actuels des systèmes à grande échelle en matière de grands cloud IA, ou néoclouds.
Au lieu d'essayer de regrouper une empreinte de 140 kilowatts dans une seule armoire, les architectes prennent exactement cette enveloppe de calcul, la désagrègent sur quatre ou cinq racks physiques de 30 kilowatts et les interconnectent avec une structure évolutive de réseau à haut débit.
Étant donné que les interconnexions optiques fournissent une bande passante massive sans les strictes pénalités de distance et de puissance des liaisons en cuivre, ces nœuds physiques géographiquement adjacents se comportent logiquement comme un système d'IA unifié à faible latence.
Cela transforme tout le paradigme de déploiement. Vous ne demandez pas au client de démolir une installation ou de dépenser des millions pour rénover le système électrique d'un bâtiment. Vous adaptez la topologie de calcul à l'installation.
Perturbation via la création de marché
Dans la théorie classique des perturbations, les architectures disruptives gagnent rarement en attaquant de front l’opérateur historique dans les environnements haut de gamme. Ils pénètrent là où le titulaire ne peut physiquement pas aller, établissent une tête de pont et évoluent vers le haut.
La désagrégation des réseaux à haut débit crée une stratégie d’expansion du marché :
En désagrégeant le matériel physique sur des couches de commutation optiques ou Ethernet ultra-rapides, les opérateurs n'ont pas besoin de déplacer l'infrastructure hyperscale existante. Ils permettent de nouveaux déploiements d'entreprise et distribués qui seraient autrement impossibles.
Les secteurs stratégiques : monétisation de l'énergie, des opérateurs de télécommunications et des « avant-postes de l'IA » des entreprises
Cette avancée architecturale ouvre la voie à trois changements massifs sur le marché :
1. Le pivot des télécommunications : du transport aux services intelligents
Les entreprises de télécommunications ont passé une décennie à tenter de monétiser les investissements dans la 5G au-delà des simples plafonds de données et des plans de bande passante. En injectant des calculs d’IA désagrégés dans les bureaux centraux régionaux, les opérateurs peuvent regrouper des capacités locales fragmentées dans une usine d’IA distribuée. La périphérie se transforme d'un canal de transport passif en une plate-forme d'inférence active et programmable gérant le routage de modèles en temps réel, la sécurité et le traitement du contexte à proximité de l'utilisateur final.
2. Orchestration de la charge de travail : le calcul passe au pouvoir
Historiquement, les centres de données apportaient l’électricité là où le calcul était installé. À l'échelle distribuée sur une topologie (optique/photonique), un logiciel d'orchestration intelligent déplace les charges de travail d'IA entre des nœuds géographiquement séparés en fonction de variables en temps réel : disponibilité de l'énergie, efficacité du refroidissement, prix de l'énergie locale, latence et proximité des données. La ressource virtualisée n'est plus seulement le calcul : il s'agit du calcul, du réseau, de l'alimentation, du refroidissement et de la géographie gérés comme un pool unifié. C’est ce qui motive les recherches sur les systèmes de renseignement et les systèmes d’exécution que nous avons récemment publiées.
3. Les « avant-postes IA » des entreprises
Les Outposts d'Amazon Web Services Inc. pour le calcul général du cloud ont été les pionniers conceptuels qui ont introduit le cloud dans l'entreprise. Le modèle d’IA d’entreprise adopte une conception d’avant-poste optimisée pour l’inférence et la mise à l’échelle en temps réel qui apportent l’intelligence au monde physique.
Les entreprises adoptent ce modèle AI Outpost pour trois raisons essentielles :
- Latence ultra-faible : Des réponses de l’ordre de la milliseconde sont requises pour les agents autonomes, l’imagerie médicale et la vision par ordinateur.
- Gouvernance et souveraineté des données : Les données sensibles de l’entreprise ou des patients restent au sein d’un local à locataire unique économie symbolique : Déplacer l'inférence locale continue des API publiques payantes par jeton vers une infrastructure de capital local fixe.
Robotique : l'indicateur avancé de l'IA physique et de l'IA de pointe
Si vous voulez savoir quand l’IA de pointe est réellement arrivée à grande échelle, observez le secteur de la robotique et des systèmes autonomes ou, comme beaucoup l’appellent, le secteur de l’IA physique.
Les robots, les usines automatisées, les entrepôts intelligents et les véhicules autonomes génèrent des flux continus de données de capteurs qui nécessitent une inférence en temps réel. Ils ne peuvent pas tolérer un aller-retour de 50 à 100 millisecondes vers un cloud centralisé distant.
Cependant, une usine de fabrication n’a pas besoin d’un rack hyperscale de 3 millions de dollars placé à côté d’une chaîne de montage. Il nécessite de petits nœuds d'IA distribués, modulaires et mis en réseau sur tout le campus, ressemblant bien plus à une infrastructure réseau de campus qu'à un centre de données miniature.
L’évolution : l’infrastructure de l’IA passe à l’essaim
Tout comme les réseaux d’entreprise ont évolué de connexions mainframe monolithiques vers des commutateurs de campus distribués, l’IA suit exactement le même chemin d’évolution.
L’avenir des prochains milliards de dollars consacrés à Nvidia dans l’infrastructure d’IA ne dépend pas uniquement des exigences des grandes usines d’IA ou des petites usines d’IA. 
Ces nouvelles empreintes plus petites en termes d'énergie, de terrain et de coque, comme on les appelle, sont liées aux dimensions physiques d'un rack de serveur de 19 pouces ou d'un système de distribution d'énergie de 140 kilowatts.
Où est l'argent ?
En dissociant l'armoire physique du domaine de calcul logique via des structures évolutives de réseau à haut débit, l'industrie entre dans une ère où le rack cesse d'être un châssis physique et devient une étendue logique.. Le calcul peut enfin aller là où l'alimentation, le refroidissement et la latence l'exigent, transformant chaque nœud à la périphérie en une partie d'un énorme ordinateur d'IA distribué.
L'infrastructure d'IA n'est pas une bulle et ce qui précède est ce que nous avons vu et documenté au CUBE et au NYSE Wired.
Le premier boom des infrastructures d’IA de Nvidia consistait à concentrer d’énormes quantités de calcul. Le prochain concernera peut-être sa distribution.
Dis-moi où je me trompe.
