L'IA d'entreprise se heurte à un mur d'alimentation et de refroidissement, pas à l'alimentation en GPU

Les entreprises qui se précipitent pour construire des usines d’IA et pousser l’inférence de pointe dans le domaine apprennent que l’achat d’unités de traitement graphique est la partie la plus facile. L’alimentation, le refroidissement et le débit du réseau déterminent désormais si ces systèmes coûteux produisent de l’intelligence ou restent inactifs.

Ces limites physiques ont façonné une grande partie des discussions sur le calcul haute performance et l’IA au SC26, où l’infrastructure commerciale de l’IA partage de plus en plus la parole avec le calcul scientifique. Les densités de rack qui atteignaient autrefois environ 10 kilowatts sont désormais sur la voie d'un mégawatt, un changement radical qui oblige les entreprises à regarder à la fois au-dessus et au-dessous des couches traditionnelles de réseau, de stockage et de calcul, selon Jack Hogan (photo), vice-président des technologies de croissance avancées chez SHI International Corp.

« Lorsque nous examinons la pile complète, nous reconnaissons que les clients sont désorientés. Ils peuvent se procurer les GPU, mais ils ne peuvent pas les alimenter. Ils ne peuvent pas les refroidir », a déclaré Hogan. « Ce ne sont pas non plus des systèmes bon marché. L'acquisition de l'infrastructure n'est qu'un début. »

Hogan s'est entretenu avec John Furrier de theCUBE Research au SC26, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l'inférence de périphérie et de la manière dont la puissance, la mise en réseau, le choix de modèles et les résultats commerciaux remodèlent la manière dont les entreprises construisent et gèrent l'infrastructure d'IA. (* Divulgation ci-dessous.)

L'inférence de périphérie et le mégawatt comme nouveau critère de l'IA

L’économie de l’infrastructure de l’IA évolue avec le matériel. Autrefois, les entreprises dimensionnaient les déploiements par unité de rack ou par rack, mais des centres de données entiers fonctionnent désormais comme un système unique avec une mémoire partagée, et chaque GPU doit être alimenté pour justifier son coût. Ce changement a modifié la façon dont SHI mesure le succès, a expliqué Hogan.

« Maintenant, nous parlons de l'échelle des rangées et maintenant du centre de données. … Nous mesurons cela maintenant en mégawatts », a déclaré Hogan. « Le mégawatt commence donc à devenir une mesure que les gens commencent à saisir et à comprendre. Combien de flops pouvez-vous obtenir avec ce mégawatt ? À quelle vitesse pouvez-vous traiter vos jetons ? »

Le rôle de SHI couvre tout le cycle de vie de ces systèmes. Forte de 37 années d'expérience dans l'industrie, l'entreprise construit des racks personnalisés dans ses installations d'intégration à travers le monde et effectue des évaluations pré-site afin que les systèmes puissent être mis sous tension dès leur arrivée. Dans le cadre d'un récent projet au New Jersey, SHI héberge et exploite le système du client dans son propre centre de données. L'emplacement est également important à la périphérie, où les charges de travail telles que l'entrée vidéo génèrent des données qui doivent être traitées sur place, a noté Hogan.

« Vous ne pouvez pas transporter cela. Les réseaux ne sont pas nécessairement le bon moyen de déplacer cela », a déclaré Hogan. « Nous créons le scénario à la fois du méga hyperscaler et de l'inférence de périphérie et sommes en mesure de lier ces deux choses ensemble. »

Les GPU occupés ne sont pas nécessairement des GPU productifs. SHI commence chaque engagement en demandant aux clients ce qu'ils tentent d'accomplir, puis travaille en arrière vers le bon modèle, qu'il s'agisse d'une intelligence de pointe ou d'un petit modèle de langage exécuté sur un appareil de pointe. Le silicium suit la même logique, avec des GPU, des processeurs plus récents, des puces spécifiques à l'inférence et des unités de traitement neuronal validées dans l'IA et le Cyber ​​Lab de l'entreprise.

« Il ne s'agit pas du coût du jeton, ni de réduire le nombre de jetons, ni même de trouver des jetons moins chers. Il s'agit d'optimiser et de garantir que ces jetons se transforment en valeur commerciale », a déclaré Hogan.

Voici l'interview vidéo complète, faisant partie de la couverture du SC26 par SiliconANGLE et theCUBE :

(* Divulgation : SHI a sponsorisé ce segment de theCUBE. Ni SHI ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)

Photo : SiliconANGLE

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine