La course aux infrastructures d’intelligence artificielle ne consiste plus seulement à construire des puces plus rapides. Les goulots d'étranglement de l'infrastructure de l'IA attirent l'attention sur un défi plus important : maintenir ces puces alimentées en données, connectées via des réseaux à haut débit et fonctionnant dans des limites de puissance et de refroidissement de plus en plus exigeantes.
Ce défi au niveau des systèmes est à l'honneur lors du AI Data Pipeline Forum à San Jose, en Californie, qui se déroule lors du Sommet mondial OCP. L'événement rassemble des leaders de l'industrie pour aborder les changements architecturaux nécessaires à la prise en charge des clusters d'IA denses et de l'inférence distribuée. TheCUBE, le studio de diffusion en direct de SiliconANGLE Media, fournira une couverture exclusive, diffusée le 13 octobre, animée par John Furrier, analyste exécutif chez theCUBE Research.
La discussion intervient alors que la conception de l’infrastructure d’IA s’éloigne de l’optimisation de composants individuels pour se tourner vers la coordination de systèmes entiers. À mesure que les centres de données sont de plus en plus interconnectés, le mouvement des données à travers les infrastructures de calcul, de stockage et de réseau apparaît comme un défi architectural majeur. Cette transition crée de nouvelles demandes en matière de stockage, de mémoire, de réseau et d'infrastructure physique.
ScaleFlux Inc., qui développe des technologies de stockage et de contrôleur de mémoire, fait partie des entreprises qui s'attaquent aux contraintes de mouvement des données alors que les charges de travail d'IA deviennent de plus en plus gourmandes en mémoire. Dell Technologies Inc. contribue également à faire progresser les architectures à l'échelle du rack conçues pour répondre à la densité de calcul et aux exigences opérationnelles croissantes.
Les goulots d’étranglement de l’infrastructure d’IA conduisent à une transition vers une conception au niveau du système
À mesure que les charges de travail d’inférence augmentent, la capacité à déplacer efficacement les données dans des environnements matériels de plus en plus complexes devient une mesure essentielle des performances de l’infrastructure d’IA.
Dans une analyse récente de CUBE Research, l'analyste en chef Dave Vellante a identifié les contraintes de mémoire, les inefficacités du mouvement des données et les aspects économiques de l'inférence comme des défis croissants, le stockage jouant un rôle plus actif dans le pipeline de l'IA.
Ces pressions influencent le développement des semi-conducteurs. En juillet, ScaleFlux a présenté les contrôleurs de mémoire PCIe Gen6 SSD et CXL conçus pour augmenter le débit et la capacité de mémoire tout en gérant la consommation d'énergie.
« L'infrastructure d'IA génère une demande sans précédent de bande passante plus élevée, de plus grande capacité de mémoire et de consommation d'énergie plus faible », a déclaré Hao Zhong, co-fondateur et PDG de ScaleFlux. « Avec l'introduction des FC6116 et MC600, ScaleFlux étend sa plate-forme silicium dans l'ère PCIe Gen6, offrant ainsi aux clients les éléments de base nécessaires pour concevoir des systèmes de stockage et de mémoire plus rapides, plus efficaces et plus flexibles.
Le défi s’étend au-delà du mouvement des données. La fourniture d'énergie et le refroidissement doivent également s'adapter à des systèmes plus denses, ce qui rend l'infrastructure modulaire et l'ingénierie coordonnée de plus en plus importantes.
« Vous avez des centres de données qui nécessitent un refroidissement venant du haut et un refroidissement venant du bas », a déclaré Sarat Krishnan, directeur de l'architecture PowerEdge AI et de l'ingénierie de développement de systèmes chez Dell, lors d'une récente interview avec theCUBE. « Vous disposez de puissances de différentes tailles. Nous avons maintenant appris à construire une infrastructure modulaire à l'échelle du rack qui peut s'adapter rapidement à tous ces besoins. »
Ces développements constituent la toile de fond du AI Data Pipeline Forum, où les discussions porteront sur la manière dont les normes ouvertes et les conceptions modulaires peuvent prendre en charge la prochaine génération de systèmes d'IA sans introduire de goulots d'étranglement supplémentaires en matière d'infrastructure.
Diffusion en direct de l'événement TheCUBE
Ne manquez pas la couverture par theCUBE du forum AI Data Pipeline le 13 octobre. De plus, vous pouvez accéder au contenu exclusif de theCUBE sur demande après l'événement en direct.
Comment regarder les interviews du CUBE
Nous vous proposons différentes manières de regarder la couverture par theCUBE du forum AI Data Pipeline, y compris le site Web dédié et la chaîne YouTube de theCUBE. Vous pouvez également obtenir toute la couverture des événements de cette année sur SiliconANGLE.
Podcasts LeCUBE
Le « theCUBE Pod » de SiliconANGLE est disponible sur les podcasts Apple, Spotify et YouTube, dont vous pouvez profiter lors de vos déplacements. Au cours de chaque podcast, John Furrier et Dave Vellante de SiliconANGLE analysent les plus grandes tendances en matière de technologie d'entreprise, de l'IA et du cloud à la réglementation et à la culture du lieu de travail, avec un contexte et une analyse exclusifs.
SiliconANGLE produit également notre programme hebdomadaire « Breaking Analysis », dans lequel Dave Vellante examine les principales actualités en matière de technologie d'entreprise, combinant les informations de theCUBE avec les données de dépenses d'Enterprise Technology Research, disponibles sur les podcasts Apple, Spotify et YouTube.
Invités
Lors de la couverture par theCUBE du AI Data Pipeline Forum le 13 octobre, Furrier animera des conversations avec des dirigeants de ScaleFlux, Cerebras, Cisco, Dell et d'autres sur la façon dont l'industrie résout les goulots d'étranglement de l'infrastructure de l'IA grâce à des progrès en matière de stockage, de mémoire, de réseautage à haut débit, de refroidissement liquide et de distribution d'énergie. Les conversations porteront également sur la manière dont les normes ouvertes et les architectures modulaires aident les centres de données à prendre en charge des clusters d'IA de plus en plus denses et des charges de travail d'inférence distribuées.
(* Divulgation : TheCUBE est un partenaire média payant pour le forum AI Data Pipeline. Les sponsors de la couverture de l'événement theCUBE n'ont pas de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
