Le déploiement d'usines d'IA a longtemps été une course pour sécuriser les unités de traitement graphique, mais les constructeurs de ces systèmes découvrent que le calcul ne représente que la moitié du problème. Les pipelines de données, les coûts de stockage et le temps nécessaire au fonctionnement d'un cluster pèsent désormais aussi lourd que la puissance brute.
Les entreprises fournissant cette infrastructure repensent par où commencer la planification. Les clients qui se concentraient autrefois uniquement sur la mise en place des plus gros clusters GPU se demandent désormais comment les alimenter en données, selon Ben Lee (photo), directeur de la gestion des solutions chez Super Micro Computer Inc.
« Dans le passé, nous nous concentrions vraiment, vraiment sur les ressources informatiques, n'est-ce pas ? » dit Lee. « Mais récemment, nous avons compris que les gens devaient commencer à regarder du point de vue des données. »
Lee s'est entretenu avec John Furrier de theCUBE Research au AI Data Pipeline Forum, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont expliqué comment les pipelines de données, la validation complète et les équipes de déploiement dédiées aident les clients à mettre en ligne plus rapidement les usines d’IA. (* Divulgation ci-dessous.)
Le déploiement de l'IA Factory commence avec le pipeline de données
Les clients de Supermicro découvrent souvent le problème des données une fois la construction du GPU terminée. Cette année, la flambée des prix des disques SSD et de la mémoire les a rendus hésitants à dimensionner les clusters de stockage, mais l'argent déjà investi dans le calcul ne laisse guère de choix, a expliqué Lee. Supermicro prévoit désormais le stockage parallèlement au calcul avec des partenaires tels que Vast Data Inc.
« Nous parlons toujours de la charge de travail du GPU et de la taille du cluster GPU. Nous savons que c'est très important. Mais maintenant nous nous associons à un partenaire solide comme VAST », a déclaré Lee.
Supermicro traite l'usine d'IA comme un seul grand ordinateur et en assume la responsabilité unique, une approche qui s'étend à son travail de gestion d'usine d'IA avec Broadcom Inc. Cela couvre les serveurs et le stockage construits avec des partenaires tels que ScaleFlux et ses solutions de blocs de construction de centres de données, qui, selon la société, évoluent de 5 mégawatts à 1 gigawatt. À mesure que les déploiements se développent, ce sont les fondamentaux qui comptent le plus, a noté Lee.
« Validez pleinement, car chaque petite chose ne fera que créer de gros problèmes pour l'ensemble des grands clusters », a déclaré Lee. « Vous devez donc vraiment entrer dans les moindres détails pour la validation, jusqu'au niveau des composants, jusqu'au niveau du système, jusqu'au niveau du rack et au niveau du cluster. »
Cette discipline détermine désormais le rythme du déploiement des usines d’IA. Supermicro a mis en ligne le cluster Colossus-1 refroidi par liquide de xAI en 120 jours, avec une équipe de tigres coordonnant les travaux d'ingénierie de la chaîne d'approvisionnement, des racks et du terrain, selon Lee.
« Ensuite, nous parlons du temps nécessaire au déploiement et, plus important encore, du temps nécessaire pour être opérationnel », a déclaré Lee. « C'est vraiment important car lorsque vous commencez à investir de l'argent et que vous devez payer Supermicro d'une certaine manière, vous voulez voir l'ensemble de votre système ou l'ensemble de votre cluster en ligne dans un délai très, très court. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE du forum AI Data Pipeline :
(* Divulgation : ScaleFlux Inc. a sponsorisé ce segment de theCUBE. Ni ScaleFlux Inc. ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
