Le jeton par watt – et non le calcul brut – apparaît comme la mesure d’efficacité déterminante pour les centres de données d’IA, plaçant le stockage au centre d’une refonte de l’infrastructure qui remodèle la façon dont l’industrie mesure les performances, les coûts et l’évolutivité.
Alors que l’IA agentique entraîne une explosion de la demande de mémoire contextuelle, le rôle du stockage SSD est passé d’une réflexion après coup à un chemin critique. Le déchargement du cache KV, le pipeline de données d'inférence et l'expansion des fenêtres contextuelles convergent pour créer un nouveau niveau de stockage au sein des clusters d'IA, un niveau qui détermine si les GPU restent occupés ou inactifs, selon Avi Shetty (photo), vice-président de l'écosystème d'IA, des solutions et de l'activation du marché chez Solidigm, une marque de SK Hynix NAND Product Solutions Corp.
« La nouvelle mesure pour les centres de données est le jeton par watt, pour un dollar par jeton et par watt », a déclaré Shetty. « Une seule invite – comme, nous sommes à Paris, hé, les cinq meilleures recommandations pour les restaurants – cette simple invite se traduit par environ 13 Go de données lorsque vous prenez en compte les activités du système, les activités des outils, les demandes de base de données. Lorsqu'une expulsion se produit, vous devez reconstruire le cache. Lorsque vous reconstruisez le cache, votre GPU attend – et cela ne peut pas arriver. «
Shetty s'est entretenue avec John Furrier de theCUBE au RAISE Summit, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la manière dont le stockage est devenu le chemin critique de l'infrastructure d'IA, de la philosophie de co-conception d'écosystème de Solidigm et du rôle de l'AI Central Lab dans la production d'architectures de référence validées à l'échelle du pétaoctet. (* Divulgation ci-dessous.)
Le jeton par watt est à l'origine d'une nouvelle philosophie de conception de stockage
L'accent mis sur l'efficacité des jetons par watt remodèle la façon dont Solidigm construit et valide ses produits. L'AI Central Lab de la société – une réplique à petite échelle d'un véritable centre de données d'un mégawatt – exécute de véritables charges de travail d'IA sur le matériel NVIDIA H100, B200 et B300 aux côtés de partenaires logiciels tels que MinIO, Weka et NetApp, avec des résultats qui incluent une mise à l'échelle linéaire démontrée des performances d'un nœud jusqu'à 32 nœuds à une capacité en exaoctets, a noté Shetty.
« Personne ne se soucie actuellement de la lecture ou de l'écriture aléatoires sur une feuille de données », a déclaré Shetty. « Ce qui intéresse les gens, c'est de savoir comment cela fonctionne dans un centre de données d'IA et une charge de travail d'IA. »
Le SSD phare D5-P5336 de 122 téraoctets de Solidigm illustre directement l'argument de la densité : 24 disques dans un seul rack 1U produisent quatre pétaoctets de stockage, consolidant ce qui nécessiterait 12 racks de disques durs en un seul, avec une réduction de 80 à 90 % de la consommation d'énergie. Cette puissance récupérée peut être redirigée vers les GPU, a noté Shadid. La société a également co-conçu le premier SSD refroidi par liquide au monde avec NVIDIA Corp. pour prendre en charge les architectures de centres de données sans ventilateur, où la chaleur générée par des performances extrêmes constitue une contrainte majeure.
« Fondamentalement, ce qui se cache derrière tout cela, c'est un stockage efficace », a déclaré Shetty. « Si vous recherchez une densité : 122 téraoctets, dont 24 dans un rack 1U, vous obtenez quatre pétaoctets de stockage. Cela vous permet d'être efficace, ainsi que de bénéficier d'opportunités d'évolution si nécessaire. Et l'année prochaine, nous doublerons ce chiffre. »
Voici l'interview vidéo complète, faisant partie de la couverture du RAISE Summit par SiliconANGLE et theCUBE :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement RAISE Summit. Ni Solidigm, le sponsor principal de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
