L'inférence gère désormais les deux tiers des charges de travail d'IA, modifiant l'endroit où les puces sont déployées

Les dépenses en IA évoluent des clusters de formation géants vers des sites plus petits et construits rapidement, et les centres de données modulaires deviennent un foyer naturel pour les charges de travail d'inférence. L’alimentation électrique, le refroidissement et la mémoire déterminent désormais l’endroit où les jetons sont générés, autant que les performances brutes des puces.

Les fabricants de puces axés sur l’inférence veulent capturer ce changement. Positron AI Inc., qui a levé 875 millions de dollars pour une valorisation de 5 milliards de dollars en septembre, construit des appareils d'inférence autour de la mémoire standard plutôt que de la rare mémoire à large bande passante. L'inférence a dépassé la formation en tant que force derrière les décisions d'achat d'infrastructures, selon Cameron McCaskill (photo), responsable des ventes et du développement commercial chez Positron.

« Nous sommes à un point où environ les deux tiers des charges de travail exécutées via ces infrastructures d'IA sont des inférences, contre un tiers de la formation. Et en 2023, c'était comme 85 % de formation, 15 % d'inférence », a déclaré McCaskill. « Vous pouvez maintenant comprendre pourquoi l'inférence détermine les décisions économiques sur la façon dont ils vont construire leur infrastructure. »

McCaskill s'est entretenu avec Rebecca Knight et John Furrier de theCUBE Research au SC26, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la formation sur l'inférence, de la conception de la puce de mémoire de base de Positron et des raisons pour lesquelles les centres de données modulaires à faible consommation conviennent à l'inférence. (* Divulgation ci-dessous.)

Pourquoi les centres de données modulaires conviennent à l'inférence à faible consommation

Le serveur Atlas de première génération de Positron fonctionnait sur une puce programmable, et la société prévoit d'utiliser son propre silicium au début de l'année prochaine pour son serveur Titan. Oracle Corp. met en service environ 340 serveurs Atlas dans son cloud ce trimestre, a noté McCaskill. Un fournisseur de néocloud a également signé pour Atlas et s'est engagé auprès de Titan. Le choix de conception central de Positron consistait à ignorer la mémoire à large bande passante.

« Presque tout le monde dans l'industrie utilise ce qu'on appelle la mémoire HBM ou mémoire à large bande passante. Son offre est très limitée et très coûteuse », a déclaré McCaskill. « Nous avons opté pour la mémoire marchande. »

Ce choix permet également de maintenir une puissance suffisamment faible pour les pièces refroidies par air. Un seul serveur Positron consomme environ 4 500 watts, et un rack complet de serveurs Titan tient dans 40 kilowatts, a expliqué McCaskill. Cette empreinte convient aux sites où les opérateurs peuvent trouver quelques mégawatts d’énergie bon marché sans obstacles réglementaires lourds. Pour les fournisseurs d'inférence qui monétisent de nouvelles capacités, la vitesse de déploiement constitue un élément important de l'attrait, selon McCaskill.

« L'un des groupes d'entreprises que nous constatons actuellement une augmentation et qui nous contactent pour des produits est celui des centres de données modulaires, où ils disposent d'un centre de données modulaire d'un demi-mégawatt ou de 1 mégawatt ou 2,5 mégawatts, et ceux-ci peuvent être déployés très rapidement », a déclaré McCaskill. « Et l'objectif de beaucoup de ces acteurs de l'inférence est que je veux passer de la terre et de l'électricité à des jetons monétisables dans un délai de 90 à 120 jours. Et ces centres de données modulaires, associés à notre technologie, peuvent être une excellente solution. »

Voici l'interview vidéo complète, faisant partie de la couverture du SC26 par SiliconANGLE et theCUBE :

(* Divulgation : NYSE Wired a sponsorisé ce segment de theCUBE. Ni NYSE Wired ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)

Photo : SiliconANGLE

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine