La transition de l’expérimentation de l’IA au déploiement à grande échelle a révélé une dure réalité pour les entreprises clientes : le routage des jetons d’IA apparaît comme la stratégie essentielle pour gérer la montée en flèche des coûts à mesure que les décisions d’infrastructure prises lors de la première phase arrivent à échéance.
Les approches réactives ont constamment conduit à une explosion des factures symboliques, obligeant les dirigeants des technologies de l’information à repenser de toute urgence leurs investissements dans les infrastructures sous-jacentes pour obtenir des rendements financiers durables. Au lieu de se concentrer uniquement sur le retour sur investissement, les équipes informatiques ont brûlé des jetons alors qu'elles s'efforçaient de suivre le rythme des développements du secteur, selon John Hampton (photo), vice-président des ventes techniques d'entreprise mondiales chez Advanced Micro Devices Inc.
« Ce que nous avons vu se produire lors de la première phase de ce déploiement d'IA est une approche prête à tirer, à viser », a déclaré Hampton. « Ils ont acheté de gros clusters à nos concurrents et ils exécutent tout dans ces modèles pionniers dans le cloud – puis ils ont examiné leur facture.
Hampton s'est entretenu avec Dave Vellante de theCUBE et John Furrier à la Événement AMD Advancing AIlors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté du besoin urgent de modernisation des infrastructures et des stratégies émergentes pour optimiser le routage des jetons dans les centres de données. (* Divulgation ci-dessous)
Réduire les coûts de l'IA d'entreprise grâce au routage des jetons IA
Alors que les organisations poussent l’IA au-delà de simples invites et vers des flux de travail autonomes, le fardeau financier lié à l’exécution de modèles de pointe sur de grands clusters GPU est devenu une préoccupation majeure. Tokenomics – l'économie de la consommation de jetons d'IA – est devenu le défi déterminant pour les responsables informatiques des entreprises qui naviguent dans ce changement, a noté Hampton.
« Tokenomics est vraiment devenu le sujet numéro un pour les entreprises », a déclaré Hampton. « L'abordabilité et le retour sur investissement sont vraiment devenus problématiques. »
Au lieu de s'appuyer uniquement sur des modèles pionniers coûteux basés sur le cloud, les entreprises adoptent une approche hybride qui adapte chaque cas d'utilisation au matériel le plus efficace disponible, qu'il s'agisse d'un processeur ou d'une alternative GPU moins coûteuse.
« La solution la plus optimale ne réside pas toujours dans les modèles pionniers dotés de grands clusters GPU », a déclaré Hampton. « Souvent, vous pouvez exécuter l'inférence d'IA à partir de processeurs ou de GPU moins coûteux et moins gourmands en énergie. »
Pour lutter contre l'augmentation des dépenses, AMD a mis en œuvre le routage des jetons AI en interne, dirigeant les charges de travail vers ses GPU MI350P plutôt que vers des modèles cloud frontières. Les résultats ont validé l'approche sur les dimensions du coût et de la performance, a noté Hampton.
« Les résultats de ce projet pilote ont été une réduction de 43 % de notre facture symbolique », a déclaré Hampton. « Et voici le plus intéressant : nous avons en fait augmenté la vitesse de réponse de 2,9 fois. »
Les organisations qui réussiront dans la prochaine phase de déploiement de l’IA seront celles qui maîtriseront le routage des jetons d’IA et l’économie du calcul parallèlement à la modernisation du matériel. Libérer de l'énergie et de l'espace physique grâce à la consolidation des centres de données permet aux entreprises de réinvestir dans des infrastructures conçues pour l'IA, a noté Hampton.
« Je pense que la prochaine génération de gagnants de l'IA bénéficiera des meilleures économies symboliques », a déclaré Hampton. « C'est ce sur quoi nous devons collaborer en tant qu'industrie et résoudre ce problème. »
Voici l'interview vidéo complète, faisant partie de la couverture de SiliconANGLE et theCUBE sur AMD fait progresser l'IA 2026:
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement AMD Advancing AI. Ni AMD, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
