L'IA d'entreprise entre dans une nouvelle phase alors que les organisations passent de l'expérimentation aux déploiements de production qui fournissent des résultats commerciaux mesurables. Cette transition place l’économie des jetons d’IA au premier plan, remodelant les priorités d’infrastructure autour des coûts d’inférence et de la flexibilité nécessaire pour exécuter l’IA dans des environnements hybrides.
L’IA hybride va au-delà de la simple décision de savoir si les charges de travail s’exécutent sur site, en périphérie ou dans le cloud. De plus en plus, les entreprises adoptent également une approche hybride des modèles d'IA, combinant des modèles frontières et ouverts en fonction des besoins de chaque charge de travail, selon Suresh Andani (photo), vice-président du calcul et de l'IA d'entreprise chez Advanced Micro Devices Inc.
« De nombreuses entreprises réalisent désormais que toutes les tâches n'ont pas besoin de modèles frontières. En passant, les modèles frontières sont excellents », a déclaré Andani. « Si vous avez besoin du contexte le plus approfondi, si vous avez vraiment besoin d'une concurrence élevée, les modèles frontières ont vraiment bien fonctionné pour les entreprises. Toutes les tâches d'IA d'entreprise n'ont pas besoin de s'exécuter sur un modèle frontière. »
Andani s'est entretenu avec John Furrier et Dave Vellante de theCUBE lors de l'événement AMD Advancing AI, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l’évolution vers une infrastructure d’IA distribuée et de l’importance croissante de l’économie des jetons d’IA à mesure que les entreprises mettent l’IA en production. (* Divulgation ci-dessous.)
Optimiser l’économie des jetons IA
Toutes les charges de travail d’IA d’entreprise ne nécessitent pas un modèle frontalier. De nombreuses tâches sont mieux adaptées aux modèles ouverts exécutés sur site, où les organisations peuvent réduire les coûts tout en maintenant une sécurité, une souveraineté et un contrôle des données accrus, selon Andani.
« En tant que fournisseur de calcul d'IA, nous voulons nous assurer que nous permettons à ces entreprises non seulement d'exécuter leurs tâches d'IA via les API de pointe dans le cloud, mais que nous leur fournissons une infrastructure qui leur permet d'héberger des modèles ouverts très efficacement sur site », a déclaré Andani. « Chaque conversation d'entreprise à laquelle je participe est un sujet de discussion clé. »
Les entreprises paient pour les résultats, pas pour les puces ou les serveurs. La valeur de l’infrastructure d’IA est en fin de compte mesurée par les résultats commerciaux qu’elle produit – un changement qui, selon Andani, change la façon dont les organisations justifient leurs dépenses en IA.
« Si je suis une grande société pétrolière et gazière et que j'ai un problème de fuite de contrats, le résultat que je cherche est le suivant : puis-je utiliser l'IA pour réduire les dollars que je perds sur les contrats ? C'est ce qu'ils essaient de faire », a déclaré Andani. « Il est également vrai que le coût total de possession dépend également de manière significative de ce qui se trouve au niveau de la couche fondamentale. Les vitesses et les flux sont importants pour apporter de la valeur au client final en termes de résultats. »
Certaines entreprises souhaitent créer leurs propres piles d'agents IA à l'aide de plates-formes fournies par des partenaires OEM et cloud. D'autres préfèrent les plates-formes d'IA qui fournissent davantage de pile prêtes à l'emploi, selon Andani.
« Certaines entreprises ont besoin d'agents prédéfinis, comme par exemple, j'ai besoin d'un agent chatbot », a déclaré Andani. « Pour nous, il s'agit en réalité de fournir toute cette pile, non seulement du GPU, du CPU et des puces réseau, des plates-formes, du plan de contrôle pour l'IA, puis des couches d'application ISV elles-mêmes. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement AMD Advancing AI :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement AMD Advancing AI. Ni AMD, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
