L’évolutivité de l’IA d’entreprise se heurte à un mur budgétaire difficile pour certains clients. À mesure que les charges de travail agents se multiplient, les factures de jetons cloud consomment des allocations plus rapidement que prévu, ce qui incite les entreprises à repenser l'endroit où l'inférence doit s'exécuter.
Cette pression sur les coûts remodèle la stratégie de déploiement de l'IA dans les entreprises, avec une infrastructure sur site et des modèles ouverts qui reviennent dans la conversation aux côtés des modèles pionniers dans le cloud. Certains clients épuisent rapidement leurs budgets symboliques, selon Helen O'Sullivan (photo, à gauche), responsable du développement commercial de l'IA et spécialiste des solutions chez Dell Technologies Inc.
« Beaucoup de nos clients que je soutiens dans la Bay Area sont confrontés à cette véritable difficulté immédiate de dépenser leur budget symbolique en quelques semaines qu'ils avaient allouées pendant des mois », a-t-elle déclaré. « Vous utilisez toujours ces modèles frontières, mais vous utilisez l'open source et l'infrastructure sur site pour au moins éliminer une partie du stress et du maximum de jetons en cours actuellement. »
O'Sullivan et Tim Wood (à droite), directeur des ventes pour la région du Nord-Ouest chez Intel Corp., se sont entretenus avec John Furrier de theCUBE Research lors du Dell « AI Leadership Symposium », lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l’évolutivité de l’IA d’entreprise, de l’épuisement rapide du budget des jetons cloud et de l’exploitation de l’infrastructure d’unité centrale de traitement existante pour les charges de travail agentiques. (* Divulgation ci-dessous.)
Équilibrer l’évolutivité et le coût de l’IA
L'IA agentique modifie l'équilibre de la demande en processeurs. De nombreux acheteurs restent concentrés sur les unités de traitement graphique même si leurs charges de travail évoluent, a noté O'Sullivan.
« Vous ne pouvez plus faire de l'IA juste pour le plaisir de faire de l'IA. Vous devez avoir un objectif en tête qui soit conforme aux objectifs de l'entreprise », a-t-il déclaré.
L'IA agentique modifie également la combinaison matérielle. L'architecture d'IA agentique d'Intel couvre l'orchestration, l'inférence et l'informatique de pointe. L'équipe d'O'Sullivan avait anticipé le rééquilibrage il y a des mois, même si de nombreux acheteurs restent obsédés par les unités de traitement graphique, a-t-elle noté.
« Nous avons constaté un rééquilibrage et une utilisation plus importante du processeur en ce qui concerne les agents. Les clients y arrivent », a-t-elle déclaré. « Ils n'en sont pas encore tout à fait là, d'après la portée que je vois. »
Les entreprises peuvent évaluer les options de déploiement avant de s'engager dans la production. Tester des modèles ouverts dans des environnements sandbox peut aider les entreprises à évaluer les besoins de leurs charges de travail, a expliqué Wood.
« De nombreuses entreprises disposent déjà de processeurs dans leur centre de données. Il existe peut-être des ressources existantes et une marge dans l'infrastructure dont elles disposent déjà qui sont capables de réaliser certaines de ces applications et charges de travail de nouvelle génération », a-t-il déclaré.
Les deux sociétés adoptent une approche consultative, comparant les modèles d'infrastructure et de capital existants par rapport aux modèles de dépenses d'exploitation avant de recommander un plan. L'évolutivité de l'IA d'entreprise nécessite d'évaluer l'ensemble de la pile, a noté O'Sullivan.
« De nombreux (clients) voient simplement (l'unité de traitement graphique) et (demandent) : « À quelle vitesse puis-je obtenir le GPU ? ou Vera Rubin ou quoi d'autre, » dit-elle. « Mais c'est une question de données. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE du « AI Leadership Symposium » de Dell :
(* Divulgation : TheCUBE est un partenaire média payant pour le « AI Leadership Symposium » de Dell. Ni Dell, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
