L’intelligence artificielle d’entreprise entre dans une phase soucieuse des coûts, et c’est dans l’infrastructure hybride que ce calcul se joue. À mesure que les dépenses d’inférence augmentent, les chefs d’entreprise réfléchissent à l’endroit où les modèles sont exécutés, aux modèles qu’ils utilisent et à la quantité de données qu’ils sont prêts à transmettre à quelqu’un d’autre.
Ces considérations de coûts remodèlent les décisions d’achat dans tous les secteurs, y compris parmi les institutions financières qui tentent de transformer des données cloisonnées en actions en temps réel. Selon Dell, plus de 6 500 entreprises ont adopté Dell AI Factory avec les mises à jour Nvidia. Selon Kyle Dufresne (photo), vice-président senior des ventes chez Dell, un changement radical dans l'économie des jetons change ce que demandent les clients.
« C'est incroyable de voir au cours des trois derniers mois 80 % des jetons générés à partir de modèles frontières. Trois mois plus tard, 80 % des jetons dans le monde sont générés par des modèles ouverts », a déclaré Dufresne. « Pourquoi ? À cause du coût. Et tout le monde parle de tokenomics. »
Dufresne s'est entretenu avec Dave Vellante de CUBE Research au Dell Technologies New York Symposium, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la tokenomics, de l'infrastructure hybride et de la manière dont Dell aide ses clients à planifier leurs investissements dans l'IA. (* Divulgation ci-dessous.)
Les coûts d’inférence poussent l’infrastructure hybride vers la périphérie
L'inférence se développe désormais plus rapidement que la formation, même si les deux se développent rapidement, selon Dufresne. Ce changement s’opère là où se déroule le travail de l’IA, Dell voyant l’inférence s’exécuter partout où les données sont créées : dans le cloud, dans le centre de données et vers les PC.
« Nous voyons les propriétaires d'entreprises dire : 'Oh mon Dieu, ces coûts deviennent vraiment élevés pour l'inférence. Comment pouvons-nous réduire ces coûts sans freiner l'innovation ?' », a déclaré Dufresne. « Nous constatons que cela se produit tout au long de ce continuum, mais de plus en plus à l'extrême limite. »
L’économie soulève également une question stratégique de contrôle. Les entreprises doivent décider si elles souhaitent externaliser leurs données et leur différenciation, et elles fixent désormais le prix de l'IA en fonction de l'endroit où les charges de travail sont exécutées, des modèles qu'elles utilisent et de l'emplacement de leurs données, a expliqué Dufresne. Dell a conçu sa dernière AI Factory avec des mises à jour Nvidia pour aider les clients à obtenir des résultats sur l'infrastructure qu'ils contrôlent.
« Nous voyons tous les (directeurs financiers) dans le monde qui ont mis en place ces structures dire : 'Mon Dieu, mes coûts symboliques explosent' », a-t-il déclaré. « Comment pouvons-nous réduire les coûts ? »
L’offre est l’autre côté du grand livre. Les prix de la mémoire poussent les coûts technologiques à la hausse plutôt qu'à la baisse, et environ 20 % de mémoire supplémentaire arriveront sur le marché l'année prochaine, contre environ 200 % de demande en plus, a estimé Dufresne. Dell répond par une planification collaborative, orientant les clients vers des composants plus facilement disponibles et partageant une visibilité anticipée sur les augmentations de coûts à venir. De nombreux clients trouvent que le coût du capital est inférieur à l’inflation des composants et achètent donc plus tôt.
« Il ne s'agit pas seulement de pouvoir fournir la technologie », a déclaré Dufresne. « Mais aussi de pouvoir partager avec les clients ce qui va se passer dans le futur afin qu'ils puissent prendre dès aujourd'hui de meilleures décisions sur l'utilisation de leur capital. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE du Dell Technologies New York Symposium :
(* Divulgation : TheCUBE est un partenaire média payant pour le Dell Technologies New York Symposium. Ni Dell, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
