À mesure que les entreprises font passer leurs initiatives d’IA de la validation de principe à la production, l’attention se porte désormais sur une infrastructure d’IA modulaire capable de simplifier le déploiement et la mise à l’échelle. Le contrôle des coûts et la simplification des opérations apparaissent comme les défis déterminants de l’adoption de l’IA en entreprise.
Le principal défi pour les entreprises est de passer de la preuve de concept à la production. Même si les projets d'IA fonctionnent souvent bien avec un petit groupe d'utilisateurs, leur déploiement à l'échelle de l'entreprise introduit une nouvelle série de défis, selon Varun Chhabra (photo), vice-président senior du groupe de marketing produit et de solutions d'infrastructure chez Dell Technologies Inc.
« La première est que le coût de la tarification basée sur les jetons natifs est tout simplement hors de contrôle. Cela peut devenir vraiment, vraiment hors de contrôle, d'autant plus que vos principaux utilisateurs commencent à voir une très grande valeur dans les flux de travail », a déclaré Chhabra.
Chhabra s'est entretenu avec Dave Vellante de theCUBE lors de l'événement AMD Advancing AI, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté des défis liés au passage de l'IA de la validation de principe à la production et du besoin croissant d'une infrastructure d'IA modulaire pour prendre en charge les déploiements en entreprise. (* Divulgation ci-dessous.)
Infrastructure d'IA modulaire à grande échelle
Outre le coût de la tarification basée sur les jetons natifs, un autre défi concerne les données. Au-delà de placer le calcul à proximité des données d'entreprise, les organisations doivent établir des politiques de gouvernance et garantir que les modèles d'IA reçoivent les bonnes données via des technologies telles que les pipelines RAG.
« Le troisième, la sécurité et la gouvernance. Lorsque vous évoluez, comment vous assurer que vous pensez aux conséquences imprévues ? » » dit Chhabra. « Toutes ces choses, je pense, font partie de la recette dont vous avez besoin pour pouvoir faire évoluer les charges de travail de l'entreprise pour l'IA (générative). »
Alors que les charges de travail d’inférence continuent de croître et consomment une part croissante du calcul de l’IA, les entreprises explorent les déploiements sur site pour devenir leurs propres générateurs de jetons au lieu de dépendre d’API basées sur le cloud. Plutôt que de s’appuyer sur une approche unique, les grandes entreprises devraient utiliser différentes infrastructures d’IA et modèles de déploiement pour différentes charges de travail.
« Ce que nous constatons, c'est que les clients veulent des solutions modulaires. Ils veulent réfléchir à l'ensemble de la plateforme », a déclaré Chhabra. « Calcul, stockage, réseau, GPU. Le framework logiciel qui le recouvre, les modèles, ont-ils tous été testés, ont-ils tous été validés ? »
Dell et Advanced Micro Devices Inc. ont conçu la plate-forme Dell AI avec AMD pour permettre aux clients de démarrer avec de petits déploiements d'IA et d'évoluer sur la même plate-forme sans réarchitecturer leur infrastructure, selon Chhabra. L’AI Factory modulaire s’inscrit dans la démarche.
« Vous pouvez commencer petit avec ces unités composables de stockage, de calcul et de mise en réseau, pré-intégrées aux processeurs AMD Instinct et EPYC avec le logiciel ROCm ainsi qu'à l'écosystème ouvert qui se trouve au-dessus », a déclaré Chhabra. « Nous le testons, nous le validons, et les clients peuvent l'utiliser et une fois qu'ils commencent à y voir de la valeur, ils savent qu'ils peuvent évoluer de manière modulaire avec les mêmes frameworks. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement AMD Advancing AI :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement AMD Advancing AI. Ni AMD, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
