Pour redimensionner une infrastructure, il faut d’abord comprendre ce qu’une entreprise a besoin de sa technologie pour accomplir.
Pour les entreprises qui mettent l’IA en production, les pressions sur les coûts renforcent la nécessité de relier les performances techniques à la valeur commerciale. Les chiffres de performance ne suffisent pas à indiquer aux clients ce qu'un investissement signifiera pour leur entreprise, selon Jeremy Girven, responsable de l'activation technique AWS chez Advanced Micro Devices Inc.
« Est-il acceptable qu'un client, votre utilisateur final, attende 30 secondes pour une réponse, ou en a-t-il besoin immédiatement ? dit-il. « S'ils peuvent attendre 30 secondes, vous pouvez opter pour du matériel moins cher. S'ils en ont besoin immédiatement, vous utiliserez probablement du matériel plus avancé. »
Girven s'est entretenu avec l'animatrice de CUBE, Rebecca Knight, à EVOLVE26, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté du dimensionnement adéquat de l'infrastructure, de la collaboration d'AMD avec Cloudera et de l'économie du déploiement de l'IA en entreprise. (* Divulgation ci-dessous.)
Le dimensionnement adéquat de l’infrastructure nécessite une attention continue
La collaboration entre AMD et Cloudera comprend la validation continue des produits AMD pour les déploiements Cloudera. Les préoccupations budgétaires des clients sont au cœur de ces discussions sur les infrastructures, a expliqué Girven.
« Je dirais que si vous n'avez pas les compétences, vous faites appel à un partenaire comme Cloudera (ou) à un partenariat avec AMD, et nous pouvons vous aider à concevoir la solution pour répondre aux besoins », a-t-il déclaré. « Nous n'en sommes pas encore au point où nous disposons de solutions à l'emporte-pièce avec l'IA… pour le moment, c'est en quelque sorte très personnalisé pour chaque client. »
Il reste important de dimensionner l’infrastructure après le déploiement. Les entreprises doivent surveiller l'utilisation et ajuster la capacité à plusieurs reprises, tout en considérant où s'exécutent leurs charges de travail, a expliqué Girven.
« Je dirais qu'il ne faut absolument pas se concentrer uniquement sur la technologie de l'IA elle-même, mais garder également à l'esprit qu'il y a des frais de réseau et des choses comme ça qui s'ajoutent à cela », a-t-il déclaré. « J'ai vu de nombreux clients se faire payer des frais de sortie de réseau qu'ils n'avaient même pas calculés. »
Voici l'interview vidéo complète, faisant partie de la couverture d'EVOLVE26 par SiliconANGLE et theCUBE :
(* Divulgation : TheCUBE est un partenaire média payant pour EVOLVE26. Ni Cloudera, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
