L’IA de production repousse le cloud privé au centre de l’infrastructure de l’entreprise.
Le changement ne concerne pas seulement l’endroit où les charges de travail sont exécutées. Il s’agit de contrôle des coûts, de sécurité, de gouvernance et de la nécessité de rapprocher l’IA des données de l’entreprise. La stratégie VMware Cloud Foundation de Broadcom Inc. reflète cette réalité, alors que les organisations mettent en balance l'économie du cloud et les exigences de l'inférence de l'IA à grande échelle.
« L'IA est à l'origine de plusieurs facteurs », a déclaré Paul Turner, directeur produit de la division VMware Cloud Foundation chez Broadcom. « Cela crée une grande opportunité. Il y a des raisons impérieuses pour lesquelles les gens adoptent l'IA. L'une des choses dont ils ont besoin est que la plate-forme qui exécute l'IA doit être meilleure, et c'est ce qui motive l'adoption du VCF aujourd'hui. La deuxième chose que nous voyons réellement se produire est que l'IA est en fait un multiplicateur de coûts, car elle augmente le coût de l'infrastructure. Vous devez également faire face aux risques que l'IA peut exposer. «
Tourneur; Prashanth Shenoy, directeur marketing et vice-président du marketing de la division VMware Cloud Foundation chez Broadcom ; et d'autres, se sont entretenus avec John Furrier et Gemma Allen lors de l'événement Broadcom « Modern Private Cloud : A Secure Foundation for Production AI », lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont expliqué comment Broadcom, ses partenaires et ses clients considèrent le cloud privé comme une base pratique pour une IA de production sécurisée. (* Divulgation ci-dessous.)
L’IA de production change l’équation du cloud privé
L’IA a rendu la conversation sur les infrastructures plus pratique. Les entreprises ne se demandent pas seulement comment adopter des modèles ; ils se demandent comment exécuter des inférences, sécuriser les données et gérer la hausse des coûts d'infrastructure sans perdre le contrôle de leur modèle opérationnel. C'est là que VCF se positionne en tant que fondation de cloud privé, selon Turner.
« L’IA est également un multiplicateur de risques et de coûts », a-t-il déclaré. « Pensez à quelques statistiques : 73 % des entreprises sont confrontées à des attaques liées à l'IA. C'est presque tous les secteurs… qui voient ces nouvelles attaques pilotées par des logiciels basés sur l'IA. »
Ce profil de risque change la façon dont les entreprises envisagent le cloud public. La formation et l’expérimentation peuvent encore s’appuyer sur les services cloud, mais l’IA de production quotidienne a des aspects économiques différents. Une fois que l'inférence fait partie des opérations, les coûts des jetons, la gravité des données et la conformité deviennent des problèmes de conseil d'administration plutôt que des notes techniques de bas de page, a expliqué Shenoy.
« L'année dernière, lorsque nous avons réalisé l'étude sur les perspectives du cloud privé, une réinitialisation définitive du cloud s'est produite sur le marché, où le cloud privé et le modèle opérationnel du cloud privé pour exécuter votre charge de travail critique sur site ou dans un environnement hybride étaient à égalité avec le cloud public », a-t-il déclaré. » Avance rapide jusqu'à cette année, lorsque nous avons mené la même enquête auprès de 1 800 responsables informatiques et décideurs du monde entier. De nombreuses organisations font désormais passer leurs applications d'IA d'une phase pilote d'essai à la production, en les mettant en œuvre à grande échelle. «
La pression des coûts donne également à la virtualisation une nouvelle dimension. La hiérarchisation de la mémoire, l'utilisation des GPU et les plates-formes partagées pour les machines virtuelles et les conteneurs sont d'autant plus importantes lorsque les charges de travail d'IA passent de pilotes isolés à des systèmes d'entreprise quotidiens. L'argument de Broadcom est que l'efficacité de l'infrastructure devient un levier direct pour l'adoption de l'IA, a noté Turner.
« Lorsque nous économisons de l’argent, cela fait une énorme différence pour nos clients », a-t-il déclaré. « En fin de compte, nous faisons beaucoup pour créer une plate-forme. Vous en entendrez davantage sur la façon dont nous créons une plate-forme puissante pour l'IA. Mais il est également très important que nous la rendions rentable, que nous virtualisions, que nous fournissions la meilleure plate-forme possible. »
Voici l'interview vidéo complète de theCUBE avec Paul Turner et Prashanth Shenoy :
La souveraineté de l’IA devient une priorité en matière d’infrastructure
L’IA privée a également évolué au-delà d’une seule architecture. Les besoins des entreprises sont de plus en plus distribués, avec des modèles locaux, des modèles frontières et des passerelles IA travaillant ensemble en fonction de la sensibilité, du coût et des performances. Cela est particulièrement important pour les organisations qui tentent de conserver les données, les plans de contrôle et les pistes d'audit sous leur propre modèle de gouvernance, selon Chris Wolf, responsable mondial de l'IA et des services avancés pour la division VMware Cloud Foundation chez Broadcom.
« Pour beaucoup de nos clients aujourd'hui, leur définition signifie qu'il ne s'agit pas seulement du plan de données qui est souverain, mais aussi du plan de contrôle qui est souverain », a-t-il déclaré. « C'est ça, 'Je peux me déconnecter d'Internet et je peux continuer à courir. Je peux continuer à fonctionner.' C’est une différence, et cela s’est vraiment accentué au cours des deux dernières années, bien plus que ce que nous avons vu auparavant.
Le travail du fournisseur de services cloud ThinkOn au Canada montre comment cela se joue sur le terrain. Pour les environnements réglementés, la souveraineté de l’IA n’est pas un débat politique abstrait. Cela devient une exigence de déploiement qui couvre la classification des données, le contrôle d'accès, le choix du modèle et la capacité de fonctionner dans un environnement de cloud privé fiable, selon Craig McLellan, fondateur et PDG de ThinkOn.
« J'irais même plus loin et je dirais qu'il s'agit aussi d'une question de souveraineté modèle », a-t-il ajouté. « De nombreux pays souhaitent avoir leur propre modèle souverain. Par exemple, au Canada, Cohere est un acteur dynamique sur le marché, et nous avons en fait profité de l'occasion pour travailler en étroite collaboration avec Broadcom pour ajouter le modèle Cohere à l'environnement en tant que cloud privé. Nous sommes en mesure de fournir au secteur public une combinaison de souveraineté de modèle, certainement de souveraineté économique et de données, ainsi que de souveraineté de plan de contrôle et de plan de données. »
L’exécution est désormais l’épreuve la plus difficile. De nombreuses organisations disposent de stratégies d’IA, mais l’utilisation en production dépend de la capacité des équipes d’infrastructure à rendre l’expérience suffisamment sûre, reproductible et suffisamment simple pour les utilisateurs. Cela signifie que la pile opérationnelle autour de l'IA devient tout aussi importante que la capacité du GPU qui la sous-tend, a souligné McLellan.
« Les clients recherchent toujours des boutons simples malgré la complexité qu'ils souhaitent apporter », a-t-il déclaré. « Ce que j'aime dans ce premier projet sur lequel nous avons travaillé au cours des derniers mois, c'est qu'il s'agissait d'une collaboration à trois. Il y a une collaboration entre Broadcom et ThinkOn car il s'agit d'un environnement complexe avec lequel nous devons présenter le bouton facile. En plus de cela, nous avons dû travailler avec le client qui nous apportait une charge de travail qui n'était pas nécessairement entièrement réfléchie non plus. Pouvoir le transformer en un outil que les membres internes de la communauté du secteur public peuvent réellement utiliser en toute sécurité et, surtout, facilement, n'était pas une mince tâche. «
Voici l'interview vidéo complète de theCUBE avec Craig McLellan et Chris Wolf :
Le cas d’utilisation de l’industrie manufacturière montre les enjeux des infrastructures
Charlotte Pipe and Foundry Co. amène la discussion sur le cloud privé dans un cadre plus terre-à-terre. Le constructeur de 125 ans ne court pas après l’IA pour la nouveauté. Son parcours VCF a commencé avec des besoins pratiques autour de la mobilité des charges de travail, de la sécurité et de la capacité de se moderniser sans refactoriser les applications principales, a noté Rodney Barnhardt, administration des serveurs chez Charlotte Pipe and Foundry.
« À l’origine, lorsque nous sommes passés à VCF, c’était avant de pouvoir importer des friches industrielles », a-t-il déclaré. « Bien que nous soyons clients de VMware depuis longtemps, avant de passer à VCF, nous étions sur trois niveaux : Cisco, BladeCenter, matrice de stockage 100 % Flash Unity. En examinant VMware de Broadcom et la plate-forme VCF utilisant HCX pour pouvoir effectuer ces migrations, ainsi que vDefend pour mettre en place une microsegmentation autour des produits, VMware Cloud Foundation est devenu le produit idéal à déployer dans notre environnement. «
La sécurité est devenue un facteur central. Pour Charlotte Pipe, vDefend et la microsegmentation offraient un moyen de limiter les mouvements latéraux et de réduire l'exposition si un attaquant violait l'environnement, a expliqué Barnhardt. Ce type de contrôle devient plus important à mesure que l’IA connecte davantage de systèmes et augmente le nombre de flux de travail touchant des données opérationnelles sensibles.
« Si vous utilisez vDefend et créez une microsegmentation, pour ceux qui ne sont pas familiers, cela limite les applications et les services aux seuls ports auxquels ils ont besoin d'accéder », a-t-il déclaré. « On peut dire que ces serveurs ne peuvent pas appliquer de protocole de bureau à distance, ou RDP, à ces serveurs, ce qui peut contribuer à réduire le paysage des menaces. Si un attaquant s'introduit, il ne peut pas simplement passer d'un serveur à l'autre. Cela ajoute également une couche de protection à l'environnement global. »
Les avantages opérationnels sont également liés aux correctifs, aux mises à niveau et à la gestion quotidienne. Une plateforme plus automatisée peut réduire les efforts manuels et aider les équipes informatiques à réagir plus rapidement lorsque des vulnérabilités apparaissent. Le conseil de Barnhardt est pratique : maîtrisez les principes fondamentaux avant de commencer la migration.
« Je pense que la clé est de planifier, c'est d'examiner votre environnement actuel, de vous assurer que tout votre matériel répond à la liste HCL, de vous assurer que tous les éléments appropriés sont en place », a-t-il déclaré. « Examinez les exigences et la liste HCL, et assurez-vous que ce que vous avez est déjà en place ou que vous devrez peut-être apporter des modifications ou acquérir du matériel différent pour effectuer cette mise à niveau. Vous voulez vraiment examiner cela avant de commencer le processus de mise à niveau ou le processus de déplacement, ou vous pourriez avoir un retard dans la réalisation de cette transformation. «
Voici l'interview vidéo complète de theCUBE avec Rodney Barnhardt :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Broadcom « Modern Private Cloud : A Secure Foundation for Production AI ». Ni Broadcom, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
