Le récent KubeCon + CloudNativeCon Europe l’événement ne ressemblait pas tant à une célébration qu’à un aveu. L’IA est partout, mais les systèmes qui la sous-tendent sont mis à rude épreuve – non pas par des modèles, mais par la disposition. Les données et les machines qui créent l’IA sont réparties dans des cloud, des sites périphériques et des environnements sur site qui n’ont jamais été d’accord sur la façon de se comporter comme un seul système – le principal défi qui anime le plan de contrôle Kubernetes pour l’IA.
Nouveau recherche montre que la majorité des initiatives d'IA ne parviennent pas à atteindre la production, la plupart des pannes étant causées par des problèmes d'intégration et d'exécution opérationnelle plutôt que par les performances du modèle.
Paul Nashawatyanalyste principal chez theCUBE Research, décrit les réalités structurelles au cœur de la problématique : « L'IA révèle une faille fondamentale dans l'infrastructure de l'entreprise ; elle n'a jamais été conçue pour fonctionner comme un système unifié. Ce que KubeCon EU montre clairement, c'est que la fragmentation entre le cloud, la périphérie et sur site est désormais le principal obstacle à l'IA de production. »
Cette fragmentation porte désormais un nom : la souveraineté. Les systèmes héritent des frontières politiques, d’entreprise ou régionales. Ces limites limitent l'endroit où les données et les charges de travail peuvent s'exécuter, obligeant les systèmes d'IA à fonctionner dans des environnements distribués plutôt que dans une seule pile unifiée.
« Peut-être que la BU financière a son modèle Llama ; peut-être que la BU comptable a un modèle OpenAI », a déclaré Mike Barrett, vice-président et directeur général de Red Hat Hybrid Platforms chez Red Hat Inc., qui s'est entretenu avec theCUBE, le studio de diffusion en direct de SiliconANGLE Media, lors de la KubeCon EU. « Quelle est la manière la plus rentable de faire apparaître les renseignements que vous souhaitez récupérer ? Pour cette raison, (les entreprises clientes de Red Hat) recherchent une plate-forme horizontale.
Red Hat, l'enfant emblématique de Kubernetes dans l'entreprise, vise à freiner la fragmentation avec un plan de contrôle Kubernetes pour les charges de travail d'IA dans tous les environnements.
Cette fonctionnalité fait partie de l'exploration de SiliconANGLE Media sur la manière dont les entreprises construisent le plan de contrôle pour l'IA, avec Chapeau rouge jouer un rôle central dans l’élaboration de cette approche. (* Divulgation ci-dessous.)
Kubernetes va au-delà de l'orchestration pour résoudre les défis de l'IA
Kubernetes n'a jamais été conçu pour l'inférence d'IA. Il planifie les conteneurs. Cela ne garantit pas la cohérence entre les régions. Cet écart devient visible lorsque les charges de travail d’inférence passent en production.
« Ces modèles effectuent une quantité de calcul difficile à comprendre, mais lorsque je parle aux utilisateurs de llm-d (un cadre d'inférence Kubernetes natif open source, dirigé par Red Hat et hébergé par CNCF, conçu pour faire évoluer les charges de travail LLM distribuées sur les clusters), ils n'essaient pas seulement de construire un système de performance de pointe, ils essaient également d'effectuer ces opérations du deuxième jour », a déclaré Robert Shaw (photo, à gauche), directeur de l'ingénierie chez Red Hat.
C’est dans ce problème du « deuxième jour » que les systèmes d’IA échouent souvent – non pas au niveau de la formation, mais au niveau du comportement d’exécution, des fluctuations de latence, des conflits de ressources et des dérives politiques. Red Hat IA Entreprise cherche à opérationnaliser et à accélérer l'IA agentique et l'inférence de production avec une solution unifiée « métal à agent », selon Jan Melen, vice-président du conseil d'administration de la Cloud Native Computing Foundation, qui héberge Kubernetes et anime les conférences KubeCon + CloudNativeCon.
« Le cloud natif existe grâce au modèle de collaboration open source mondial », a déclaré Melen lors du discours d'ouverture de la KubeCon EU. « Des milliers de contributeurs de toutes les régions construisent ensemble des infrastructures partagées. »
L’implication n’est pas subtile. L’IA pousse les systèmes construits sur une cohérence globale dans des environnements définis par la fragmentation.
« L'IA agentique n'est pas un problème de modèle, c'est un problème d'architecture de plateforme », a déclaré Rob Strechay, analyste principal chez theCUBE Research. « Les entreprises qui gagneront ne choisiront pas de meilleurs modèles ; elles construiront de meilleures infrastructures pour les faire fonctionner. »
Kubernetes se concentre moins sur l'orchestration que sur le renforcement de la cohérence comportementale dans des environnements fracturés, a souligné Strechay.
L'ingénierie de plate-forme fait de Kubernetes le plan de contrôle de l'IA
Même si Kubernetes peut unifier le contrôle, il ne peut pas supposer que chaque équipe peut exploiter ce contrôle directement. L’adoption par les entreprises s’effondre lorsque la complexité est exposée à l’état brut.
« Ce que nous avons réalisé, c'est que l'IA est développée par des data scientists et, dans ce cadre, ils construisent leur propre infrastructure pour l'exécuter », a déclaré Brian Stevens (photo, à droite)vice-président senior et directeur de la technologie pour l'IA chez Red Hat.
C'est dans cet écart entre les constructeurs et les opérateurs que l'ingénierie des plates-formes entre en jeu, selon Strechay.
« Les outils fragmentés, le manque de compétences et la complexité opérationnelle deviennent les véritables goulots d'étranglement, entraînant une transition vers l'ingénierie de plate-forme et Kubernetes comme plan de contrôle unificateur », a-t-il expliqué.
Le système ne se stabilise que lorsque Kubernetes cesse d'être exposé directement et passe par l'intermédiaire de plates-formes qui réduisent les frictions. IA Red Hat OpenShift joue ce rôle, synthétisant la complexité opérationnelle en modèles reproductibles, avec formation, déploiement, service et inférence de modèles pour les environnements hybrides.
Les machines virtuelles étendent Kubernetes au lieu de lui résister
Les entreprises ne modernisent pas tout en même temps. Les systèmes de facturation et les bases de données ont tendance à rester là où ils sont. Fondamentalement, le risque maintient les systèmes existants en vie.
Recherche montre que 84 % des décideurs informatiques signalent des difficultés à gérer des environnements de VM et de conteneurs distincts, avec des outils cloisonnés et des opérations fragmentées entraînant une inefficacité dans l'infrastructure hybride. Si ces machines virtuelles restent en dehors de Kubernetes, le système reste divisé. Mais que se passerait-il si la virtualisation était introduite dans Kubernetes ?
« Nous pensons que la virtualisation et les conteneurs ne devraient pas vivre en silos ; ils devraient être sur une seule plateforme – et KubeVirt rend cela possible », a déclaré Daniel Messerresponsable principal de la gestion des produits chez Red Hat.
KubeVirt, un projet en cours de maturation au CNCF, étend Kubernetes à la virtualisation, permettant aux VM et aux conteneurs de partager le même plan de contrôle.
« L'obtention d'un diplôme pour nous rend plus évident pour les gens que (KubeVirt) est profondément ancré dans l'écosystème Kubernetes (et) l'écosystème CNCF », a ajouté Andrew Burdenresponsable de KubeVirt.
L’orientation est la consolidation des surfaces opérationnelles, et non l’élimination des systèmes existants.
La souveraineté crée la distribution, pas la centralisation
L’IA souveraine apparaît souvent comme une solution, mais elle impose aussi des contraintes. Les lois empêchent les données de traverser les frontières. La politique bloque la centralisation. Les entreprises répartissent les charges de travail entre les environnements cloud, sur site et en périphérie, que leur architecture soit prête ou non, selon Gabriele Bartolini d'EnterpriseDB, qui a recadré le principe sous-jacent dans un entretien récent avec La nouvelle pile.
« La véritable souveraineté commence par la base de données », a déclaré Bartolini. « Si votre PostgreSQL n'est pas portable dans tous les environnements, vous ne contrôlez pas vraiment votre pile. »
Et il met en garde contre le fait de supposer que la commodité gérée est synonyme de contrôle : « La commodité est le plus grand raccourci du cloud, mais la commodité n'est pas la souveraineté. Un contrôle réel signifie que vous pouvez déplacer votre base de données n'importe où et qu'elle se comporte de la même manière. »
Le discours de Jan Melen trace une ligne dure dans le débat sur la souveraineté : « Nous devrions séparer la souveraineté du code de la souveraineté du déploiement. Le code lui-même reste un bien commun mondial, partagé, ouvert et développé en collaboration. »
Le déploiement est le point où la souveraineté mord. C’est là que la loi et la politique décident où les charges de travail peuvent réellement s’exécuter et dans quelles conditions. TCette division est ce que Kubernetes tente de rendre opérationnel : code global, exécution locale.
Les écosystèmes définissent si le plan de contrôle Kubernetes pour l'IA fonctionnera
Aucun fournisseur ne peut couvrir à lui seul l’infrastructure d’IA. Un plan de contrôle Kubernetes pour l’IA ne fonctionne que s’il s’étend sur les systèmes au lieu de les remplacer. Cela fait peser une charge sur l'écosystème : les normes partagées, les API et les projets en amont qui permettent à différents outils de fonctionner comme un seul système.
Nashawaty souligne le rôle de Red Hat au sein de cette couche en amont : « L'influence de Red Hat s'étend bien au-delà de sa plateforme commerciale. L'entreprise est depuis longtemps l'un des contributeurs les plus actifs à l'écosystème Cloud Native Computing Foundation. »
Ce travail en amont n’est pas cosmétique. C’est ce qui assure la cohérence de Kubernetes entre les fournisseurs. Sans cela, chaque distribution dérive et le plan de contrôle se divise en implémentations concurrentes.
En plus de contribuer à des projets open source, Red Hat s'associe à des entreprises pour une IA d'entreprise évolutive. Notamment, Red Hat AI Factory avec Nvidia se concentre sur la création, le déploiement et la mise à l'échelle d'une infrastructure d'IA à l'aide de Red Hat OpenShift et du calcul accéléré Nvidia pour les charges de travail d'IA hautes performances.
« Alors que 75 % des entreprises signalent des taux de défaillance de l'IA à deux chiffres liés à des systèmes fragmentés, il est clair que le goulot d'étranglement s'est déplacé vers l'infrastructure », a déclaré Nashawaty, soulignant le coût lorsque la coordination des infrastructures en amont échoue, en particulier lorsqu'il s'agit d'IA.
Ce taux d’échec n’est pas dû à des fonctionnalités manquantes. Cela reflète des systèmes qui ne peuvent pas fonctionner ensemble. Les écosystèmes empêchent Kubernetes de s’effondrer dans un autre silo – le résultat exact qu’il est censé éviter.
Kubernetes devient la couche de production de l'IA
L’IA ne détruit pas l’infrastructure en un seul endroit. Il souligne chaque couture à la fois. Kubernetes devient la couche qui tente de maintenir ces liens ensemble.
Stevens a décrit l'évolution vers la consolidation des systèmes fragmentés sur une plate-forme unique : « C'est un concept très puissant de réappliquer cela – et également de le consolider sur la même plate-forme avec moins de fournisseurs et moins de surface d'attaque pour les changements dans les différentes courbes d'apprentissage, ce qui, je pense, a toujours été la puissance de Kubernetes. »
Cette consolidation ne fonctionne que si l’écosystème tient. Melen souligne ce qui se passe si ce n'est pas le cas : « Si la souveraineté mène à la fragmentation, nous risquons de mettre à mal les milliards de dollars de valeur que l’open source a déjà apportés à l’échelle mondiale. »
Le système ne devient pas plus simple, mais il devient gouvernable. Kubernetes n'est pas l'outil de choix car il est parfait. L’industrie le choisit parce que la fragmentation ne laisse aucun niveau de coordination alternatif et évolutif.
Le pari de Red Hat est que l'abstraction via Kubernetes est le seul moyen viable de maintenir l'IA opérationnelle dans des mondes disparates.
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement KubeCon + CloudNativeCon NA. Ni Red Hat Inc., le sponsor principal de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
