L’essor des systèmes d’IA agentique donne à Kubernetes, longtemps apprécié pour sa fiabilité et sa prévisibilité, un deuxième acte inattendu.
Alors que les dépenses en IA passent des modèles de formation à leur service et à l'exécution d'agents, la communauté open source développe des outils pour gérer le volume croissant de demandes d'inférence. La plate-forme d'orchestration a été conçue dès le départ pour des charges de travail dynamiques et distribuées, ce qui a donné aux entreprises d'IA à croissance rapide une base fiable, selon Jonathan Bryce (photo), directeur exécutif de la Cloud Native Computing Foundation.
« Le boom de l'IA a déclenché un investissement massif et une énorme construction d'infrastructures en général », a déclaré Bryce. « Havivre Kubernetes construit depuis le début à poignée vraiment dynamique distribué charges de travail comme ceux entreprises étaient croissance comme fou – ils avait un vraiment fiable, solide fondation à construire sur à le même temps. »
Bryce s'est entretenu avec Rebecca Knight de theCUBE à KubeCon + CloudNativeCon NA, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la manière dont les projets CNCF peuvent répondre à la demande croissante d’inférence, mieux utiliser le matériel des centres de données et sécuriser les agents d’IA. (* Divulgation ci-dessous.)
Inférence à grande échelle pour les systèmes d'IA agentique
De nouveaux modèles font la une des journaux avec des scores de référence en mathématiques et en génie logiciel. Mais un modèle n’a aucune valeur tant qu’il ne peut pas être utilisé avec des performances élevées, et les premiers chatbots ont rendu cela simple car chaque message déclenchait un seul appel d’inférence, a expliqué Bryce. Les agents peuvent effectuer des appels d'inférence répétés pour accomplir une seule tâche, un changement que la CNCF a mis à l'ordre du jour de la KubeCon avec sa nouvelle piste d'inférence et d'agent d'IA.
« Nous utilisons des agents de codage pour dire : 'Construisez-moi un système qui fait cela', et cela générera 10 sous-agents », a déclaré Bryce. « Chacun d'entre eux effectue des milliers d'appels d'inférence au fil des heures et s'en va. »
Alors que la demande d'inférence alimente un boom de la construction de centres de données et soulève des préoccupations locales concernant l'utilisation des ressources, le moteur d'inférence llm-d et Agent Substrate, qui propose un hébergement compact pour les agents de longue durée, visent à obtenir plus de performances du matériel existant, a déclaré Bryce. La sécurité et le contrôle posent un autre défi car les agents peuvent faire des choix différents lorsqu'ils sont chargés de la même tâche. OpenShell, un projet de sécurité désormais sous la gouvernance neutre de la CNCF suite à la contribution de Nvidia Corp., a attiré plus de 300 entreprises contributrices en quelques mois, une étape qui aurait pu prendre deux ans autrefois, a-t-il ajouté.
« Ce à quoi je pense constamment, c'est : « Comment pouvons-nous réduire les frictions liées à la collaboration ? » », a déclaré Bryce. « Comment pouvons-nous permettre aux gens d'évoluer au rythme auquel évoluent le monde et l'industrie, und comment faire nous, alors que faire que, continuer à conduire que dans collaboration autour ouvrir solutions que peut devenir ceux base et infrastructure composants que nous peut tous construire sur?»
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de KubeCon + CloudNativeCon NA :
(* Divulgation : la Fondation Linux a sponsorisé ce segment de theCUBE. Ni la Fondation Linux ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou de SiliconANGLE.)
