Kubernetes est devenu la plateforme incontournable pour la formation et l'inférence distribuées, mais qu'arrive-t-il à la facture de calcul lorsqu'il exécute des agents d'IA qui passent la plupart de leur temps à attendre ?
Lorsque le conteneur ou la machine virtuelle d'un agent reste provisionné, les clients paient pour l'attente ainsi que pour le travail. Pour aider les clients à contrôler ces coûts et rendre les charges de travail des agents plus prévisibles, Google LLC a fait don de trois projets à la Cloud Native Computing Foundation, selon Allan Naim (photo, à gauche), directeur de la gestion des produits, infrastructure IA, chez Google Cloud. Pour Kubernetes lui-même, le nouveau défi consiste à libérer le calcul entre les pics d'activité tout en permettant à chaque agent de reprendre là où il s'est arrêté.
« L'acte 2 remonte à quelques années ; Kubernetes est devenu de facto la solution d'inférence et de formation », a déclaré Naim. « Ce qui est vraiment intéressant en ce moment, c'est que nous nous lançons dans cet Acte 3… où les modèles typiques sont très, très différents de la façon dont Kubernetes a été conçu. »
Naim et Gari Singh (à droite), chef de produit chez Google Cloud, se sont entretenus avec Rebecca Knight de theCUBE à KubeCon + CloudNativeCon NA, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont expliqué comment Google Cloud utilise des outils open source pour réduire les coûts de calcul lorsque les agents d'IA restent inactifs. (* Divulgation ci-dessous.)
Des éléments de base ouverts pour la formation distribuée et l'inférence rencontrent l'IA agentique
Le coût présente un problème sérieux dans les charges de travail des agents, les agents restant inactifs 90 à 95 % du temps en attendant des modèles, des tests ou des approbations humaines, a expliqué Naim. Google a développé Agent Substrate, un environnement d'exécution open source qui héberge des agents IA dans des environnements isolés sur Kubernetes. Lorsqu'un agent est suspendu, le runtime enregistre un instantané de sa mémoire et de ses fichiers locaux et libère son calcul pour d'autres agents. Lorsque le travail reprend, il restaure l'agent à partir de cet instantané dans un bac à sable disponible.
« Cela aide d'un point de vue économique », a déclaré Naim. « Nous avons constaté une réduction de 10 fois des coûts liés à l'exécution d'Agent Substrate sur Kubernetes par rapport à l'exécution de ces agents directement sur des machines virtuelles et des conteneurs dédiés.
La sécurité est une autre préoccupation. En réponse, Google a lancé gVisor en open source en 2018, qui se trouve au-dessus du noyau hôte pour bloquer ou auditer chaque appel système effectué par un agent, selon Singh.
« Les agents et les faisceaux d'agents sont conçus pour résoudre un problème – et pour essayer de résoudre un problème – jusqu'à ce qu'ils ne puissent pas résoudre le problème », a déclaré Singh. « Ils trouveront toutes sortes de solutions de contournement intelligentes. Ils savent tout ce qui se passe. Vous voulez vous assurer qu'il n'a pas apporté de modifications de bas niveau à (votre) niveau de sécurité de bas niveau, qu'il n'a pas passé d'appel réseau sortant, qu'il n'a pas essayé d'ouvrir un fichier qu'il ne devrait pas. «
Google travaille également avec Anyscale Inc. sur KubeRay, qui exécute la plate-forme Ray d'Anyscale de manière native sur Kubernetes afin que les équipes de plate-forme puissent proposer une formation et une inférence distribuées à de nombreux groupes de recherche, a noté Singh. OpenRL apporte cette approche à l'apprentissage par renforcement, qui enseigne les garde-fous aux modèles post-formés, a ajouté Naim.
« Dans le passé, pour effectuer un apprentissage par renforcement, il fallait embaucher une douzaine de chercheurs scientifiques titulaires d'un doctorat », a déclaré Naim. « Notre objectif était : « Comment pouvons-nous introduire l'apprentissage par renforcement dans le monde de l'ingénierie de plate-forme afin que vous puissiez exécuter l'apprentissage par renforcement sur votre environnement Kubernetes et en profiter pour réellement améliorer continuellement votre charge de travail agent ? »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de KubeCon + CloudNativeCon NA :
(* Divulgation : Google Cloud a sponsorisé ce segment de theCUBE. Ni Google Cloud ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
