L’isolation de la charge de travail des agents devient un défi d’infrastructure pratique à mesure que les équipes de recherche dépassent les modèles de formation pour exécuter du code et tester les agents. Les systèmes conçus pour le calcul intensif doivent désormais s'adapter aux charges de travail qui interagissent avec les outils, le stockage et d'autres services.
L'infrastructure d'IBM Research doit prendre en charge des charges de travail de plus en plus variées à mesure que ses pratiques de développement de modèles évoluent. L'apprentissage par renforcement ajoute une étape d'exécution des tâches qui modifie ce que ces systèmes doivent prendre en charge, selon Brian Belgodere (photo), membre du personnel technique senior d'International Business Machines Corp.
« Le processus RL est que vous êtes en train de former un modèle », a-t-il déclaré. « À un moment donné, vous prenez ce point de contrôle, puis vous le chargez en inférence, vous lui demandez de faire quelque chose et vous mesurez. C'est votre phase de test. »
Belgodere s'est entretenu avec Dave Vellante et John Furrier de theCUBE Research lors de l'événement Fully Connected, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l'évolution des charges de travail de recherche, des compromis entre sécurité et performances, de l'ingénierie des infrastructures partagées et de l'isolation de la charge de travail des agents. (* Divulgation ci-dessous.)
De la formation du modèle à l'exécution du code de l'agent
Les travaux d'IBM Research sur sa famille de modèles Granite nécessitaient une infrastructure informatique substantielle. Les exigences en matière de refroidissement et d'alimentation d'une génération de matériel ultérieure ont contribué à la décision d'IBM de travailler avec CoreWeave Inc., selon Belgodere.
«C'est ce qui m'a fait dire : 'Hé, va construire notre infrastructure'», a-t-il déclaré. « Nous avons construit un grand cluster H100, et nous l'avons fait nous-mêmes : nous avons obtenu l'espace, de la soupe aux noix. C'était une tâche énorme. »
La relation s'est étendue à une ingénierie conjointe autour de la gestion des identités et des contrôles de la charge de travail. IBM a fourni les exigences pour étendre ses systèmes d'identité internes à CoreWeave, puis a affiné la mise en œuvre à travers plusieurs itérations, selon Belgodere.
« Souvent, ils viennent nous voir et nous disent : « Hé, nous y réfléchissons, pouvons-nous avoir vos commentaires ? » », a-t-il déclaré. « Et nous le traverserons avec plaisir. »
L'isolation de la charge de travail des agents devient une exigence de conception
Une grande partie du cluster d'IBM Research est à locataire unique, avec son propre stockage déployé au sein de CoreWeave et une capacité supplémentaire disponible dans les limites des paramètres de coût et de sécurité, selon Belgodere. La collaboration d'IBM avec CoreWeave inclut également les CoreWeave Sandbox, qui prennent en charge l'exécution isolée sur une infrastructure dédiée ou via un environnement d'exécution sans serveur géré. Ces options permettent aux chercheurs de choisir où le code de l'agent s'exécute et à quelles ressources il peut accéder.
« Il y a beaucoup d'échecs, et les gens ont tendance à sous-estimer le coût de la modification de certaines de ces décisions », a déclaré Belgodere. « Si vous décidez de prendre une mauvaise décision en matière d'architecture dès le début, le coût sera soit d'avoir accidentellement acheté beaucoup trop d'infrastructure réseau, soit de tout acheter et de tout rénover. »
IBM mesure l'impact des contrôles de sécurité sur les performances par rapport aux résultats de référence, en utilisant ces résultats pour discuter des compromis avec les équipes de sécurité. L’isolation des charges de travail s’accompagne de l’intégration des identités d’entreprise dans le cadre de cette architecture de sécurité plus large.
« Il s’agit d’un problème de chaîne d’approvisionnement, de haut en bas », a-t-il déclaré. « Il ne s'agit pas seulement du matériel, mais aussi du micrologiciel, des niveaux du noyau, du code, de la provenance de vos données. Ensuite, vous entrez dans le monde entier des agents, de vos images. C'est un problème absolu de provenance. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement Fully Connected :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Fully Connected. Ni CoreWeave, le sponsor de la couverture de theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
