L'infrastructure des agents d'IA évolue pour prendre en charge des systèmes qui évoluent continuellement entre l'inférence, la rétroaction et la formation.
Devin de Cognition AI Inc. assiste désormais tout au long du cycle de vie du développement logiciel, depuis la planification et l'écriture du code jusqu'à sa révision et la réponse aux problèmes de production. Ce rôle croissant nécessite une infrastructure d'agents d'IA capable de prendre en charge un apprentissage continu à grande échelle, selon Silas Alberti (photo de droite), responsable de la recherche et équipe fondatrice de Cognition.
« Nos courses sont toujours en cours », a-t-il déclaré. « Même si nous continuons à publier des versions et à les regrouper un peu, je pense que la réalité est que nous nous entraînons toujours. Nous essayons toujours de trouver les prochaines données et les prochains signaux de récompense pour améliorer nos modèles. »
Alberti et Chen Goldberg (à gauche), vice-président exécutif des produits et de l'ingénierie chez CoreWeave Inc., se sont entretenus avec Dave Vellante et John Furrier de theCUBE Research lors de l'événement Fully Connected, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l'apprentissage continu, de la formation en IA distribuée, de la fiabilité de l'infrastructure et de CoreWeave Forge. (* Divulgation ci-dessous.)
Une formation continue élève la barre de la fiabilité
La formation et l'inférence sont de plus en plus liées, en particulier dans les charges de travail d'apprentissage par renforcement qui génèrent des réponses et utilisent les résultats pour améliorer un modèle. Cognition a distribué des formations dans des centres de données dans plusieurs pays et sur plusieurs continents, ce qui rend la disponibilité de milliers d'unités de traitement graphique essentielle, selon Alberti.
« Si vous organisez une grande séance de formation, vous ne vous contentez pas de regarder les GPU, mais vous voulez également de la disponibilité », a-t-il déclaré. « Si une seule réplique tombe en panne, toute la séquence d'entraînement tombe en panne. Je pense qu'une mesure très importante consiste à atteindre cette fiabilité de 99,99 %. «
Le nouveau matériel façonne également l'orientation de la recherche de Cognition, selon Alberti. L'accès anticipé à la plate-forme Vera Rubin de Nvidia Corp. permet à ses chercheurs d'étudier le système et d'adapter les architectures de modèles tout en recherchant un meilleur rapport qualité-prix.
« À chaque génération, les prix augmentent, nous pouvons donc faire plus avec la même quantité de calcul », a déclaré Alberti. « Être précoce et réellement capable d’étudier les noyaux et la dynamique de cette nouvelle plateforme nous permet de prioriser nos investissements en recherche. »
Comment CoreWeave Forge connecte la boucle d'infrastructure des agents IA
Forge, qui a été annoncé lors de l'événement, relie l'inférence, l'observation, la conservation des données, l'amélioration des modèles et l'évaluation. La plate-forme comprend Agent Lens pour le traçage de l'activité des agents, ainsi que des capacités de distillation de modèles et d'apprentissage par renforcement. Son service RL Rollouts peut charger à chaud des points de contrôle de modèle mis à jour dans un déploiement en direct sans redéployer le système.
« CoreWeave Forge est… conçu pour ces boucles d'IA, ces systèmes d'apprentissage sur la façon dont vous créez des agents et connectez toutes les différentes étapes », a déclaré Goldberg. « Vous n'êtes pas obligé de tout faire en même temps. Vous pouvez toujours commencer par une inférence sans serveur, trouver votre modèle et commencer. »
Pour Cognition, la valeur de la boucle continue réside dans l’utilisation de l’expérience du monde réel pour améliorer les versions ultérieures de Devin. L'objectif est de rendre l'agent plus performant dans les projets logiciels de longue durée, selon Alberti.
« Les agents ne se contentent pas de planifier le code, d'écrire le code (et) de le réviser, mais ils deviennent également de véritables responsables de la production », a-t-il déclaré. « S'il y a un problème de production, Devin peut y répondre et y répondre. Et au moment où vous vous réveillez, il y a déjà une (pull request) et vous pouvez la fusionner. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE de l'événement Fully Connected :
(* Divulgation : TheCUBE est un partenaire média payant pour l'événement Fully Connected. Ni CoreWeave, le sponsor de la couverture de theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
