L'unité cloud de Google LLC a présenté aujourd'hui Agent Compute Engine, un service d'infrastructure optimisé pour héberger des agents d'intelligence artificielle.
Les agents d'IA s'exécutent dans des environnements technologiques appelés sandbox. Ils hébergent les applications, les données et les instructions utilisateur dont les agents ont besoin pour effectuer leur travail. Les bacs à sable contiennent également des garde-fous de cybersécurité qui bloquent les activités malveillantes.
Google fait référence à l'implémentation des sandbox par Agent Compute Engine en tant que microVM. La société affirme que la technologie combine l'efficacité matérielle des conteneurs avec la sécurité de la virtualisation traditionnelle. Google a notamment introduit la capacité des hyperviseurs à isoler les machines virtuelles les unes des autres pour empêcher la propagation de logiciels malveillants.
La société exécute des microVM sur des appareils spécialement configurés. Les appliances sont apatrides, ce qui signifie qu'elles ne conservent pas en permanence les fichiers utilisés par les agents des clients. Les données stockées par les systèmes sont conservées dans un système de fichiers immuable qui ne peut être ni modifié ni supprimé.
Google vérifie l'intégrité du micrologiciel des appareils à l'aide de ses puces de cybersécurité Titan personnalisées. Les unités centrales de traitement des appliances, à leur tour, disposent de mesures d'atténuation contre les attaques par canal secondaire. Il s'agit de cyberattaques qui analysent les données sur l'état physique d'un processeur pour glaner les informations client qu'il traite.
Les microVM qui s'exécutent sur un appareil Agent Compute Engine n'ont qu'un accès limité à ses ressources de stockage. En conséquence, les pirates ne peuvent ni lire ni supprimer les données s'ils s'emparent de l'un des bacs à sable. Un autre ensemble de garde-corps protège le réseau qui connecte l'appliance au reste du centre de données hôte. Le trafic provenant des microVM doit passer par plusieurs proxys avant de pouvoir atteindre sa destination.
« Tout le trafic entrant et sortant doit traverser une frontière IPC point à point isolée », ont expliqué Ramanathan Venkatapathy et Rohit Jnagal, ingénieurs distingués de Google Cloud, dans un communiqué. article de blog. « Cette frontière se termine au niveau d'un proxy de médiation local non privilégié, qui transmet les paquets à un proxy externe. La passerelle externe valide ensuite la portée des requêtes et applique un courtage sortant strict et axé sur des politiques. «
Les applications d'IA mettent souvent en pause les agents qu'elles utilisent pour automatiser les tâches des utilisateurs. Lorsqu'un agent s'arrête, le sandbox qui l'héberge doit rester disponible car l'agent peut être réactivé ultérieurement. De tels sandbox inactifs peuvent consommer une quantité importante de ressources matérielles, ce qui augmente les coûts.
Google indique que Agent Compute Engine détecte lorsqu'un bac à sable devient inactif et l'arrête. Cela évite une utilisation inutile du matériel. Lorsque le bac à sable est nécessaire, le service le réactive rapidement.
« Cela permet à un seul nœud physique d'héberger des ordres de grandeur plus de microVM d'agent vivant que les VM conventionnelles », ont écrit Venkatapathy et Jnagal. « Nous associons cela à des fonctionnalités intégrées aux agents telles que le clonage, le snapshot/forking, le rembobinage et la restauration qui permettent aux harnais d'utiliser le système efficacement sans duplication des ressources. »
Certains agents utilisent leurs identifiants de connexion pour accéder aux applications avec lesquelles ils effectuent leur travail. Selon Google, Agent Compute Engine stocke ces informations d'identification en dehors du bac à sable qui héberge un agent. Cela signifie que les pirates ne peuvent voler aucune donnée sensible s’ils s’emparent du bac à sable. Lorsqu'un agent doit se connecter à une application, un service Google Cloud appelé Agent Gateway récupère les informations d'identification pertinentes et les soumet au nom de l'agent.
Google déploiera Agent Compute Engine dans les mois à venir, parallèlement à une nouvelle version d'Agent Gateway. Ce dernier service, qui aide les clients à bloquer le trafic d'agents non sécurisé, devrait bénéficier d'une capacité de routage modèle. La fonctionnalité lui permettra d'envoyer chaque demande d'agent au modèle qui pourra la traiter de la manière la plus efficace. Agent Gateway se dote également d'un outil permettant de réguler les coûts d'inférence des agents.
« La gestion des jetons permet de contrôler la consommation des jetons entre les agents et les modèles, vous permettant d'attribuer les dépenses, d'appliquer des garde-fous budgétaires et de fournir une source unique de vérité pour les métriques des jetons », Nirav Mehta, Michael Bachman et Kevin Hutchins, vice-présidents de Google Cloud. a écrit dans un article de blog.
