La startup du moteur de recherche d'intelligence artificielle Perplexity AI Inc. se concentre sur la sécurité des agents d'IA à la suite de plusieurs incidents très médiatisés qui ont vu des systèmes autonomes s'échapper d'environnements sécurisés et faire des ravages sur des sites Web tiers.
La société a développé un bac à sable IA spécifiquement pour isoler les agents IA appelé SPACE, et il est désormais rendu open source, ce qui signifie que chaque développeur peut utiliser l'outil pour sécuriser ses propres systèmes. SPACE est déjà déployé par des partenaires tels que CoreWeave Inc., Akamai Technologies Inc. et Crusoe Inc., qui proposent tous des plates-formes d'infrastructure hébergées dans le cloud pour les systèmes d'IA.
Les bacs à sable d'IA constituent la principale barrière qui empêche les agents d'IA de causer des problèmes tels que la fuite de données sensibles ou le piratage d'autres systèmes. Il s'agit d'environnements virtuels sécurisés et isolés dans lesquels des agents autonomes peuvent exécuter des logiciels tiers, naviguer sur Internet et exécuter des tâches sans risquer la sécurité de l'ordinateur hôte, du réseau d'entreprise au sens large ou du centre de données sous-jacent. En donnant à chaque agent IA son propre ordinateur isolé dans le cloud, s'il commet une erreur, exécute une commande destructrice ou est manipulé par des invites adverses, les dégâts qu'il cause seront contenus dans cet environnement.
Le seul problème avec les sandbox IA est que leur sécurité n’est pas toujours à toute épreuve. En fait, il y a eu plusieurs incidents où des agents rusés de l’IA ont réussi à trouver un moyen de s’échapper de leurs limites et de semer le trouble ailleurs.
L'un des agents d'IA les plus notables était testé par OpenAI Group PBC, qui s'est échappé d'un bac à sable et a ensuite piraté la plate-forme d'hébergement de modèles Hugging Face. Les agents d'OpenAI ont également piraté des sites Web gérés par les gouvernements américain et australien.
La plupart des laboratoires de modélisation frontaliers se sont davantage concentrés sur « l'alignement des modèles », qui implique de former les systèmes d'IA à se comporter eux-mêmes et à ne pas rechercher de failles dans leurs garde-corps, mais l'ingénieur de Perplexity, Zibi Braniecki, a déclaré à Semafor que son entreprise s'était plutôt concentrée sur la fabrication de ces garde-corps plus résistants et plus fiables.
Perplexity a développé SPACE pour protéger ses agents informatiques portables, qui sont commercialisés auprès de ses clients en tant qu'agents d'IA hébergés localement et capables d'effectuer des tâches en leur nom. Ils sont conçus pour développer des applications Web, rechercher des produits, acheter des produits en ligne, réserver des hôtels, etc.
Avec les agents informatiques de Perplexity, SPACE fournit des fonctionnalités de sécurité telles que l'exécution de code isolé, la pause et la reprise, la récupération et le branchement de session. Les agents s'exécutent sur une petite machine virtuelle dotée de son propre système d'exploitation, les isolant de l'ordinateur hôte.
Il existe un plan de contrôle contrôlé par l'utilisateur pour créer, exécuter, suspendre et supprimer ces machines virtuelles. SPACE garantit que ces bacs à sable sont toujours traités comme « non fiables » et gère leur accès au réseau et les informations d'identification de la plate-forme en dehors du bac à sable, permettant ainsi aux agents de se connecter aux services autorisés sans que ces informations sensibles ne soient jamais mises à leur disposition dans leur environnement. Il prend également des instantanés de fichiers fréquents et des points de contrôle de l'environnement en cours d'exécution pour préserver la progression et garantir qu'il peut revenir en arrière en cas de problème.
Jusqu’à présent, cependant, il n’a pas été nécessaire de faire quoi que ce soit de ce genre, car SPACE semble être à l’épreuve des balles. Braniecki a déclaré à Semafar que son équipe avait testé neuf modèles frontières dans des environnements SPACE et leur avait spécifiquement ordonné d'essayer de sortir de leur bac à sable.
En 118 tentatives, aucune n’a réussi, même si certains ont réussi à contourner les restrictions du réseau. Cependant, Perplexity a maintenant corrigé ces faiblesses, et aucun des modèles n'a pu recommencer lors des tests de suivi.
Pour comparer les performances de SPACE, Perplexity a effectué les mêmes tests en utilisant d'autres bacs à sable propriétaires et a déclaré que les agents avaient trouvé un moyen d'échapper à plusieurs d'entre eux.
Braniecki a déclaré que la nature open source de SPACE est essentielle pour sécuriser les agents d'IA, car elle permettra aux entreprises de travailler ensemble pour construire les garde-fous solides dont elles ont besoin. Cela ressemble à ce qui s'est passé aux débuts des navigateurs Web, a-t-il déclaré, lorsque la communauté des développeurs a collaboré sur les systèmes de sécurité nécessaires pour permettre le brunissage et le commerce en ligne sécurisés.
Perplexity n'est pas la seule entreprise à adopter une approche open source des bacs à sable d'agents IA. Une alternative est le projet OpenShell de Nvidia Corp., qui a été publié le mois dernier dans le cadre d'une plateforme plus large de sécurité des agents ouverts. Jusqu’à présent, aucune évasion d’OpenShell n’a été signalée.
La perplexité n'est pas nouvelle dans le domaine de la sécurité open source. Outre SPACE, elle a également développé des innovations open source telles que BrowseSafe, qui permet de détecter les instructions malveillantes cachées dans les pages Web ; Numbat, un outil d'enquête sur les comportements dangereux des agents ; et Bumblebee, qui est un scanner utilisé pour détecter les configurations à risque des outils d'IA.
