Peu d'entreprises sont plus investies dans le succès des agents d'intelligence artificielle que Nvidia Corp., il est donc logique que le fabricant de puces veuille garantir que ces systèmes logiciels autonomes fonctionnent en toute sécurité, sans causer de problèmes.
À cette fin, Nvidia a annoncé aujourd'hui le lancement de sa plateforme gratuite et open source Nvidia Open Agent Safety Platform, qui regroupe divers outils que les organisations peuvent utiliser pour renforcer la sécurité de leurs agents IA, renforcer leur contrôle sur eux et améliorer la gouvernance. Il est construit sur le logiciel open source OpenShell de Nvidia et intègre Nvidia Sentry pour permettre un contrôle total non seulement sur les agents IA, mais également sur le matériel et les ressources de calcul qui les alimentent.
Nvidia tente de contrer l'alarme déclenchée à la suite de nombreux incidents de sécurité très médiatisés impliquant des agents d'IA devenus voyous. Il semble que chaque jour qui passe, des révélations émergent sur des agents d'IA s'affranchissant du contrôle de leurs propriétaires. La semaine dernière, un chercheur a découvert qu'un essaim complet d'agents, dont certains créés par OpenAI Group PBC, avaient piraté divers systèmes contrôlés par le gouvernement australien lors d'un incident qui a attiré l'attention du Premier ministre Anthony Albanese.
Les agents d'OpenAI sont également responsables d'un autre incident tristement célèbre survenu entre mai et juin. Les agents auraient travaillé ensemble pour sortir d'un environnement sandbox isolé et pirater la plateforme d'hébergement de modèles Hugging Face Inc. Bien qu'aucun des deux incidents n'ait causé de dommages graves connus, la possibilité pour les agents d'IA de faire des ravages auprès de tiers rend beaucoup de gens très nerveux.
Nvidia affirme que ces incidents démontrent qu'il est trop facile pour les agents d'IA de contourner les garde-fous traditionnels de la couche application. Ce qu’il faut, affirme-t-il, c’est un tout nouvel ensemble de contrôles couvrant l’ensemble de la pile agent. Au lieu de s'appuyer uniquement sur des invites au niveau logiciel ou sur des limites d'application, la Nvidia Open Agent Safety Platform applique des règles sur trois couches distinctes : les agents eux-mêmes, le calcul et le matériel.
La plate-forme est construite sur le logiciel OpenShell de Nvidia, qui fournit un environnement d'exécution open source étanche conçu pour exécuter des flottes d'agents autonomes dans des bacs à sable isolés, avec des contrôles au niveau de l'infrastructure. Selon le fabricant de puces, OpenShell agit comme une frontière qui permet aux utilisateurs de suivre toutes les actions de leurs agents et d'appliquer des politiques de sécurité en dehors des garde-fous appliqués au grand modèle de langage sous-jacent qui les alimente. Le logiciel a été optimisé pour fonctionner sur les unités centrales de traitement Vera de Nvidia, mais est également compatible avec les processeurs d'Intel Corp. et Arm Ltd.
L'autre composant majeur de la plate-forme de sécurité Nvidia Open Agent est Sentry de Nvidia, qui est une conception de système de référence basée sur le logiciel Nvidia DOCA. DOCA, qui signifie architecture d'infrastructure de centre de données sur puce, est un cadre de programmation et de logiciel unifié pour l'écriture d'applications pouvant fonctionner sur les unités de traitement de données BlueField ou DPU spécialisées de Nvidia, de la même manière que CUDA est utilisé pour créer des applications optimisées pour ses unités de traitement graphique.
Fonctionnant sur BlueField-4, Nvidia Sentry est conçu pour agir comme un agent de sécurité, surveillant en permanence les agents IA en arrière-plan. En opérant directement sur le silicium, il est capable d'étudier le comportement des agents en inspectant les demandes, en vérifiant les identités et les actions, et a la capacité de les arrêter instantanément s'ils tentent de dépasser les limites qui leur sont assignées.
Le fondateur et directeur général de Nvidia, Jensen Huang, a déclaré que la sécurité de l'IA est devenue une préoccupation cruciale que l'industrie doit résoudre si la technologie veut atteindre son plein potentiel. « La sûreté et la sécurité nécessitent une ingénierie complète », a-t-il déclaré dans un communiqué. « La Nvidia Open Agent Safety Platform rassemble l'industrie, les chercheurs et les organisations du secteur public pour partager les meilleures pratiques, s'aligner sur les méthodes d'évaluation et favoriser la coopération internationale. Ensemble, nous pouvons relever la barre en matière de sécurité mondiale de l'IA. »
L'influence démesurée de Nvidia dans le secteur de l'IA signifie que la plateforme dispose déjà de solides références auprès de certaines des plus grandes entreprises du monde. L'un de ses plus grands défenseurs est SpaceXAI Corp., qui utilise la plate-forme pour sécuriser les agents de codage de Cursor et le grand modèle de langage Grok. « Comme les clients comptent davantage sur les agents pour accomplir leur travail réel, la sécurité doit être renforcée en dehors du modèle par des contrôles supplémentaires que l'agent ne peut pas contourner », a déclaré Mike Nicolls, président de SpaceXAI. « Les clients devraient pouvoir fixer ces limites pour Cursor et Grok et avoir confiance qu'ils les conserveront. »
Salesforce a également intégré OpenShell à sa plateforme de collaboration Slack pour fournir aux utilisateurs des contrôles d'approbation humaine directe, des capacités de visibilité et de suivi d'audit pour les agents IA, tandis que SAP SE utilise le logiciel avec la SAP Business AI Platform pour assurer la sécurité d'exécution de ses agents autonomes.
Les entreprises de robotique adoptent également massivement la plateforme Open Agent Safety de Nvidia, avec Figure AI Inc., Gecko Robotics Inc. et Skild AI Inc. s'appuyant sur OpenShell pour intégrer des contrôles de sécurité dans les systèmes qui alimentent les robots autonomes travaillant dans le monde réel, a déclaré Nvidia.
Il reste à voir dans quelle mesure la plateforme de sécurité des agents ouverts de Nvidia s'avérera fiable à grande échelle compte tenu de l'ingéniosité inquiétante dont certains agents d'IA ont fait preuve, mais c'est au moins un signe que certains des plus grands acteurs du secteur prennent enfin la sécurité des agents au sérieux. En tant que plate-forme open source, la plate-forme Nvidia Open Agent Safety peut être téléchargée par tous via les ressources de développement de Nvidia et la plate-forme GitHub.
