Alors que les agents d’intelligence artificielle passent des outils expérimentaux aux systèmes de production, la gouvernance d’entreprise est obligée de répondre à une question plus difficile. Il ne suffit plus de je sais ce qu'un agent a fait. Les organisations doivent de plus en plus prouver ce que l'agent était autorisé à faire, pourquoi il a été autorisé à entreprendre une action spécifique et si cette autorité est restée intacte lorsque les tâches ont été transférées entre plusieurs agents et systèmes.
Ce défi devient de plus en plus urgent à mesure que les systèmes agentiques se répandent dans les entreprises réglementées, où les exigences de sécurité, d'auditabilité et de souveraineté peuvent limiter le recours à des plans de contrôle externes de type logiciel en tant que service.
Dans le dernier épisode du CUBE Research Podcast AppDevANGLEj'ai parlé avec Sudeep Goswamiprésident-directeur général de Traefik Labs Inc., et Andreas Prinsqui dirige la stratégie de souveraineté chez SUSE Group, sur la façon dont les architectures de gouvernance de l'IA doivent évoluer à mesure que les agents autonomes commencent à prendre des décisions et à déléguer le travail dans des environnements d'entreprise de plus en plus complexes.
« Lorsque vous avez un agent qui confie une tâche à un autre agent, cette autorité devrait diminuer et ne pas fuir », a déclaré Goswami.
De la visibilité à l’autorisation prouvable
L'observabilité d'entreprise s'est traditionnellement concentrée sur la reconstruction de ce qui s'est passé après un événement. Les journaux, les traces et les tableaux de bord peuvent montrer quels systèmes ont été impliqués et où une panne s'est produite.
L'IA agentique introduit un problème de gouvernance différent.
Un système autonome peut recevoir l'autorité d'un humain, déléguer une tâche à un autre agent, invoquer un outil ou une interface de programmation d'application, puis transmettre une partie de cette tâche à un autre système. Chaque étape modifie potentiellement la portée de ce qui est autorisé.
Cela signifie que l’identité et les informations d’identification seules ne suffisent pas.
« Juste parce qu'un agent possède des informations d'identification, cet agent est-il autorisé à effectuer cette action spécifique maintenant, compte tenu du contexte qui l'entoure ? » » demanda Goswami. « Un simple diplôme ne peut pas répondre à cette question. »
Le défi est similaire au contrôle d’accès physique. Un badge d'employé peut autoriser l'entrée dans un bâtiment, mais cela n'accorde pas automatiquement l'autorisation d'approuver une transaction financière ou d'accéder à tous les systèmes de l'organisation.
La gouvernance de l’IA doit donc devenir contextuelle. Les politiques doivent déterminer ce qu'un agent peut faire en fonction non seulement de son identité, mais également de la tâche, de l'environnement, de la chaîne de délégation et des conditions opérationnelles entourant la demande.
Ce changement modifie la gouvernance de la reconstruction post-événement vers une autorisation et une preuve en temps réel.
La délégation des agents brise les modèles de responsabilité traditionnels
La complexité augmente lorsque les agents commencent à déléguer du travail à d’autres agents.
Les modèles d'accès d'entreprise traditionnels ont été conçus en grande partie autour des humains, des applications et des comptes de service prédéfinis. Les systèmes agentiques introduisent une chaîne d'interactions de machine à machine où l'autorité peut se déplacer entre orchestrateurs, sous-agents, API et outils à la vitesse de la machine.
Prins a comparé le passage à l'évolution des systèmes d'intégration continue et de livraison continue.
Il y a des années, les équipes logicielles sont passées des versions de production manuelles aux pipelines automatisés. Cela obligeait les organisations à codifier les approbations, les contrôles de sécurité, la gestion des secrets et les politiques de publication directement dans le processus de livraison.
L’IA agentique peut nécessiter une transition similaire.
« Nous reprenons la même réflexion », a déclaré Prins. « Repensons-le et, plus important encore, articulons-le sous forme de code. »
Cela devient particulièrement important à mesure que le nombre d’agents des entreprises augmente.
Prins a décrit une conversation récente au cours de laquelle un cadre a découvert qu'une organisation d'ingénierie avait créé environ 8 000 agents.
« Si vous ignorez combien d'entre eux sont créés, vous ignorez également ce qu'ils font et quelle est leur fonction », a-t-il déclaré.
Cela implique que la prolifération des agents pourrait rapidement dépasser les modèles de gouvernance traditionnels. Les entreprises pourraient éventuellement avoir besoin de l'équivalent des contrôles de la chaîne d'approvisionnement logicielle pour les agents : identité explicite, autorité déléguée, application des politiques et preuves montrant le comportement de chaque système.
L’application des politiques doit se faire dans le contexte
La définition de politiques n’est qu’une partie du problème. Les entreprises ont également besoin de mécanismes capables d'appliquer les politiques dans lesquelles les agents interagissent réellement avec les applications et l'infrastructure.
Cela met le couche passerelle dans une position de plus en plus importante.
Goswami a fait valoir que les systèmes de gouvernance de l’IA doivent capturer à la fois les actions autorisées et refusées. Montrer qu'un système a réussi à bloquer une action non autorisée peut être tout aussi important que montrer qu'une tâche autorisée s'est terminée correctement.
« Vous voulez pouvoir prouver que vos garde-corps fonctionnent », a-t-il déclaré. « Ce qui signifie qu'il doit autoriser et refuser, et que vous voulez avoir tout cela dans son contexte. »
La couche d’application peut également fournir une boucle de rétroaction sur les politiques de gouvernance elles-mêmes.
Si les agents tentent à plusieurs reprises des actions qui sont refusées, ces informations peuvent révéler des flux de travail mal conçus, des instructions trop permissives ou des lacunes dans le cadre politique.
Le résultat est un modèle de gouvernance dans lequel la définition, l’application et les preuves des politiques deviennent interconnectées plutôt que de fonctionner comme des fonctions de sécurité distinctes.
Pourquoi les journaux d'audit ne suffisent peut-être plus
La journalisation constitue depuis longtemps le fondement de l’audit d’entreprise, mais l’IA autonome introduit un autre problème de confiance : le système produisant les preuves peut également contrôler ces preuves.
Goswami a comparé le problème à un compteur kilométrique de véhicule. Si le propriétaire du véhicule peut modifier le kilométrage et est également la seule partie à déclarer le kilométrage, il n'existe aucun moyen indépendant de vérifier si le dossier a été modifié.
Le même problème peut se produire avec les journaux d’audit générés par les applications et les fournisseurs.
« Ils peuvent être falsifiés, et il n'existe aucun moyen tiers de savoir quand et comment ils ont été falsifiés », a déclaré Goswami.
Les preuves cryptographiques peuvent renforcer ce modèle de confiance en rendant les changements détectables. Au lieu de s'appuyer entièrement sur la journalisation conventionnelle, les systèmes peuvent enregistrer de manière cryptographique les décisions, les résultats d'autorisation et les actions des agents.
Mais la signature cryptographique à elle seule ne résout pas complètement le problème.
Goswami a fait valoir que les entreprises ont également besoin d'une vérification indépendante capable de déterminer si les preuves ont été modifiées après leur génération.
« Vous avez besoin d'une capacité de journalisation au niveau cryptographique, mais vous avez également besoin d'un mécanisme de vérification tiers pour pouvoir vérifier », a-t-il déclaré.
Cela transforme les données d’observabilité en quelque chose de plus proche des preuves vérifiables.
Pour les environnements hautement réglementés, la distinction pourrait devenir significative. Une organisation peut éventuellement avoir besoin de démontrer non seulement ce qu'un agent a fait, mais également que ses dossiers n'ont pas pu être modifiés après coup.
La souveraineté devient partie intégrante de l’architecture de gouvernance
La gouvernance devient plus compliquée lorsque les organisations ne peuvent pas dépendre de plans de contrôle hébergés en externe.
Selon une étude citée lors de la conversation, 47 % des personnes interrogées opèrent dans un mélange d'environnements connectés et déconnectés, tandis que 11 % déploient l'IA générative spécifiquement au sein d'infrastructures sur site et isolées.
Cela fait de l’IA souveraine plus qu’une question de conformité régionale.
Les organisations des secteurs de la défense, de la santé, des services financiers, du gouvernement et d’autres secteurs réglementés peuvent avoir besoin d’exploiter des modèles, des contrôles de gouvernance et des infrastructures de vérification entièrement dans les environnements qu’elles contrôlent.
« Dès que vous devenez dépendant d'un service SaaS tiers que vous ne contrôlez pas ou qui ne se trouve pas sur votre propre sol, alors tous les paris sont ouverts », a déclaré Goswami.
Prins a décrit la souveraineté comme une décision fondée sur le risque, impliquant à la fois le modèle lui-même et l'infrastructure utilisée pour le faire fonctionner.
Les organisations peuvent choisir entre des modèles à frontières fermées, des modèles ouverts et des modèles open source. Chacun implique des compromis différents en matière de transparence, de facilité d’utilisation et de contrôle.
L'environnement de déploiement introduit une autre décision.
Les entreprises peuvent consommer des modèles via un fournisseur SaaS ou les exécuter au sein d'une infrastructure qu'elles gèrent elles-mêmes. Selon Prins, plus la charge de travail et les données sont sensibles, plus les arguments en faveur d'une infrastructure contrôlée par le client deviennent solides.
« Plus il y a de réglementation, plus vous devriez avoir de contrôle », a-t-il déclaré.
L’IA souveraine nécessite un écosystème
La discussion a également mis en évidence pourquoi il est peu probable que la souveraineté puisse être assurée par une plateforme unique.
Une pile d'IA d'entreprise peut inclure des modèles, des processeurs et des unités de traitement graphique, une infrastructure Kubernetes, des passerelles, des moteurs de politiques, des systèmes d'observabilité et des couches de preuves.
Chaque composant joue un rôle différent pour déterminer si une organisation peut contrôler et vérifier son environnement d'IA.
« Il n’existe pas de fournisseur unique capable d’assurer la souveraineté à lui seul », a déclaré Goswami.
Cela rend l’interopérabilité et les partenariats de plus en plus importants.
Traefik Labs et SUSE abordent le problème à partir de différentes couches de la pile. SUSE fournit une infrastructure sous-jacente et des technologies open source, tandis que Traefik fournit des capacités de gouvernance de passerelle et d'agent.
Goswami a décrit une architecture souveraine qui combine des modèles ouverts, une infrastructure de calcul contrôlée par le client, des contrôles basés sur une passerelle, une observabilité et une couche de preuve ou de provenance capable de vérifier le comportement des agents.
L’objectif plus large est de faciliter l’adoption des systèmes agentiques sans séparer la sécurité et la gouvernance de l’architecture qui les prend en charge.
« L'objectif est de garantir un degré élevé d'adoption sécurisée et évolutive des flux de travail agents dans l'entreprise », a-t-il déclaré.
L'essentiel
La gouvernance de l’IA évolue rapidement au-delà des tableaux de bord et des journaux d’audit rétrospectifs.
À mesure que les agents autonomes commencent à invoquer des API, à déléguer des tâches et à agir sur l’ensemble des systèmes de l’entreprise, les organisations devront non seulement comprendre ce qui s’est passé, mais également quelle autorité existait à chaque étape du processus.
Cela crée de nouvelles exigences architecturales en matière d'autorisation contextuelle, d'application des politiques, d'identité de machine à machine et de preuves vérifiables.
La souveraineté ajoute une autre couche. Pour les organisations opérant dans des environnements réglementés, déconnectés ou isolés, les capacités de gouvernance peuvent devoir fonctionner entièrement au sein d’une infrastructure contrôlée par le client.
Le résultat est un passage de l’observabilité à la prouvabilité.
Les entreprises qui adoptent l’IA agentique auront de plus en plus besoin d’architectures capables de répondre à quatre questions : quels agents opèrent ? Quelle autorité ont-ils ? Étaient-ils autorisés à entreprendre une action spécifique dans un contexte ? Et l’organisation peut-elle prouver de manière indépendante ce qui s’est passé par la suite ?
Les entreprises qui répondront rapidement à ces questions seront mieux placées pour faire évoluer les systèmes agentiques sans perdre le contrôle des modèles d’autorisation, de gouvernance et de confiance qui les sous-tendent.
Voici la conversation complète avec Sudeep Goswami de Traefik Labs, Andreas Prins de SUSE et moi, qui faisons partie du projet de recherche CUBE. Série de podcasts AppDevANGLE:
