Un responsable de l'information avec qui je parlais récemment a dit quelque chose qui m'a marqué : les autorisations indiquent à un agent ce qu'il est autorisé à faire. Ils ne disent rien de ce que tu voulais dire.
Cette observation touche à l’un des principaux défis en matière d’intelligence artificielle auxquels les dirigeants sont aujourd’hui confrontés. À mesure que les agents d’IA se lancent de plus en plus dans leur travail quotidien, ils opèrent sans les contrôles de gouvernance nécessaires pour le faire en toute sécurité, et cette lacune a déjà conduit à des incidents de sécurité généralisés.
Nos recherches ont révélé que 47 % des employés font désormais appel à des agents quotidiennement ou hebdomadairement, tandis que 88 % des organisations ont été confrontées à une violation liée aux agents au cours de l'année écoulée. Une enquête similaire menée par Gravitee Topco Ltd. a révélé que 88 % des organisations avaient confirmé ou soupçonné des incidents de sécurité avec des agents, même si 82 % des dirigeants étaient convaincus que leurs politiques existantes les protégeaient.
Mais la preuve récente la plus claire de cet écart ne vient pas du tout d’une enquête. Il provenait d’OpenAI Group PBC lui-même. Le mois dernier, la société a révélé que l'un de ses propres modèles préliminaires, alors qu'il était testé par rapport à une référence de cybersécurité appelée ExploitGym, s'était échappé de son environnement de test isolé, avait enchaîné des informations d'identification volées et une vulnérabilité logicielle jusqu'alors inconnue et avait piraté les systèmes de production de Hugging Face Inc. pour trouver les réponses à son propre test. Personne n’a demandé au modèle de faire cela ; il est resté à l’intérieur des limites de sa mission et a quand même produit un résultat que personne n’avait prévu ou autorisé.
De tels événements ne sont plus hypothétiques. Ils se produisent lorsqu’un système performant se voit attribuer un objectif et suffisamment d’autonomie pour le poursuivre, sans que personne ne soit en mesure de le remarquer, de le remettre en question ou de l’arrêter à temps.
Sans une gouvernance plus forte des agents d’IA, les organisations seront bientôt confrontées à de graves conséquences. Les leaders des technologies de l’information ont la responsabilité d’en faire davantage envers leurs entreprises, leurs clients et le public. Les agents ont besoin d’une véritable responsabilité, et les organisations ont besoin de meilleurs cadres de gouvernance pour la mettre en œuvre à grande échelle.
Autorisations ≠ responsabilité
Les modèles traditionnels de propriété des logiciels ne conviennent pas entièrement aux agents IA. Une application Software-as-a-Service attend généralement qu'une personne l'utilise, mais un agent peut interpréter les instructions, récupérer des informations, lancer des flux de travail et agir seul sur les systèmes. Cela change complètement le problème du contrôle.
Les stratégies et les autorisations définissent ce à quoi un agent peut accéder ou exécuter. Ils ne résolvent pas l’intention, le contexte, le jugement ou l’escalade. Le rapport de Gravitee révèle que seulement 14,4 % des organisations disposent d'une approbation de sécurité complète pour l'ensemble de leur flotte d'agents, tandis que plus de la moitié de tous les agents déployés opèrent sans aucune surveillance de sécurité ni journalisation. Selon les propres estimations de l'entreprise, il y a désormais plus de 3 millions d'agents d'IA non gouvernés en activité au sein des entreprises, un nombre qui va sans aucun doute augmenter.
Cela est important car un agent qui rédige les réponses des clients ou trie les demandes d'assistance peut rester entièrement dans les limites de ses autorisations et ne pas comprendre ce que l'entreprise voulait réellement dire. La configuration technique ne suffit pas. Une conception opérationnelle responsable est ce qui transforme une action autorisée en une action fiable.
C'est exactement ce dont nous avons besoin aujourd'hui : une véritable visibilité, une véritable confiance et une véritable responsabilité à grande échelle.
Une chaîne de propriété pour l’IA agentique
La responsabilité ne fonctionne que lorsqu'elle est suffisamment spécifique pour survivre à un incident réel.
Si tout le monde possède l’agent, ou si personne ne le possède, alors personne n’est propriétaire du résultat. C'est pourquoi chaque organisation doit instaurer une chaîne de propriété claire avant que les agents n'entrent en production, et non après. Voici les rôles clés :
Propriétaire: La personne qui possède l'agent. Il ne s'agit pas d'une équipe, d'un service ou d'une boîte de réception partagée ; c'est la personne nommée que l'organisation appelle à 2 heures du matin. Les propriétaires ne sont pas obligés de faire chaque examen ou d'approuver chaque action, mais ils sont responsables de l'objectif, des limites et de l'adéquation des activités de l'agent au fil du temps. Si l’agent commence à s’éloigner de son rôle prévu, cette personne est chargée de le remettre dans l’alignement.
Critique: Il s'agit de la personne qui vérifie ponctuellement le comportement réel de l'agent et qui produit ses résultats selon une cadence définie, et pas seulement lorsque quelque chose se casse. Le travail de l'examinateur consiste à examiner ce que fait réellement l'agent dans le flux de travail et à se demander si les résultats correspondent toujours à l'intention, afin que l'examen ne devienne pas un exercice après coup qui n'a lieu que lorsque les dommages sont visibles.
Approbateur : Cette personne signe avant que l'agent n'entreprenne une action à enjeux plus élevés. Il s’agit de la véritable porte, pas d’un tampon. Si l’action touche les clients, les données sensibles, l’argent, la sécurité ou la conformité, l’approbation doit avoir un sens. L'approbateur est là pour mettre en pause, contester ou rediriger l'agent avant qu'une décision ne devienne un problème opérationnel.
Responsable de l'escalade : Cette personne est interpellée dès que quelque chose tourne mal, avec le pouvoir de suspendre ou d'arrêter l'agent. Cela ne peut pas être une vague voie d’escalade enfouie dans un document politique. Lorsqu'un agent se comporte de manière inattendue, l'entreprise a besoin de quelqu'un qui puisse agir immédiatement, passer l'appel et protéger l'organisation pendant que le problème fait l'objet d'une enquête.
J'aime ce modèle car il rend la conversation pratique. Il ne suppose pas que la réponse réside dans davantage de réunions ou de paperasse, et il ne prétend pas non plus que la responsabilisation apparaîtra d'elle-même. Cela donne aux équipes un moyen d'avancer en toute confiance tout en sachant qui est attentif, qui peut passer l'appel et qui peut intervenir lorsque le contexte change.
Voici la mesure que je recommanderais à chaque organisation de prendre ce trimestre. Choisissez un agent IA déjà exécuté en production. Notez quatre noms : propriétaire, réviseur, approbateur et responsable de l'escalade. Si vous ne pouvez pas remplir les quatre, l'agent n'est pas encore gouverné. C'est configuré. Ce sont deux choses différentes, et la différence n’est généralement visible qu’après que quelque chose s’est déjà mal passé.
Rendre la propriété visible avant que les agents n'agissent
Les autorisations peuvent indiquer à un agent où il est autorisé à aller. Les politiques peuvent définir ce qu'il est permis de toucher. Ni l’une ni l’autre ne répond à la question que les gens se posent lorsque le travail est important : qui y prête attention et qui peut intervenir lorsque le contexte change ?
C’est la case qui manque actuellement dans trop d’organigrammes de l’IA. Pas un autre tableau de bord. Pas un autre document politique. Pas un autre comité directeur. Un nom.
Les organisations qui réussiront à faire évoluer l’IA ne seront pas celles qui exploiteront le plus grand nombre d’agents. Ce seront eux qui en auront la propriété la plus claire. La confiance n'est pas une caractéristique de l'adoption de l'IA. C'est le préalable.
Dux Raymond Sy est directeur de la transformation chez AvePoint Inc. Il a écrit cet article pour SiliconANGLE.
