La gouvernance de l’intelligence artificielle agentique dépend des humains pour empêcher l’IA agentique de dérailler. Cependant, mettre les humains au courant est malheureusement insuffisant. Voici les problèmes – et peut-être quelques solutions – au problème de l’humain dans la boucle.
Depuis l’aube de l’automatisation, les humains ont toujours eu un rôle à jouer : les configurer et les dépanner en cas de panne.
Depuis les métiers Jacquard du XVIIIe siècle jusqu'à l'automatisation des processus robotisés ou RPA qui a dominé le marché de l'automatisation jusqu'à la révolution de l'intelligence artificielle générative, les humains ont toujours dû intervenir si la machine se bloquait ou déraillait.
Cependant, le RPA est une nouveauté d’hier. L’histoire de l’automatisation dans les entreprises est aujourd’hui centrée sur l’IA agentique : orchestrer des agents d’IA autonomes qui exploitent la puissance de grands modèles de langage ou LLM pour créer et exécuter des automatisations.
Compte tenu de la propension des agents à dérailler – un effet secondaire de la nature non déterministe des LLM – la gouvernance de l'IA agentique est devenue un incontournable pour toute organisation envisageant de déployer des agents.
Comme je l'ai écrit un article précédent dans cette sérieCependant, tirer parti de l’IA elle-même pour fournir les contrôles nécessaires aux flux de travail agents est difficile, coûteux et ne fonctionne qu’une partie du temps.
La réponse instinctive de tous les fournisseurs de gouvernance d’IA agentique qui tentent désespérément de résoudre ce problème ? Mettez un humain dans la boucle.
Avec un humain dans la boucle – ce que nous appellerons HITL – il y a toujours un palliatif qui empêchera les flux de travail agents de dérailler. Comptez sur les humains pour l’approbation finale de tout comportement agent.
À première vue, HITL a du sens. Après tout, cela fonctionnait pour les générations d’automatisation précédentes, des métiers Jacquard au RPA.
Cependant, HITL est fondamentalement imparfait. Toute approche de gouvernance de l’IA agentique qui dépend de HITL est vouée à l’échec – sinon maintenant, du moins lorsqu’une organisation tentera de la faire évoluer en production.
Comprendre les limites du HITL est donc essentiel pour éviter les mauvais virages qui tueraient les entreprises dans la course folle au déploiement de l’IA agentique.
Voici donc les problèmes les plus graves liés au HITL, suivis d’un aperçu des solutions proposées les plus courantes – qui sont également imparfaites. Ne vous inquiétez pas : je vais tracer la voie vers de meilleures solutions avant la fin de cet article.
Les problèmes avec HITL
Les problèmes habituels liés à l’intégration des humains dans la boucle d’automatisation ne concernent pas du tout la technologie. La racine de nombreux problèmes HITL vient de nous, les humains, et de notre psychologie imparfaite.
Défauts HITL résultant de limitations psychologiques humaines individuelles :
- Biais d’automatisation – les gens font confiance aux automatisations même lorsqu’ils commettent des erreurs. Voir mon article où je discute du biais d'automatisation.
- Surcharge cognitive – la supervision humaine d’automatisations à grand volume qui sont rarement erronées est épuisante, et finalement l’attention humaine s’égare.
- Abdication de responsabilité – à mesure que les gens se familiarisent avec le comportement des agents, ils en viennent à supposer que les agents sont responsables des approbations et que leur contribution HITL n'est pas nécessaire – une erreur fatale.
Défauts HITL résultant des limitations du travail humain en groupe :
- Le problème du tampon – Ce n’est pas parce que des humains sont au courant qu’ils ont réellement le pouvoir de réparer les choses. Dans de tels cas dilbertiens, le HITL est en grande partie cérémonial.
- Le problème des cases à cocher – lorsque la « surveillance humaine » signifie cocher des cases de conformité plutôt qu’un contrôle significatif sur les automatisations elles-mêmes.
- Blanchiment de responsabilités – lorsqu’une erreur conduit à être pointée du doigt parce que la responsabilité humaine de l’erreur n’est pas claire. Personne n’est responsable d’un problème parce que tout le monde a un déni plausible.
Problèmes HITL résultant de limitations technologiques :
- Le problème de « l’humain dans le noir » – les humains s'appuient sur les systèmes qu'ils contrôlent pour fournir les informations nécessaires à la prise de décisions de contrôle, mais ces systèmes ne fournissent souvent pas suffisamment d'informations pour une telle prise de décision, gardant ainsi les humains dans l'ignorance de ce qui se passe réellement.
- Compression d'interface – Les outils de gouvernance humaine sont généralement par défaut des tableaux de bord simplistes à « feux de signalisation » qui masquent la complexité cachée, les hypothèses et les dépendances des systèmes agentiques, permettant ainsi à ces systèmes de subordonner facilement les efforts de gouvernance humaine.
- Étudier pour le test – une fois que les systèmes agentiques sont capables de comprendre comment fonctionnent les audits, ils peuvent apprendre à réussir les audits tout en cachant leur mauvais comportement persistant.
Problèmes HITL qui s'aggravent à mesure que les systèmes agentiques évoluent en production :
- Le problème de l’échelle de complexité – À mesure que les systèmes agents évoluent, la complexité croît plus vite que la compréhension humaine tandis que la gouvernabilité humaine diminue. Cette situation ne fait qu'empirer avec le temps.
- Le problème de la minimisation – À mesure que les systèmes automatisés évoluent, le contrôle humain se limite à la gestion d’exceptions peu fréquentes plutôt qu’à la collaboration entre les humains et les agents. En conséquence, les problèmes risquent de plus en plus de passer entre les mailles du filet.
- Retard en matière de gouvernance – les systèmes automatisés prennent des décisions et agissent en quelques secondes. Les pratiques de gouvernance humaine reposent sur des réunions, des approbations, des audits, des examens juridiques, etc. – qui prennent tous des heures, voire des mois. Un système agentique peut sérieusement dérailler alors que les humains tentent encore d’organiser une réunion pour discuter du problème.
S’agit-il des solutions à ces problèmes HITL ?
« Mais attends! » disent les fournisseurs de gouvernance de l’IA agentique. « Nous avons résolu ces problèmes ! » Peut-être, peut-être pas. Jetons un coup d'œil aux solutions les plus courantes aux problèmes ci-dessus.
Approche n°1 : limiter ce que les agents peuvent faire
- Contraindre le comportement des agents avec des autorisations strictement définies et inflexibles – appliquer une agence limitée, une autorité limitée et des actions réversibles.
- Limiter l’optimisation automatisée – Au lieu de permettre aux systèmes agents de s’améliorer eux-mêmes, restreindre cette optimisation avec des limites fixes et une surveillance humaine active.
- Introduire des goulots d’étranglement intentionnels – Ralentissez les systèmes agents pour inclure les délais d’examen obligatoires, les approbations humaines multipartites, les limites de débit et les points de contrôle d’escalade.
Approche n°2 : Créer de meilleurs outils
- Conception pour l’interprétabilité – Veiller à ce que les systèmes agents soient transparents et intelligibles, et disposent d’une traçabilité causale.
- Évitez de donner la priorité à la simplicité dans la gouvernance humaine interfaces – Les tableaux de bord de gouvernance doivent refléter toute la complexité des systèmes agentiques sous gestion.
Approche n°3 : Faire un meilleur travail en responsabilisant les personnes qui agissent en tant que HITL
- Décaler HITL vers la gauche – Plutôt que HITL au stade de l’approbation, placez les humains au début, en concevant des tâches, des règles, des politiques et des contraintes pour les systèmes agentiques.
- Construire des équipes de surveillance contradictoires – Pas seulement les automatisés J'en ai parlé dans un article précédentmais des équipes rouges humaines qui recherchent activement les problèmes, sollicitent des points de vue dissidents et assurent une surveillance externe.
- Institut Jidoka – Jidoka est un principe de production Lean qui permet aux travailleurs d’arrêter la production dès qu’ils détectent un défaut pour l’empêcher de se propager sur la chaîne. Jidoka signifie donner à n’importe qui dans l’organisation le pouvoir de mettre un terme à tout processus automatisé sans risquer d’être incriminé.
C’est assez juste – tout cela a du sens à un certain niveau, et tout effort réussi d’IA agentique intégrera nécessairement bon nombre de ces techniques.
Néanmoins, même si bon nombre d’entre elles peuvent être nécessaires, aucune d’entre elles, individuellement ou ensemble, n’est suffisante. Les limites des solutions ci-dessus l'emportent également sur leurs avantages, car elles souffrent d'une combinaison des problèmes suivants :
- Ils peuvent limiter la puissance des systèmes agents alors que l’entreprise souhaite augmenter leur puissance. Dans cette dynamique, les entreprises gagneront et la gouvernance en souffrira.
- Ils peuvent ralentir les automatisations alors que l’entreprise souhaite les accélérer.
- Ils peuvent exiger plus de travail (et différent) de la part des personnes alors que l'entreprise souhaite désintermédiaire les personnes et réduire les effectifs.
- Il y aura une pression constante pour automatiser toutes les tâches que les humains devraient conserver, allant ainsi à l’encontre de l’objectif même de l’effort de gouvernance.
En d’autres termes, tant que les organisations continueront à donner la priorité au HITL, elles se heurteront inévitablement à un problème ou à un autre qui mettra en désaccord les équipes commerciales et les équipes de gouvernance. Et plus l’entreprise intensifie ses efforts d’agent, plus ces problèmes s’aggravent.
La meilleure solution : repenser entièrement HITL
Ce que tous les différents aspects de HITL ont en commun, c'est qu'ils positionnent tous l'élément humain dans la manière dont les systèmes agentiques mettent en œuvre les automatisations.
Au lieu de cela, nous devons inverser cette hypothèse. Nous devons considérer nos automatisations comme des éléments de la manière dont les humains gèrent les processus qui composent leur travail quotidien.
En d’autres termes, au lieu du HITL, nous devons mettre en œuvre automatisation dans la boucle: où AITL reconnaît que toutes les automatisations – agents ou autres – existent pour prendre en charge les interactions humaines qui ont toujours représenté le cœur de ce que signifie gérer une entreprise.
Voici quelques-uns des principes de base de l’AITL :
- Reconnaître que la gouvernance de l’IA agentique est une poudrière politique d’entreprise – La C-Suite doit adhérer à la bonne approche. Les gens doivent en venir à croire que la pression visant à optimiser les automatisations agentiques finira par aller à l'encontre des objectifs stratégiques de l'organisation.
- Reconnaître quand les processus humains sont souhaitables et méritent d’être conservés – Ne présumez pas que l’automatisation résout un problème inexistant.
- Les organisations doivent gérer et distribuer de manière proactive les agences – Les humains devraient toujours conserver une capacité d’action supérieure aux systèmes agents. Ce n’est pas parce qu’ils sont « agents » qu’ils enlèvent le pouvoir d’action aux humains. Au lieu de cela, l'agence automatisée doit toujours servir agence humaine.
- Ne laissez jamais les systèmes agents prendre des décisions qui ont un impact direct sur l'entreprise – Les systèmes agentiques sont d’assistance et non décisifs. Éliminez activement la prise de décision agentique via des approches contradictoires. Les décisions doivent rester à la fois visibles et humaines.
- Attention à la densité du contexte (voir mon article où je définis et discute de ce concept) – Conserver des interactions à haute densité pour les activités humaines où elles peuvent tirer parti de la créativité, de la perspicacité, de l’empathie et du bon sens humains. La densité du contexte donne aux organisations quelque chose qu'elles peuvent mesurer et qui les aide à tracer la frontière entre ce qu'elles veulent et ce qu'elles veulent.
- Pensez toujours à l'échelle – Prenez tout ce que vous envisagez de mettre en œuvre aujourd'hui et étendez-le à l'avenir, à mesure que les systèmes agents deviennent plus rapides, plus puissants et moins coûteux. Votre approche AITL fonctionnera-t-elle toujours ? Si elle s'affaiblit à mesure que les systèmes agentiques se renforcent, vous avez fait le mauvais choix en matière de gouvernance agentique.
La prise Intellyx
Si vous êtes une entreprise à la recherche de la bonne approche en matière de gouvernance de l'IA agentique, méfiez-vous de tout fournisseur qui positionne sa solution comme incluant HITL.
Cela étant dit, l’AITL est encore une idée naissante et transformatrice. Il faudra peut-être un certain temps aux fournisseurs pour se rendre compte que leurs approches HITL sont insuffisantes.
La question que les entreprises doivent se poser en attendant est donc de savoir si elles sont prêtes à subir les problèmes que HITL est censé être en mesure de résoudre pendant que le marché de la gouvernance de l’IA agentique mûrit.
Chaque organisation doit répondre elle-même à cette question. Cependant, exiger que les fournisseurs résolvent ce problème contribuera grandement à le résoudre. Après tout, c’est l’argent qui parle.
Jason Bloomberg est fondateur et directeur général d'Intellix, qui conseille les chefs d'entreprise et les fournisseurs de technologies sur leurs stratégies de transformation numérique. Il a écrit cet article pour SiliconANGLE. Il s'agit du cinquième article d'une série sur la gouvernance de l'IA agentique rédigée par Jason Bloomberg pour SiliconANGLE. Voici les quatre premiers :
Du cloud natif à l’IA native : le rôle de la densité du contexte
La gouvernance de l’IA agentique va-t-elle devenir folle ? La leçon des trois lois d'Asimov
Pourquoi la gouvernance de l’IA agentique n’est pas à la hauteur – et que pouvons-nous faire pour y remédier
Ingénierie d'évaluation : la pièce manquante de la gouvernance de l'IA agentique
