Garder l’humain au courant est l’un des moyens par lesquels les entreprises peuvent contrôler les actions des agents d’IA. À mesure que ces agents assument davantage de travail, les équipes de sécurité doivent également réfléchir à la manière dont elles détecteront les problèmes et s’en remettront.
La relation entre la confiance en l’IA et la cyber-résilience devient plus complexe à mesure que les agents acquièrent la capacité d’agir sur plusieurs systèmes. Selon Krista Case (photo, à gauche), analyste principale et responsable de la pratique pour la cyber-résilience et la sécurité chez theCUBE Research, une recherche menée pour le Sommet sur la cybersécurité et la résilience de l'IA a examiné comment les organisations gèrent ces actions et se préparent aux incidents.
« Nous nous appuyons en fait sur l'approbation humaine pour sécuriser et gouverner ces actions d'IA », a déclaré Case. « Je pense qu'il y a actuellement de grandes pressions et des mouvements d'attraction dans l'industrie pour essayer de déterminer où nous pouvons commencer à nous appuyer sur l'IA pour avancer plus rapidement et à l'échelle de la machine. »
Case s'est entretenu avec Dave Vellante (à droite) de theCUBE, co-fondateur et analyste en chef de theCUBE Research, pour le sommet sur la cybersécurité et la résilience de l'IA, lors d'une diffusion exclusive sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de la manière dont les entreprises gouvernent, sécurisent et se remettent des actions des agents d’IA autonomes. (* Divulgation ci-dessous.)
L’humain au courant et le défi du rétablissement
Cette tension apparaît dans l'étude de CUBE Research menée auprès de 25 leaders en matière de technologie et de sécurité d'entreprise. Parmi les 19 répondants ayant des agents en production, aucun ne leur permettait d'exécuter des actions à haut risque sans intervention humaine. Pourtant, seuls quatre des 25 avaient testé un scénario d’incident d’IA ou d’agent.
« Cela me rappelle l'époque où vous ne testiez pas votre reprise après sinistre. Vous pourriez tester le basculement, mais vous ne testeriez pas la restauration », a déclaré Vellante. « Vous assistez à une dynamique similaire, mais beaucoup plus compliquée aujourd'hui car vous avez également un état d'activité que vous devez récupérer. »
La vitesse des agents aggrave le problème. La restauration d'un agent n'annule pas les enregistrements, les transactions et les flux de travail en aval qu'il a déjà touchés. C'est pourquoi la récupération peut nécessiter la reconstruction de la séquence d'actions qu'il a entreprises, comme l'a écrit Case dans l'analyse de la cyber-récupération de CUBE Research. Onze des 25 praticiens ont reconnu des lacunes dans leur capacité à reconstruire les actions des agents à travers les systèmes, a-t-elle noté.
« Les enjeux sont encore plus importants, non seulement en raison de l'état de l'entreprise, mais également en raison de la rapidité et de l'ampleur avec lesquelles ces agents d'IA agissent », a déclaré Case. « Ils peuvent effectuer des centaines, voire des milliers d'actions par minute. »
Une autonomie limitée montre la voie à suivre
Une découverte contre-intuitive ouvre la voie. Les organisations qui laissent les agents exécuter des actions à faible risque de manière indépendante sont plus susceptibles d'investir dans une infrastructure de journalisation, de surveillance et de récupération et d'avoir testé des scénarios d'incidents avec les agents, a déclaré Vellante. Pour Case, cette autonomie limitée peut indiquer un programme plus mature.
« Si vous êtes un programme de sécurité qui a déjà mis en place une certaine autonomie limitée pour ces agents d’IA… cela indique que vous avez franchi une étape supplémentaire sur le chemin de la maturité », a-t-elle déclaré.
La détection et la médecine légale sont les prochains domaines à renforcer. Douze des 25 répondants n'avaient pas abordé, ou n'avaient pas l'intention d'aborder, la détection du comportement anormal des agents, ainsi que la surveillance et la reconstruction de l'activité des agents, classées comme les capacités les moins matures. « Ce sont précisément les capacités qui sont requises si les contrôles humains dans la boucle tombent en panne », a déclaré Vellante.
Case s’attend à ce que des progrès soient rapides. « Cet espace est très volatile. Je pense qu'il va se développer… très rapidement », a-t-elle déclaré. « Même si nous nous asseyons à ce stade l'année prochaine, je pense que nous serons surpris du chemin parcouru. »
Voici l'interview vidéo complète, faisant partie de la couverture par SiliconANGLE et theCUBE du Sommet sur la cybersécurité et la résilience de l'IA :
(* Divulgation : Dell Technologies Inc. a sponsorisé ce segment de theCUBE. Ni Dell ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
