Avec un financement de 5 millions de dollars, Pretxt lance une couche de surveillance de l'exécution pour superviser les agents IA en temps réel

Le pionnier de la supervision de l'intelligence artificielle, Pretxt AI, se lance aujourd'hui avec un financement de démarrage de 5 millions de dollars pour tenter de contenir le risque très réel de libérer des agents autonomes dans les environnements de production.

Il a créé un nouveau type d'outil de « supervision de l'IA » qui applique une surveillance au moment de l'exécution pour garantir que ces agents respectent à tout moment les règles de l'entreprise. Le cycle d'aujourd'hui a été mené par Deciens Capital et a vu la participation de Howdy Partners, Service Provider Capital et NSV Wolf Capital.

La startup lance l'idée d'une couche de supervision d'exécution continue qui surveille les agents d'IA pendant qu'ils accomplissent leur travail, contrastant leur comportement avec les règles et politiques de l'organisation mère. S’il détecte qu’un agent commence à dévier de sa trajectoire, il interviendra immédiatement pour le remettre sur la bonne voie, avant qu’il ne commette une erreur critique qui nuira à l’entreprise.

Les garde-fous en temps réel tels que ceux conçus par Pretxt vont probablement devenir une priorité pour les entreprises à mesure qu'elles commenceront à confier aux agents d'IA un travail plus conséquent que la simple rédaction d'e-mails ou la création d'images. Par exemple, si l'on veut faire confiance aux agents pour gérer les remboursements des clients, accéder aux bases de données critiques et modifier les enregistrements qu'elles contiennent, les entreprises auront besoin d'être pleinement rassurées sur le fait qu'elles ne gâcheront pas ces tâches.

Mais ces assurances sont rares. L’IA est connue pour ses réponses « hallucinantes » lorsqu’elle ne connaît pas la réponse à une question, et les agents autonomes ont montré à maintes reprises un comportement erratique. Ils n'ont pas besoin d'une injection d'invite malveillante pour commencer à manquer des étapes critiques requises dans un flux de travail ou d'inventer des exceptions de politique pour simplifier une tâche qu'ils tentent d'accomplir. Ils ont montré qu’ils pouvaient le faire à la fois en laboratoire et dans le monde réel.

En réponse, la plupart des outils de sécurité adoptent une approche autoritaire, bloquant carrément les agents, mais cela signifie que le travail ralentit. L’autre approche consiste à signaler les erreurs après coup, mais au moment où cela se produit, elles pourraient déjà avoir causé des dommages considérables.

Les cofondateurs de Pretxt, Brian Soby (photo, à gauche) et Aaron Costello (à droite), ont réalisé que les entreprises avaient besoin d'une approche plus équilibrée en matière de sécurité et de surveillance des agents. Soby, qui est directeur général de la startup, a précédemment occupé des postes de direction en matière de sécurité chez Salesforce Inc. et Mitre Inc. avant de fonder la startup de sécurité Software-as-a-Service AppOmni Inc.

C'est là qu'il a rencontré Costello, qui occupe désormais le poste de directeur de la technologie chez Pretxt. Au cours de leur séjour chez AppOmni, ils ont découvert plusieurs vulnérabilités majeures dans les agents d'IA développés par Salesforce et ServiceNow Inc. et ont commencé à comprendre ce qui est nécessaire pour garantir que ces agents peuvent toujours travailler en toute sécurité.

Supervision à l'exécution

De nombreux outils traditionnels de surveillance des agents utilisent un deuxième grand modèle de langage comme « juge » pour surveiller le comportement du LLM principal qui effectue le travail. Mais les cofondateurs de Pretxt ont rejeté cette idée car elle crée de la latence, augmente les coûts de calcul et implique trop de conjectures.

Au lieu de cela, leur plateforme de supervision d'IA est alimentée par un moteur quasi-déterministe qui évalue les actions des agents en quelques millisecondes afin de repérer ceux qui enfreignent les règles et de les intercepter en cours. L'entreprise estime qu'elle peut le faire jusqu'à 60 fois plus rapidement que les outils de sécurité basés sur LLM-as-a-Judge.

La démarche est efficace. Lors de tests sur AutomationBench de Zapier, Pretext a réussi à réduire les violations de politique des agents d'environ une sur cinq à zéro. L'outil est conçu pour être facile à mettre en œuvre, de sorte que les équipes n'ont pas besoin d'une compréhension approfondie des modèles ou des agents qu'elles tentent de superviser.

Au lieu de cela, ils choisissent simplement les politiques, normes et garde-fous qui doivent s’appliquer à un agent, puis ils peuvent en suivre la trace en temps réel. La plate-forme permet aux utilisateurs de suivre les approbations, d'annuler les versions du plan et de transmettre tout cas critique délicat aux décideurs humains.

Cette dernière fonctionnalité est particulièrement utile, car les plans de sécurité de nombreuses organisations présentent des lacunes lorsque les agents se trouvent dans des situations qui n'étaient pas envisagées auparavant. Dans de tels cas, Pretxt arrête l'agent et demande à un humain de décider quelles devraient être les règles.

« Superviser un agent IA ne devrait pas signifier devenir un expert dans tout ce qu'il touche ou dans la façon dont il est construit », a déclaré Costello. « Les équipes nous disent en langage clair comment elles doivent se comporter et où se trouvent les limites, et nous supervisons et guidons l'agent pour qu'il reste à l'intérieur de ces limites. Il n'est donc pas nécessaire de démêler les autorisations ni de fouiller dans les entrailles de l'agent. »

L'outil de supervision de l'IA de Pretxt est désormais disponible en accès anticipé. Il cible principalement les secteurs réglementés aux enjeux élevés, où les erreurs et les hallucinations ne peuvent tout simplement pas être tolérées.

Pour les services financiers et les compagnies d'assurance, il peut appliquer les règles de vérification des emprunteurs et acheminer les réclamations complexes vers des humains, tandis que dans les soins de santé et les sciences de la vie, il garantit que les agents ne sortent pas de limites strictes. Dans les applications de support client, cela peut empêcher les agents d’offrir des remises ou des remboursements non approuvés aux clients.

La supervision de l’IA peut offrir de nombreux avantages différents à de nombreuses personnes différentes. Les directeurs de l'information et autres cadres supérieurs seront en mesure de faire évoluer en toute sécurité des projets d'IA à plus forte valeur ajoutée, tandis que les équipes de sécurité, les responsables de la conformité et les ingénieurs de plate-forme pourront combler les lacunes en matière de gestion des risques et garantir l'application des politiques à faible latence sans avoir besoin d'empiler des modèles supplémentaires.

Chris Steffen, analyste chez Enterprise Management Associates, a déclaré que ce qui distingue vraiment Pretxt est sa concentration sur les bases. Non seulement il vérifie que les agents se comportent bien, mais il s'assure également qu'ils effectuent le travail qui leur a été confié sans enfreindre aucune règle ni prendre des raccourcis, créant ainsi ce qui est effectivement une nouvelle catégorie d'outil de supervision de l'IA.

« La plupart des outils demandent si un agent est sécurisé, conforme ou observable, mais beaucoup moins peuvent montrer si l'agent fait correctement le travail qui lui a été confié », a déclaré Steffen. « La plupart des outils ne peuvent signaler ce qui n'a pas fonctionné après coup, lorsqu'il est trop tard. Pretxt intervient alors que le résultat peut encore changer pour remettre les agents sur la bonne voie. »

Photo : Pretxt

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine