Aujourd’hui, il n’existe aucun leader en matière d’entreprise ou de technologie de l’information qui ne place l’intelligence artificielle en tête de sa liste de priorités. Le défi pour la plupart des organisations consiste à décider quoi mesurer et comment déterminer si une initiative d’IA a réussi.
Pour mieux comprendre comment les clients devraient aborder les mesures de l'IA, j'ai parlé avec Colleen Aubrey de Amazon Web Services Inc.,, qui possède une profonde expérience dans ce domaine.
En tant que vice-présidente senior des solutions Applied AI chez AWS et membre de l'équipe S d'Amazon, elle s'appuie sur ces bases en s'appuyant sur les leçons de plus de 20 ans chez Amazon, où elle a créé des produits destinés aux clients pour des millions de vendeurs et d'annonceurs. Le manuel qu’elle a tiré de cette expérience donne aux entreprises une voie pratique pour sortir du purgatoire des pilotes d’IA, et cela commence par l’abandon de la diapositive de retour sur investissement de l’IA.
Elle soutient que comprendre le retour sur investissement de l’IA nécessite de réfléchir en termes de mesures commerciales. «Je crains que les gens commencent à essayer de proposer de nouveaux indicateurs pour mesurer l'impact de l'IA, mais ce sont les mêmes indicateurs», a-t-elle expliqué. « Ce sont les indicateurs de votre entreprise qui comptent. » AWS a passé 20 ans à créer une infrastructure cloud. Les applications métiers de l’IA constituent une opportunité bien plus récente.
Lorsqu'Aubrey a rejoint AWS, elle a hérité de 35 programmes de couche application. « Je dirais que Connect pour le centre de contact était probablement notre exemple le plus réussi », m'a-t-elle déclaré lors d'une récente interview avant AWS re:Inventer 30 novembre-déc. 4.
Elle a étudié ce qui faisait que cela fonctionnait : l'équipe possédait une expérience opérationnelle approfondie dans la gestion de la fonction de service client d'Amazon ; elle a choisi de se démarquer (une qualité de voix exceptionnelle sur le backbone AWS plutôt que de rechercher la parité des fonctionnalités ; et l'équipe connaissait ses clients. Les leçons de ce succès constituent désormais le modèle du projet. famille Amazon Connect élargie: Connecter le client, connecter les talents, connecter la santé et connecter les décisions.
Le manuel élaboré par Aubrey pour la famille Connect reflète fidèlement ce dont les responsables informatiques ont besoin pour faire sortir leurs propres programmes d'IA du mode pilote. Voici mes cinq points à retenir qui devraient importer aux responsables informatiques :
La parité des fonctionnalités est un piège
La première leçon qu’Aubrey a tirée de son évaluation était de savoir par où commencer. Personne ne gère une meilleure chaîne d'approvisionnement qu'Amazon, c'est exactement pourquoi la première version d'AWS Supply Chain a été une expérience d'apprentissage si utile. Lorsqu'Aubrey s'est approchée du produit, elle a vu une équipe travailler pour rattraper son retard plutôt que pour diriger. Ils avaient construit cinq modules qui « visaient en grande partie à atteindre la parité des fonctionnalités » avec des fournisseurs de progiciels de gestion intégrés bien établis qui avaient une longueur d'avance de plusieurs décennies.
Connect avait pris le chemin inverse, et c'est instructif. « Ils ont compris qu'ils n'atteindraient pas la parité des fonctionnalités », a déclaré Aubrey à propos de l'équipe Connect. Au lieu de cela, ils ont dominé avec une qualité vocale exceptionnelle sur le backbone AWS, ont commencé de manière étroite et ont construit à partir de là.
Aubrey a appliqué la même leçon à la chaîne d'approvisionnement. Elle l'a redémarré sous le nom de Connect Decisions en posant une question différente : où la douleur est-elle la plus aiguë et où les outils actuels sont-ils les plus faibles ? La réponse était les planificateurs. « Ils luttent contre les incendies tout le temps », a-t-elle déclaré. « Ils sont submergés par toute une série de signaux. Le temps qu'ils arrivent à se décider, le moment est passé. »
Il en va de même pour les entreprises. Les projets d’IA qui stagnent tentent souvent de reproduire l’intégralité d’un flux de travail. Ceux qui réussissent identifient un point de décision douloureux et l’améliorent considérablement.
Les indicateurs commerciaux n'ont pas changé
Le point d’Aubrey sur la mesure mérite d’être développé. « Les entreprises ne savent pas quel est le retour sur investissement de l'IA, et elles s'intéressent au retour sur les jetons et ce genre de choses », a-t-elle déclaré. « La question est la suivante : pouvez-vous faire évoluer les indicateurs de votre entreprise en travaillant différemment ? »
Son point de preuve est Électronique de véhicule Wellsqui, selon AWS, a réduit ses stocks de 7 % en trois mois tout en augmentant le nombre de SKU qu'ils surveillent activement de 20 à 2 000. Personne chez Wells ne parle de jetons. Ils parlent de fonds de roulement. Si un projet ne peut pas être lié à une mesure déjà suivie par le directeur financier, il s’agit d’une expérience et non d’un investissement.
L’IA ne supprime pas les goulots d’étranglement ; ça les bouge
Amazon a commencé là où la plupart des entreprises commencent : avec le développement de logiciels, rendant les outils d'IA disponibles dans toute l'entreprise. Aubrey admet qu'il y a un peu de chaos au début. « Tout le monde expérimente un tas de choses », a déclaré Aubrey.
Elle considère cela comme une fonctionnalité et non comme un bug, car c'est là que se produit le véritable apprentissage. « Vous traversez cette période d'apprentissage, vous savez quoi, notre couverture des tests est nulle », a-t-elle déclaré. Corrigez la couverture des tests et vous constaterez que « nos pipelines sont nuls », ce qui vous permet de réparer l'état du pipeline, d'éliminer les interventions manuelles et de déployer plus rapidement. Résultat dans son groupe cette année : une multiplication par deux de la rapidité des mises en production.
La leçon est que la vitesse ne vient pas de l’assistant de codage. Cela venait de la réparation de tout ce que l'assistant avait exposé en aval. Les entreprises qui achètent l’outil et évitent la plomberie verront leur activité augmenter tandis que leur production restera stable.
S'approprier le résultat, pas la tâche
J'ai demandé à Aubrey si Amazon avait ajusté ses objectifs pour refléter ce que les employés peuvent désormais faire avec l'IA. Sa réponse a été un « oui et un non » honnête. Dans son équipe d'expérience utilisateur, les rôles se sont effondrés : les concepteurs sont poussés à expédier le code dans un environnement alpha, et Amazon a créé un nouveau rôle de « technologie UX ».
Le « non » est que la conception organisationnelle et la définition d’objectifs sont encore en train de rattraper leur retard. Son message à son équipe est direct : « Le seul choix que vous ne pouvez pas faire est de vous approprier la tâche. Vous devez choisir de vous approprier le résultat. » Chaque responsable informatique devrait emprunter cette ligne. Les descriptions de poste basées sur les tâches vieilliront mal.
Une bonne IA avec une mauvaise UX échouera
La philosophie de conception d'AWS pour la famille Connect est ce qu'elle appelle « l'humorphisme », l'idée selon laquelle l'IA doit s'adapter à la façon dont les gens travaillent déjà, et non l'inverse. Sa plus grande préoccupation est le décalage entre les prototypes internes et la production.
« À mon avis, proposer une bonne IA avec une mauvaise expérience utilisateur échouera », a-t-elle déclaré. Son équipe a investi massivement pour combler cet écart, en allant au-delà des interfaces traditionnelles basées sur des commandes vers une IA qui capte les signaux, mémorise les décisions et fait avancer le travail. L’objectif, a-t-elle déclaré, est de rendre l’IA si utilisable que les gens changent leur façon de travailler, non pas parce qu’on le leur demande, mais parce que cela a du sens.
Elle était tout aussi franche au sujet de la maturité. TE Connectivity a étendu Connect Decisions à 2 000 planificateurs, mais Connect Talent n'a atteint la disponibilité générale qu'en septembre et compte des premiers clients en cours de déploiement. Aubrey a déclaré que l'équipe se concentrait sur la mise au point du produit avant de le mettre à l'échelle de manière agressive, reflétant la même discipline de « choisir un coin » qu'elle a appliquée à l'ensemble des solutions Connect.
Ce que cela signifie pour les responsables informatiques
- Choisissez un coin, pas une plateforme. La tentation avec l’IA est de réinventer une fonction entière d’un coup. Identifiez plutôt le point de décision où les gens se noient sous les signaux et agissent trop tard, comme un planificateur noyé dans les exceptions ou un agent gérant une vague de nouvelles réservations. Un problème précis et douloureux permet d’obtenir une victoire rapide, des mesures claires et une base crédible sur laquelle s’appuyer.
- Tuez la diapositive « AI ROI ». Le retour sur les jetons, les invites par utilisateur et les tableaux de bord d'adoption mesurent l'activité, pas la valeur. Avant qu'un projet ne soit financé, associez-le à une mesure commerciale que l'entreprise suit déjà, telle que l'inventaire, le taux de résolution, le délai d'embauche ou le temps de cycle, et définissez une référence. Si la métrique ne se déplace pas dans une fenêtre définie, le projet ne devrait pas évoluer, aussi impressionnante que soit la démo.
- Budget pour le correctif en aval. L’IA supprime rarement un goulot d’étranglement ; il le déplace. Le double gain d'Amazon en termes de vitesse d'expédition est venu de la correction de la couverture des tests et des pipelines, et non de l'assistant de codage. Supposons que votre déploiement exposera la prochaine contrainte, qu'il s'agisse de la qualité des données, de l'intégration, des approbations ou des tests. Prévoyez un budget et des personnes pour cela dès le départ plutôt que de le découvrir six mois plus tard.
- Réécrivez les rôles en fonction des résultats. Les descriptions de poste construites autour de tâches vieilliront mal à mesure que l’IA assumera davantage de ces tâches. Travaillez dès maintenant avec les RH pour redéfinir les rôles et les objectifs autour des résultats que les gens possèdent, et mettez à jour les attentes en matière de performances pour refléter les outils dont ils disposent. Soyez honnête avec les employés : certaines équipes vont rétrécir tandis que d'autres auront de nouvelles lacunes à combler ; l’ambiguïté engendre plus d’anxiété que la franchise.
- Faites de la convivialité un critère d’achat. Comme l’a dit Aubrey, une bonne IA associée à une mauvaise expérience utilisateur échouera. Dans les évaluations des fournisseurs, accordez autant d’importance à l’installation, à la configuration, aux tests, à l’analyse et à l’expérience quotidienne qu’à la capacité du modèle, car ces facteurs déterminent si les utilisateurs professionnels adoptent le produit. Demandez aux fournisseurs comment les utilisateurs professionnels, et pas seulement les équipes techniques, interagissent quotidiennement avec le produit.
Réflexions finales
Ce qui a rendu cette conversation précieuse, c'est la volonté d'Aubrey de partager sa vision de la création de produits d'IA qui fonctionnent en production, de l'étude des facteurs qui ont fait le succès de Connect à l'application de ces leçons à l'ensemble de la chaîne d'approvisionnement, du recrutement, des soins de santé et de l'engagement client. Cette franchise est un modèle utile pour les responsables informatiques, car la plupart des programmes d'IA d'entreprise sont bloqués pour les mêmes raisons que les applications AWS l'étaient autrefois : trop d'étendue, trop peu de concentration et un succès mesuré selon de mauvais critères.
L’ère de l’IA ne récompensera pas les entreprises possédant le plus grand nombre de pilotes. Il récompensera ceux qui choisissent un problème aigu, réparent la plomberie qu'il expose, repensent le travail autour des résultats et déplacent les mesures dont ils disposent déjà.
Zeus Kerravala est analyste principal chez ZK Research, une division de Kerravala Consulting. Il a écrit cet article pour SiliconANGLE.
