À mesure que les entreprises multiplient leurs initiatives, le coût de développement, de déploiement et d’exploitation de modèles d’intelligence artificielle générative augmente considérablement. Le passage vers Agents IA peut encore augmenter les coûts en raison d’une mauvaise architecture, d’une maturité opérationnelle limitée et d’une gouvernance faible.
Les responsables des technologies de l'information peuvent adopter ces 10 bonnes pratiques pour optimiser les coûts, leur permettant ainsi d'obtenir plus rapidement une valeur commerciale et une efficacité opérationnelle :
1. Soyez objectif sur la précision du modèle, les performances et les compromis en termes de coûts
Pour les responsables informatiques, la sélection du bon modèle nécessite un équilibre entre précision, performances et coût. Les responsables informatiques doivent être objectifs sur les compromis entre précision, performances et coûts. Une approche sur mesure peut offrir de meilleures performances et réduire les coûts d’inférence.
De plus, la plupart des fournisseurs d’interfaces de programmation d’applications facturent séparément les jetons d’entrée et de sortie, tandis que certains facturent en fonction du nombre de caractères. La normalisation de ces modèles de tarification pour un cas d'utilisation donné permet une comparaison entre des pommes et des pommes.
Enfin, les responsables informatiques devraient exécuter des projets pilotes étendus pour vérifier leurs hypothèses de coût total de possession et découvrir toute surprise ou coût caché.
2. Créez un bac à sable de modèle d'IA pour promouvoir la sécurité, le choix du modèle et la transparence des prix
Un excellent moyen pour les responsables informatiques de permettre des expérimentations en toute sécurité consiste à créer un bac à sable d'IA, qui présente les modèles disponibles en libre-service dans le cadre d'un catalogue de modèles, étayé par des principes de base de sécurité et de confidentialité.
En plus de créer un bac à sable IA, les responsables informatiques doivent créer des fiches modèles pour les modèles disponibles dans le bac à sable, afin que les utilisateurs aient une meilleure visibilité sur comment et où les utiliser. Ils doivent également garantir que les coûts des modèles sont transparents pour les utilisateurs via des outils de reporting, ce qui leur permet de faire de meilleurs choix économiques sans compromettre leur précision ou leurs performances.
3. Équilibrez les coûts initiaux et opérationnels dans l’augmentation et la personnalisation du modèle
Lors de la personnalisation génération IA modèles, les responsables informatiques doivent équilibrer les investissements initiaux, tels que l'ingénierie rapide, la génération et le réglage améliorés par récupération, avec les coûts d'inférence continus. Les coûts de fonctionnement peuvent être optimisés grâce à une ingénierie contextuelle efficace ou même en affinant efficacement un modèle sur un ensemble de données spécifique grâce au réglage des instructions ou à une pré-formation continue.
Pour équilibrer les coûts, les responsables informatiques doivent envisager les augmentations et les personnalisations de manière séquentielle, en passant à une approche plus avancée uniquement si une approche plus simple ne répond pas à la qualité de sortie requise. Pour contrôler les coûts de la génération IA, les responsables informatiques peuvent organiser les entrées contextuelles, en garantissant que chaque inférence utilise uniquement les informations nécessaires.
4. Comprendre les compromis de l'auto-hébergement
Les modèles d’IA de génération auto-hébergés (souvent sur site) peuvent sembler attrayants pour les entreprises qui recherchent un contrôle et une confidentialité des données accrus. Les responsables informatiques doivent être conscients des compromis potentiels, car la liste des facteurs de coûts liés à l'auto-hébergement est longue.
Le coût le plus sous-estimé concerne les talents spécialisés requis pour exploiter la génération AI à grande échelle. Les responsables informatiques devront prendre en compte la complexité et les implications financières avant d’opter pour l’auto-hébergement de modèles d’IA de génération. Ils devront également évaluer la capacité de leur organisation en matière d'investissement initial, de maintenance continue et d'expertise nécessaire.
5. Gérer de manière proactive les applications Software-as-a-Service
Les fournisseurs SaaS regroupent les agents IA de manière incohérente via des offres groupées, des mises à niveau forcées, des niveaux facultatifs et des modules complémentaires. Chacun comporte des risques différents en matière de coût, d’adoption et de verrouillage pour les organisations.
Les responsables informatiques devront évaluer l’impact réel des fonctionnalités d’IA sur la productivité, négocier une attribution transparente des coûts et éviter les mises à niveau à l’échelle de l’entreprise sans retour sur investissement prouvé. En partenariat, les responsables informatiques doivent adopter une stratégie de mise à niveau basée sur des cas d'utilisation en activant l'IA uniquement pour les rôles ou les flux de travail pour lesquels des gains mesurables justifient les dépenses. Dans le même temps, ils devraient établir une gouvernance stricte en matière d’utilisation et d’accès pour éviter la prolifération de la consommation et les coûts inattendus. Cela contribuera également à exiger des fournisseurs une ventilation transparente des coûts de l’IA.
6. Négocier de nouveaux modèles de tarification pour l'IA agentique
À mesure que les modèles de tarification des agents IA continuent d'évoluer pour s'aligner de plus en plus sur les attentes des responsables informatiques en matière de création de valeur, les responsables informatiques qui ancrent leurs investissements dans une valeur commerciale claire seront les mieux placés pour garantir un impact à long terme et des rendements durables.
Les responsables informatiques peuvent soutenir cette démarche en poussant les fournisseurs SaaS à proposer des modèles de tarification flexibles et prévisibles. Ils peuvent également prendre en charge l’exécution de pilotes d’agents d’IA contrôlés et suivre le coût par tâche, le temps gagné et les résultats. À partir de là, ils peuvent établir des références internes et convenir de mesures de tarification basées sur la valeur avant de passer à l’échelle.
7. Automatisez la sélection, la mise en cache et le routage des modèles
Les différences de coûts entre les modèles rendent la sélection manuelle difficile pour les responsables informatiques, ce qui fait de la sélection automatisée des modèles une solution idéale.
Une nouvelle catégorie d'outils appelées passerelles IA peut aider à contrôler les coûts en appliquant des politiques pour suivre et gérer l'accès aux services d'IA et en fournissant des fonctionnalités telles que la mise en cache et le routage de modèles pour réduire les coûts.
Les responsables informatiques doivent créer un processus de décision systématique pour sélectionner différents grands modèles de langage pour différentes tâches afin de réduire les coûts tout en atteignant les performances requises. Ce premier pas vers l’automatisation en soi peut conduire à d’importantes économies. De plus, ils doivent utiliser les passerelles IA comme plan d’optimisation des coûts et de contrôle de gouvernance qui façonne la manière dont toute utilisation de l’IA se produit dans l’entreprise.
8. Créez une plate-forme RAG partagée pour éviter la duplication
Une plate-forme RAG partagée est essentielle car elle peut empêcher chaque équipe de créer ses propres pipelines d'ingestion, de segmentation et d'intégration, ce qui peut entraîner une duplication massive des données et de l'infrastructure, ainsi que d'autres problèmes.
Les responsables informatiques doivent mettre en place un service d'ingestion et d'intégration unifié, déployer un magasin de vecteurs partagés gouverné et exposer des API standardisées que les équipes peuvent utiliser pour toutes les applications et agents d'IA de génération. Ils doivent également appliquer des politiques qui empêchent la prolifération des RAG au niveau de l'équipe et surveiller en permanence la qualité de la récupération et les mesures de coût pour optimiser au fil du temps.
9. Éduquer les utilisateurs sur l’utilisation rentable de la génération AI
Les utilisateurs doivent comprendre comment utiliser efficacement la génération AI pour éviter le gaspillage et les coûts inutiles. Avec autant de choix différents d’applications, de modèles et de plates-formes parmi lesquels choisir, les utilisateurs doivent être informés des meilleures pratiques en matière de gestion des coûts.
Les responsables informatiques devraient organiser des ateliers où les employés peuvent expérimenter des LLM et des agents d'IA et analyser les invites réussies et infructueuses pour illustrer les meilleures pratiques et les pièges courants.
10. Analyser en permanence les coûts visibles et cachés
Les investissements dans les plateformes Gen AI comportent un certain nombre de coûts visibles et cachés qui doivent être pris en compte dès le départ pour prendre une décision éclairée, notamment les coûts des données, les coûts des talents et les coûts de configuration et d'intégration des applications.
Les responsables informatiques devront évaluer ces facteurs de coûts et les prendre en compte dans leur évaluation du coût total de possession, en les gardant à l'esprit dès le départ. De plus, les responsables informatiques doivent se concentrer sur l’atténuation des principaux facteurs de coûts. Ce sont les coûts variables qui font une énorme différence dans le TCO.
À mesure que les organisations passent du stade pilote à la production, les coûts peuvent augmenter rapidement. En mettant en œuvre ces 10 bonnes pratiques, les responsables informatiques peuvent maximiser le retour sur investissement de leur investissement dans l’IA et libérer tout son potentiel.
Arun Chandrasekaran est un éminent analyste vice-président chez Gartner, au sein de la pratique mondiale CIO, où ses recherches portent sur l'intelligence artificielle. Il a écrit cet article pour SiliconANGLE. Chandrasekaran et d'autres analystes de Gartner présentera comment Les DSI et les responsables informatiques peuvent devenir des agents de changement au sein de leur organisation et exploiter l'IA pour la transformation numérique. le Symposium/Xpo informatique de Gartnerà Orlando, Floride 19-22 octobre.
