L'acquisition prévue d'OpenRouter Inc. par Stripe Inc. a mis en lumière le routage de modèles dynamiques. Les organisations informatiques doivent comprendre ce qu'est le routage dynamique des modèles, car il aura un impact significatif sur les coûts, la qualité et les performances à mesure que l'intelligence artificielle imprègne l'entreprise.
Les organisations ont rapidement compris qu'elles ne devaient pas s'appuyer sur un modèle unique pour chaque tâche. Différents modèles présentent des atouts différents en termes de performances, de latence, de coût, de confidentialité et de précision spécifique au domaine. Le routage du modèle fournit une couche de décision intelligente qui dirige les tâches vers le modèle optimal ou le point final d'inférence en fonction des besoins et des conditions du moment.
Le routage de modèles dynamiques reflète le changement intervenu il y a des années dans les réseaux étendus définis par logiciel, ou SD-WAN. À mesure que les environnements numériques deviennent de plus en plus distribués, dynamiques et critiques pour l'entreprise, la prise de décision statique doit céder la place à des systèmes capables d'évaluer le contexte et de s'adapter en temps réel pour offrir la meilleure expérience possible.
De l’accessibilité à la connaissance du contexte
À mesure que les applications ont quitté le centre de données pour s'installer dans plusieurs environnements Cloud et Software-as-a-Service, le rôle du réseau a évolué au-delà du simple établissement d'une connexion pour offrir l'expérience dont l'entreprise avait besoin. À mesure que les modèles de trafic sont devenus plus distribués, le SD-WAN est devenu plus sensible aux applications, plus axé sur les politiques et plus adaptatif. Les architectures WAN modernes utilisent désormais des signaux tels que le type d'application, les performances du chemin, la politique de sécurité, la disponibilité et la priorité de l'entreprise pour offrir la bonne expérience sur le bon chemin, avec la bonne politique appliquée.
Le routage des modèles introduit un défi de prise de décision similaire à une couche différente de la pile. La question n’est plus de savoir si une demande d’IA peut recevoir une réponse, mais quel modèle, point de terminaison ou environnement est le mieux adapté pour y répondre en fonction de la tâche, des exigences de performances, du coût, des contraintes de confidentialité et des conditions actuelles.
Tout comme le routage WAN est devenu plus précieux en intégrant des signaux plus riches, le routage modèle nécessitera une base similaire. Le « meilleur » modèle ne peut pas être déterminé par une seule mesure. Le modèle le moins cher peut ne pas répondre aux exigences de précision. Le modèle le plus rapide peut ne pas répondre aux besoins de confidentialité. Sans politique, visibilité et contrôles clairs, une prise de décision dynamique peut introduire de l’imprévisibilité au lieu de l’agilité.
Le modèle de routage ne doit pas imiter le routage WAN, mais il doit néanmoins être ancré dans le contexte, la politique, la visibilité et les contrôles. Les structures SD-WAN collectent en permanence des données télémétriques en temps réel sur les performances des chemins, l'identité des applications et l'état de sécurité, puis appliquent des moteurs de politiques centralisés pour orienter le trafic en conséquence.
Le pilotage orienté application évalue des conditions telles que la latence et la perte de paquets en temps réel et oriente automatiquement le trafic vers un meilleur chemin. Les plates-formes d'observabilité offrent aux équipes informatiques une vue consolidée sur les succursales, les cloud et les logiciels en tant que service afin qu'elles puissent valider en permanence les décisions de routage plutôt que de les définir une seule fois et de les laisser tranquilles.
Les flux de travail de l'IA sont différents
Les applications traditionnelles suivaient des chemins relativement prévisibles entre les utilisateurs, les centres de données et les applications. L’IA change tout cela. Une seule interaction avec l'IA peut lancer un flux de travail couvrant une succursale, plusieurs cloud, des applications SaaS, des magasins de données et plusieurs modèles d'IA. Les agents IA appellent des services, récupèrent des données, déclenchent des actions et génèrent de nouvelles requêtes de manière dynamique.
Chaque étape peut introduire des exigences différentes. Certaines données peuvent devoir rester dans un certain environnement. Certaines requêtes peuvent nécessiter une faible latence. D’autres peuvent donner la priorité à la rentabilité. Certains flux de travail peuvent nécessiter des contrôles de sécurité plus stricts ou une auditabilité plus détaillée.
Et bon nombre de ces dépendances peuvent se situer en dehors des environnements que l’entreprise possède ou contrôle directement. Le besoin d’un routage dynamique intelligent est particulièrement évident au niveau des succursales et en périphérie, où de nombreuses expériences basées sur l’IA parviennent aux employés et aux clients.
Urgence à la limite
La plupart des magasins de détail, banques, cliniques, usines, écoles et établissements du secteur public dépendent déjà des applications basées sur le cloud. L'IA va ajouter de la complexité, car les interactions avec les clients, les flux de travail cliniques, l'analyse des fraudes, les contrôles d'inventaire et les demandes de service sur le terrain dépendent de plus en plus d'applications et de données réparties sur les cloud, les plateformes SaaS, les environnements privés et les services d'IA. La latence, les pannes, les lacunes des politiques et la visibilité limitée peuvent ralentir l'activité et alourdir la charge opérationnelle des équipes informatiques.
La branche ne peut pas être traitée comme un point de terminaison statique à l’ère de l’IA. Il faudra que la mise en réseau, la sécurité, l’automatisation et l’observabilité travaillent ensemble pour que les services d’IA puissent fonctionner de manière sécurisée et fiable.
Le réseautage a déjà montré à quoi ressemble cette évolution. À mesure que les environnements devenaient plus distribués, le routage devenait plus adaptatif, piloté par des politiques et informé par les conditions en temps réel.
L’infrastructure de l’IA entre dans une phase similaire. Le routage de modèles est le dernier exemple de réseau de modèles résolu depuis des années. C'est un rappel utile que le routage dynamique et contextuel ne fait que gagner en importance.
Peterson est vice-président de la gestion des produits pour Secure WAN chez Cisco Systems Inc. Il a écrit cet article pour SiliconANGLE.
