Un plan de contrôle pour l’IA distribuée pourrait aider les applications à décider quelles tâches exécuter sur un appareil, en périphérie ou dans le cloud.
Seismora Inc. développe une technologie de mise en réseau pour coordonner les charges de travail d'IA entre différents fournisseurs et environnements informatiques, selon Vito Palermo (photo), fondateur et PDG de Seismora. L'objectif est de permettre aux développeurs d'utiliser les ressources dans ces environnements sans intégrer la logique de routage dans chaque application.
« Le boom de l'IA crée un scénario dans lequel nous passons d'une communication humain-système à une communication machine-machine », a-t-il déclaré. « Ce que nous construisons chez Seismora est un plan de contrôle intelligent qui permet au trafic de l'IA de se déplacer à travers le réseau, quel que soit le réseau, quel que soit l'identité du néocloud, de l'hyperscaler, ou même des appareils eux-mêmes. »
Palermo s'est entretenu avec John Furrier pour la série d'interviews CUBE + NYSE Wired : AI Luminaries sur theCUBE, le studio de diffusion en direct de SiliconANGLE Media. Ils ont discuté de l’infrastructure nécessaire pour prendre en charge les applications d’IA sur les réseaux distribués. (* Divulgation ci-dessous.)
Plan de contrôle pour les systèmes distribués
Différentes parties d'une application d'IA peuvent nécessiter différentes ressources informatiques, selon Palermo. Le plan de contrôle de Seismora coordonne qui fonctionne sur tous les appareils, les infrastructures de périphérie et les fournisseurs de cloud.
« Dans un plan de contrôle distribué, le système devient suffisamment intelligent pour dire : 'D'accord, en fonction de l'intention de cet utilisateur pour cette application, nous pouvons effectuer X quantité de travail ici sur l'iPhone, nous pouvons effectuer Y quantité de travail ici à la périphérie' », a déclaré Palermo au CUBE. « Pour des parties spécifiques de cela, vous souhaiterez peut-être créer un jumeau numérique en utilisant Omniverse de Nvidia (Corp.). Faisons cela dans un néocloud. Et le plan de contrôle prend automatiquement ces décisions et optimise également le coût. «
Palermo a souligné l'accord de Stripe Inc. pour acquérir OpenRouter Inc., une plate-forme de routage de modèles d'IA, comme preuve de l'intérêt croissant pour l'infrastructure pour les transactions de machine à machine. L'annonce d'août impliquait un prix qui aurait été d'environ 7,5 milliards de dollars.
« Vous voulez être hétérogène parce que, franchement, l'entreprise d'aujourd'hui, je suis sûr qu'elle a plusieurs néoclouds avec lesquels elle travaille, elle a plusieurs modèles avec lesquels elle travaille », a déclaré Palermo. « Mon problème est le routage entre tous ces fournisseurs, et c'est là l'essentiel. »
Seismora appelle son approche « routage cognitif » : choisir où le travail de l'IA s'exécute en fonction des contraintes de capacité, de coût, de latence et de politique. Selon Palermo, ses clients visés sont des développeurs créant des applications agentiques pour les utilisateurs finaux, plutôt que les consommateurs eux-mêmes.
« Nous envisageons un monde où, par exemple, (il existe) des modèles ouverts de fournisseurs comme Fireworks (Fireworks.ai Inc.), des connaissances contextuelles de Neo4j », a expliqué Palermo. « Ensuite, il faut répartir le calcul et le stockage à la périphérie, dans toute l'entreprise, et pouvoir déplacer l'intelligence là où cela a du sens. »
Voici l'interview vidéo complète, qui fait partie de la couverture par SiliconANGLE et theCUBE de la série d'interviews CUBE + NYSE Wired: AI Luminaries :
(* Divulgation : TheCUBE est un partenaire média payant pour la série d'interviews CUBE + NYSE Wired : AI Luminaries. Ni Neo4j, le sponsor de la couverture de l'événement theCUBE, ni les autres sponsors n'ont de contrôle éditorial sur le contenu de theCUBE ou SiliconANGLE.)
