L’intelligence artificielle physique apparaît comme la prochaine phase majeure de l’IA. Ces systèmes non seulement génèrent du contenu ou analysent des données, mais perçoivent, raisonnent et agissent également dans le monde physique.
L’opportunité est énorme, tout comme les défis opérationnels, de données, de latence et de gestion du cycle de vie. C'est pourquoi Amazon Web Services Inc. le mois dernier, a déployé des solutions cloud-to-edge pour les clients qui construisent ces systèmes.
Ces dernières années, l’IA générative a largement vécu dans le domaine numérique. Il écrit, résume, code, recherche et converse. L’IA physique étend cette intelligence aux robots, aux équipements industriels, aux caméras, aux robots mobiles autonomes et à d’autres systèmes qui doivent interpréter les conditions changeantes et agir de manière fiable dans des environnements rarement aussi ordonnés qu’une invite de chatbot.
L'automatisation industrielle et la robotique traditionnelles ont été conçues pour des flux de travail hautement structurés et reproductibles. Un robot d'entrepôt peut transporter de manière fiable un bac d'un point A à un point B dans une installation cartographiée et étroitement contrôlée. Mais il rencontre des problèmes lorsqu'un objet est égaré, qu'un chemin est bloqué, qu'une personne pénètre dans sa zone de travail ou que la tâche dépasse ce pour quoi elle a été explicitement programmée.
L’IA physique promet une plus grande adaptabilité. Les progrès dans les modèles de base, les modèles vision-langage-action, les modèles mondiaux, l’apprentissage par renforcement et la simulation donnent aux machines un « cerveau » plus performant. Dans le même temps, l’inférence de périphérie, la compression de modèles et l’amélioration des opérations du cloud vers l’appareil rendent plus réalisable le déploiement de ces capacités dans des systèmes réels.
« Comme lors de la transition des premières fonctionnalités de ChatGPT vers les applications actuelles basées sur des modèles de raisonnement plus robustes, les modèles sous-jacents continuent de s'améliorer rapidement », m'a expliqué Sri Elaprolu, directeur du AWS Generative AI Innovation Center, lors d'un récent briefing. « Il ne s'agit plus seulement de grands modèles linguistiques. Il s'agit de modèles mondiaux, de modèles vision-langage-action et de modèles alimentant les flottes robotiques. »
Cette maturation est l’une des principales raisons pour lesquelles l’IA physique prend actuellement de l’ampleur.
Des machines programmées aux systèmes d’apprentissage
La première vague de robotique s’est construite autour d’instructions. La prochaine vague se construit autour de l’apprentissage. Elaprolu a établi un contraste intéressant entre la robotique conventionnelle et les systèmes physiques d'IA qui émergent actuellement. Les machines traditionnelles sont programmées pour effectuer une tâche définie ou un ensemble de tâches. Lorsque l’environnement s’écarte des attentes, la machine nécessite souvent une intervention. Les systèmes d’IA physique commencent par un modèle performant, utilisent des capteurs pour comprendre les conditions et peuvent apprendre de l’expérience.
« La variété des choses que vous pouvez désormais faire s'est considérablement élargie », a déclaré Elaprolu. « Je n'ai pas besoin de préprogrammer 50 tâches qu'un humanoïde devra effectuer. Je commence avec suffisamment de bases et je laisse le robot ou l'appareil apprendre de l'expérience du monde réel et s'adapter. »
Cela ne signifie pas que les robots soient soudainement prêts à accomplir toutes les tâches humaines. Loin de là. La manipulation adroite reste particulièrement difficile. Une main humaine peut saisir, faire pivoter, plier, trier, ajuster et récupérer des erreurs avec une facilité remarquable. La reproduction de ces capacités dans une machine nécessite un contrôle moteur fin, une perception, un retour tactile, une compréhension spatiale et la capacité de raisonner dans l'ambiguïté.
RLWRLD, client d'AWS, résout ce problème avec RLDX-1, un modèle de base robotique de 8,1 milliards de paramètres conçu pour la dextérité à cinq doigts. Le modèle combine la compréhension du langage visuel avec la proprioception, la détection tactile et de couple, et est destiné à fonctionner sur des systèmes à un ou deux bras et humanoïdes plutôt que d'être lié à une seule plate-forme matérielle. RLWRLD s'entraîne sur des centaines de téraoctets de données collectées dans des environnements d'usine et de service, soulignant une vérité centrale sur l'IA physique : le modèle n'est qu'une partie du problème. Les opérations de données, de calcul, de simulation et de déploiement sont tout aussi importantes.
La pile de défis de l’IA physique
Construire une preuve de concept d’IA physique fonctionnelle est une chose. Faire fonctionner une flotte de robots ou d’appareils intelligents dans des usines, des hôpitaux, des entrepôts, des magasins de détail ou des sites énergétiques en est une tout autre.
Le plus gros obstacle, ce sont les données. Un LLM peut apprendre à partir d’énormes réserves de texte et de code. Un robot a besoin d'exemples fondés sur les lois de la physique : objets, surfaces, éclairage, géométrie, friction, positions des mains, forces de contact et les innombrables variations qui surviennent dans les environnements de travail réels. Les données doivent être suffisamment diverses pour qu'un système puisse se généraliser au-delà des conditions exactes rencontrées lors de la formation.
Config, un autre partenaire AWS, a construit un pipeline de données robotiques avec plus de 200 000 heures de données d'action et collecte environ 20 000 heures par mois. Pourtant, même à cette échelle, le problème de la diversité des données persiste. Chaque variation d’éclairage, de surface de table, de type d’objet ou d’arrière-plan peut nécessiter une collecte de données humaines supplémentaire.
AWS et Config ont résolu ce goulot d'étranglement avec un pipeline d'augmentation génératif à vues multiples. À l'aide d'une version post-entraînée du modèle Cosmos-Transfer2.5 de Nvidia, le système peut restituer de véritables démonstrations avec un éclairage et des surfaces variés tout en préservant la position des objets, les étiquettes d'action, la cohérence temporelle et l'apparence de la pince du robot. Dans un test hors distribution signalé, Config a déclaré que l'ajout de données augmentées a amélioré les taux de réussite de 8,3 % à 75 %, soit une robustesse environ neuf fois supérieure.
C’est important car l’IA physique ne pourra pas évoluer si les gens enregistrent manuellement toutes les variations possibles des tâches. Les données synthétiques et augmentées deviennent des compléments nécessaires à la collecte de données réelles, et non des substituts.
La simulation est un autre élément essentiel. La formation directement dans le monde physique est lente, coûteuse et potentiellement dangereuse. Un jumeau numérique ou un environnement simulé permet aux développeurs de tester les politiques, de tester les cas extrêmes et d'identifier les modes de défaillance avant que les machines ne fonctionnent autour des personnes, des équipements ou des stocks.
Cependant, la simulation elle-même est un défi. La physique doit être suffisamment précise, les modèles de capteurs réalistes et l'écart entre la simulation et la réalité doit être soigneusement géré. Une politique robotique qui réussit dans un environnement virtuel propre peut échouer lorsqu’elle est confrontée à des surfaces réfléchissantes, un éclairage variable, des interruptions de réseau, des équipements usés ou des espaces de travail encombrés.
Lors de l'appel, AWS a reconnu que l'écosystème est toujours en évolution. Les clients peuvent apporter leurs propres outils de simulation ou utiliser des plates-formes telles que Isaac Sim de Nvidia Corp., tandis qu'AWS fournit une infrastructure cloud élastique, des services de données et des modèles pour faire tourner les environnements de simulation selon les besoins. La société ne propose pas encore de service de simulation de marque unique pour l’IA physique, mais la direction est claire : la simulation deviendra un point de contrôle majeur dans la pile d’IA physique.
Pourquoi le cloud et la périphérie doivent fonctionner ensemble
Le défi architectural déterminant de l’IA physique est peut-être de décider où l’intelligence doit s’exécuter. Un grand modèle de base peut être formé dans le cloud à l'aide de clusters GPU massifs et d'énormes ensembles de données. Mais un robot naviguant dans un couloir d’hôpital ou une machine inspectant une chaîne de production ne peuvent pas toujours attendre un aller-retour vers une région nuageuse lointaine. Il nécessite une faible latence, une résilience et, dans certains cas, la capacité de fonctionner pendant une connectivité intermittente.
Cela crée une architecture à plusieurs niveaux : cloud pour la formation et l'orchestration à grande échelle, infrastructure périphérique locale pour l'intelligence au niveau du site et modèles plus petits, distillés ou quantifiés qui s'exécutent directement sur les appareils.
« Le modèle dans le cloud agit comme un gros cerveau », a déclaré Elaprolu. « Au fur et à mesure que le modèle devient de plus en plus petit, vous pouvez le placer directement sur l'appareil. Mais les apprentissages locaux doivent revenir vers le cloud pour une amélioration globale. C'est l'étape critique. »
Cette boucle de rétroaction continue est ce qui sépare un déploiement d’automatisation statique d’un système d’IA physique qui s’améliore au fil du temps. Les appareils doivent capturer les bons signaux, les modèles doivent être recyclés et validés, et les mises à jour doivent être renvoyées en toute sécurité sur le terrain. Cela signifie que la gouvernance des données, la gestion de flotte, l’observabilité, le contrôle des versions, les capacités de restauration et la sécurité ne sont pas des considérations secondaires. Ce sont des exigences de production.
AWS et Edge Impulse illustrent l'approche hybride. Leur architecture de suivi des actifs d'entrepôt exécute des modèles légers de détection d'objets sur des caméras périphériques, puis invoque un modèle de langage de vision quantifié pour une interprétation contextuelle plus approfondie uniquement après la détection d'un objet. Les services cloud orchestrent les requêtes en langage naturel et regroupent les résultats sur une flotte d'appareils. Un travailleur peut demander : « Où est le chariot élévateur ? et recevez une réponse basée sur la perception locale en temps réel, plutôt que d'attendre que la vidéo brute soit diffusée et traitée de manière centralisée.
Le modèle en cascade à deux étages est important à la fois économiquement et techniquement. La détection légère et continue préserve le calcul, la puissance et la bande passante ; le raisonnement à coût plus élevé n’est déclenché qu’en cas de besoin.
Rôle d'AWS : assembler la pile de production
AWS n'essaie pas de devenir un fabricant de robots. Sa stratégie consiste à fournir les services, l’infrastructure et l’écosystème de partenaires requis tout au long du cycle de vie physique de l’IA. Au niveau du modèle et de la couche de formation, les clients peuvent utiliser des instances GPU Amazon EC2, Amazon SageMaker, Amazon S3 et un stockage hautes performances tel qu'Amazon FSx for Lustre. Pour l'optimisation des modèles, SageMaker et Amazon Bedrock prennent en charge des techniques telles que la distillation, tandis que des partenaires tels que Multiverse Computing proposent des outils de compression pour réduire les demandes en mémoire, en latence, en énergie et en matériel à la périphérie.
Au niveau de la couche de déploiement, AWS IoT Core et AWS IoT Greengrass fournissent des fonctionnalités de connectivité, de gestion de flotte et d'exécution en périphérie. Dans les environnements industriels, des partenaires tels que Galeo Tech relient les environnements technologiques opérationnels, notamment les automates, les systèmes SCADA, les historiens et les protocoles tels que OPC UA, MQTT et Modbus, avec les données cloud et les pipelines MLOps. L'objectif n'est pas simplement de déployer un modèle une seule fois, mais de créer un processus de publication reproductible qui peut cibler en toute sécurité des groupes d'appareils spécifiques, surveiller les résultats et revenir en arrière lorsque les performances sur le terrain se dégradent.
AWS s'efforce également de réduire les frictions de développement qui ralentissent les équipes de robotique. Son environnement de développement agent Kiro est conçu pour automatiser le provisionnement de l'environnement, les flux de travail de formation, la configuration de la simulation et le dépannage dans les projets d'IA physiques. La société fait valoir que la boucle actuelle configuration-formation-validation peut nécessiter des jours ou des semaines d’efforts d’ingénierie avant même le début d’un essai dans le monde réel ; son ambition est de compresser ce cycle en rendant le flux de travail plus conversationnel et axé sur les spécifications.
Ce qu’il faut retenir, c’est que l’IA physique ne sera pas gagnée uniquement par le plus grand modèle. Il sera remporté par les entreprises capables de créer une boucle fermée couvrant la collecte de données du monde réel, la simulation, la formation, l'optimisation des modèles, l'inférence de périphérie, la surveillance et l'amélioration continue.
Pour les entreprises, l’opportunité immédiate ne réside pas nécessairement dans la présence d’un travailleur humanoïde errant dans chaque installation. Il sera probablement plus ciblé : la vision par ordinateur qui détecte les défauts, les systèmes autonomes qui déplacent les matériaux, les robots qui réduisent la logistique hospitalière répétitive, l'intelligence de pointe qui localise les actifs ou les machines qui améliorent la sécurité en assumant des tâches dangereuses.
L’IA physique passe rapidement du concept à la réalité opérationnelle. Mais comme l’a souligné Elaprolu, il n’existe pas encore de « bouton simple » sur lequel une entreprise peut appuyer pour le déployer. Le rôle émergent d'AWS est de rendre ce parcours moins personnalisé – et éventuellement plus reproductible – en fournissant aux clients une base commune allant du développement de modèles à l'échelle du cloud à l'action en temps réel à la périphérie.
Zeus Kerravala est analyste principal chez ZK Research, une division de Kerravala Consulting. Il a écrit cet article pour SiliconANGLE.
