Dream Labs lève 90 millions de dollars pour aider à construire des robots plus intelligents avec de simples flux vidéo

Dream Labs, une startup qui tente de rendre les robots plus intelligents et capables d'effectuer de nombreuses tâches différentes, a levé 90 millions de dollars de financement de démarrage pour coïncider avec le lancement d'une interface de programmation d'applications publiques qui donne accès à son modèle de base de robot universel.

Dream Labs s'attaque au manque d'intelligence des robots actuels, qui peuvent être assez nombreux dans de nombreux environnements mais qui sont aussi assez limités. La startup estime qu’il y a plus de 5 millions de robots industriels travaillant dans les usines et les entrepôts dans le monde. Ces robots effectuent certainement un travail utile, sinon leurs propriétaires n'y auraient pas investi, mais le cofondateur et directeur général de Dream Labs, Joel Jang, estime qu'ils devraient être capables de faire bien plus.

Ce qui les arrête, c'est le manque d'expertise et de connaissances. La quasi-totalité de ces 5 millions de robots sont conçus pour effectuer une seule tâche, ce qu’ils accomplissent très bien. Mais ils ne peuvent pas être formés à d’autres tâches, ni transmettre les connaissances acquises pour former d’autres robots et machines.

Bien que les coûts du matériel robotique aient chuté de façon spectaculaire, avec des bras robotiques extrêmement adroits vendus désormais pour seulement quelques milliers de dollars, ces produits ne sont livrés avec aucune intelligence. Il incombe plutôt à l'acheteur d'apprendre à ce bras robotique comment effectuer un travail spécifique, et c'est un processus qui peut prendre plusieurs mois, car il implique de nombreux travaux de programmation fastidieux et hautement spécialisés. Pire encore, chaque fois qu’un nouveau matériel robotique est introduit, tout le processus doit être refait à partir de zéro.

Jang pense qu'il devrait y avoir un moyen plus simple de former les robots à effectuer de nouvelles tâches, et sa solution est un modèle de base très polyvalent appelé Dream-1, conçu pour être un « cerveau universel » pour les robots. Dream-1 traite les compétences robotiques comme de simples problèmes de prédiction vidéo. Il enseigne aux robots en utilisant ce que Jang appelle « données d'entraînement égocentriques humaines », terme sophistiqué désignant des vidéos de personnes effectuant des tâches physiques telles que empiler des étagères et emballer des objets dans des boîtes.

En étudiant ces vidéos, Dream-1 apprend à prédire ce qui devrait logiquement se produire ensuite et, sur cette base, il déterminera ensuite l'action physique que le robot doit effectuer pour s'assurer qu'elle se produise réellement. Le grand avantage d’enseigner aux robots de cette manière est que les données vidéo sont beaucoup plus faciles à accumuler que les ensembles de données spécialisés spécifiques aux machines. Cela signifie que Dream-1 peut rapidement rassembler les données dont il a besoin pour enseigner de nouvelles compétences aux robots, en transférant l'intelligence de manière transparente entre différents types de matériel robotique.

Jang a déclaré que Dream-1 a été conçu pour fonctionner avec n'importe quel robot à deux bras équipé de pinces parallèles. La seule chose requise pour commencer est un flux vidéo et des instructions en langage naturel – en gros, quelqu'un pour lui dire quoi faire.

« Le matériel est prêt, mais ce qui manque, c'est un cerveau que tout robot peut utiliser », a déclaré Jang. « Lorsque vous montez dans une voiture de location, vous ne réapprenez pas à conduire. Vous découvrez les commandes et votre expérience de conduite passée fait le reste. Dream-1 aborde un nouveau robot de la même manière, afin qu'il puisse effectuer un travail utile en quelques minutes, et non en quelques mois. « 

La prochaine étape consiste à rendre cette intelligence universellement accessible aux développeurs, et c'est là qu'intervient le lancement de l'API aujourd'hui. Grâce à l'API Dream, les développeurs peuvent accéder à Dream-1 et commencer instantanément à traduire les entrées visuelles et les invites en langage naturel en actions robotiques. Dream Labs facture aux développeurs 3 $ de l'heure pour accéder à la version la plus puissante de Dream-1, les prix tombant à seulement 75 cents de l'heure pour une version allégée.

Dream-1 peut également être utilisé pour enseigner aux robots des compétences entièrement nouvelles que le modèle n'a jamais rencontrées auparavant grâce à l'offre Fine-Tuning-as-a-Service de la startup. Tout ce que les développeurs ont à faire est de soumettre une vidéo démontrant une nouvelle tâche – plus il y a de séquences vidéo, mieux c'est – et Dream Labs la transformera en une version hautement personnalisée de Dream-1 en quelques heures.

Pour présenter les capacités de son modèle, la société a également lancé le Robot Playground, accessible à tous via un navigateur Web. Tapez simplement une commande et regardez un robot en direct répondre en temps réel.

Dream Labs travaille actuellement avec plus de 20 sociétés de matériel robotique dont les machines coûtent entre 2 000 et 10 000 dollars. Bien que Dream-1 soit conçu pour fonctionner avec n'importe quel bras robotique, la société travaille avec ces partenaires pour optimiser le modèle pour leur matériel spécifique. Ce travail lui permet de mieux « saisir » ce que chaque robot peut faire, permettant ainsi de meilleures performances.

Jang a déclaré que Dream-1 est déjà très capable de tâches telles que ramasser et placer des objets et plier des vêtements, mais qu'il a des ambitions bien plus grandes à long terme. Par exemple, il prévoit d’apprendre au modèle à prendre en charge des robots mobiles utilisant des roues ainsi que des robots dotés de mains entièrement adroites ou semblables à celles des humains. L'argent du cycle d'aujourd'hui contribuera à financer la puissance de calcul nécessaire pour y parvenir, a-t-il déclaré.

Daisy Cai de B Capital a déclaré que les bras robotiques peuvent désormais être achetés au même prix qu'un ordinateur portable haut de gamme. « Ce dont ils ont besoin maintenant, c’est de renseignements », a-t-elle poursuivi. « Cette équipe a réalisé une partie du travail déterminant en matière d'apprentissage des robots chez Nvidia, et désormais toute personne disposant d'une clé API peut s'en servir. »

Photos : Laboratoires de rêves

Newsletter

Rejoignez notre newsletter pour des astuces chaque semaine