La startup d'infrastructure de formation en robotique XDOF a annoncé aujourd'hui avoir levé 70 millions de dollars pour tenter de résoudre l'un des plus grands défis de l'intelligence artificielle : enseigner aux machines les compétences dont elles ont besoin pour naviguer et travailler en toute sécurité dans le monde réel.
Le cycle a impliqué un certain nombre de sociétés de capital-risque de poids, notamment Thrive Capital, Spark Capital, Andreessen Horowitz, Lux Capital et WndrCo. En plus de l'argent, la startup a également publié ABC-130K, qui, selon elle, est le plus grand ensemble de données open source sur la manipulation bimanuelle de robots au monde. Il fournira aux chercheurs en robotique un accès à une quantité sans précédent de données de formation de haute qualité et disponibles gratuitement.
Les débuts de XDOF surviennent à un moment critique, quelques semaines seulement après que l'OpenAI Group PBC a annoncé qu'il allait relancer son propre programme de formation en robotique qui avait été fermé en 2021. Cette décision témoigne de l'intérêt croissant pour ce que l'on appelle « l'IA physique », mais les modélistes pionniers sont confrontés à un défi de taille. Alors que de grands modèles linguistiques peuvent être formés sur de vastes océans de données facilement accessibles sur Internet, la construction de robots intelligents nécessite des données beaucoup plus nuancées qui capturent des actions et des interactions très spécifiques et réelles.
Ces données sont si rares qu’elles sont pratiquement inexistantes. Certains développeurs ont tenté de contourner ce problème en téléchargeant des vidéos YouTube ou en utilisant des images de mauvaise qualité capturées par des ouvriers d'usine, etc., mais ces données sont pratiquement impossibles à concilier avec les exigences spatiales complexes des robots.
Le co-fondateur et directeur général Philipp Wu a déclaré à TechCrunch dans une interview qu'il avait lui-même relevé ce défi alors qu'il étudiait en doctorat. étudiant à l'Université de Californie à Berkeley. « Nous n'avions pas de données à grande échelle avec lesquelles travailler », a-t-il expliqué. « Il y avait ce problème de la poule et de l'œuf : nous devions d'abord collecter des données avant même de pouvoir demander comment former un modèle de base pour la robotique. »
XDOF estime que le plus grand obstacle à l'IA physique ne réside pas dans les modèles qui alimentent réellement les robots ou dans les puces haut de gamme nécessaires au traitement embarqué, mais dans les boucles de rétroaction de données nécessaires pour enseigner les interactions physiques aux robots. C'est pourquoi l'entreprise se concentre sur la création de pipelines de données hautement spécialisés, d'outils de collecte de données et de systèmes d'annotation nécessaires pour rassembler cette ressource de formation essentielle. Il s'agit d'une toute nouvelle catégorie d'infrastructures, a déclaré Wu.
La startup trouve ses racines dans un projet appelé GELLO sur lequel Wu a travaillé aux côtés de plusieurs autres chercheurs de l'UC Berkeley. Avec GELLO, ils ont développé un système de téléopération à faible coût qui permet aux opérateurs humains de contrôler des bras robotiques et d'effectuer diverses tâches pour générer des données de formation précises. Lorsqu'il s'est associé au directeur de la technologie Fred Shentu et au directeur de l'exploitation Nemo Jin, Wu s'est rendu compte que la simple création de données en soi était un mauvais modèle commercial. Ils ont donc également décidé d'offrir des services de nettoyage et d'annotation des données et de développer des outils spécialisés, créant ainsi une boucle de rétroaction auto-renforcée.
L'ensemble de données ABC-130K est censé être une vitrine de ce que XDOF peut faire. Il comprend 130 000 trajectoires de données de manipulation robotique, ainsi que 300 heures de simulations et 100 heures d'évaluations. La startup a elle-même utilisé cet ensemble de données pour former des robots à un certain nombre de tâches qui nécessitent une extrême précision, comme plier des T-shirts, aplatir des boîtes en carton et mettre des AirPod dans leurs étuis en plastique. Bien qu’elle ait jusqu’à présent fonctionné discrètement, elle compte déjà une vingtaine de clients actifs, dont un certain nombre de laboratoires d’IA frontaliers, et plus de 60 employés.
Wu a déclaré que XDOF étendrait ses activités à travers une « pyramide de données » à trois niveaux qui comprend des données de téléopération sur mesure collectées directement à partir du fonctionnement à distance du robot spécifique en cours de formation. Le niveau intermédiaire comprend des données téléopérationnelles généralisées, similaires à celles produites par GELLO. Enfin, il inclut des données « égocentriques » collectées par des humains effectuant les tâches quotidiennes que les robots doivent apprendre.
Bien entendu, la création de toutes ces données de téléopération sera une entreprise importante, et c’est précisément la raison pour laquelle XDOF avait besoin d’argent. Elle va embaucher une branche mondiale de téléopérateurs et de collecteurs de données. L'entreprise développera même ses propres capteurs portables exclusifs pour garantir que les robots formés correspondront aux algorithmes de suivi manuel qu'elle a développés.
Parce que la création de ces données est un travail très exigeant en main-d’œuvre, XDOF estime que les laboratoires d’IA ne seront que trop heureux de l’externaliser. « Vous avez besoin d'un entrepôt de centaines de milliers de pieds carrés avec des centaines de robots », a expliqué Wu. « Vous devez entretenir ces robots, calibrer leurs paramètres physiques et former correctement les opérateurs. »
