Une main numérique à commande vocale pourrait améliorer la commodité et l’accessibilité de la réalité virtuelle et augmentée en permettant une utilisation mains libres des jeux et des applications. Le logiciel prototype a été développé par des informaticiens de l’Université du Michigan.
Le logiciel des chercheurs, appelé HandProxy, permet aux utilisateurs de VR et AR d'interagir avec les espaces numériques en commandant une main désincarnée. Les utilisateurs peuvent demander à la main de saisir et de déplacer des objets virtuels, de faire glisser et de redimensionner les fenêtres et d'effectuer des gestes, comme lever le pouce. Il peut même gérer des tâches complexes, telles que « débarrasser la table », sans être informé de chaque étape intermédiaire, grâce à la puissance d'interprétation de GPT-4o, le modèle d'IA derrière ChatGPT.
La capacité de la main à analyser indépendamment des tâches complexes à la volée la rend plus flexible que les fonctionnalités de commande vocale VR actuelles, qui sont limitées à des tâches simples au niveau du système, telles que l'ouverture et le défilement des menus, ou des commandes prédéfinies dans une application ou un jeu.
« Les appareils mobiles prennent en charge des technologies d'assistance qui permettent des modes de saisie alternatifs et un contrôle automatisé de l'interface utilisateur, y compris des assistants de tâches alimentés par l'IA comme Siri. Mais de telles capacités sont largement absentes dans les interactions manuelles VR et AR », a déclaré Anhong Guo, professeur adjoint de développement professoral Morris Wellman en informatique et en ingénierie.
« HandProxy est notre tentative de permettre aux utilisateurs de passer de manière fluide entre plusieurs modes d'interaction en réalité virtuelle et augmentée, y compris les contrôleurs, les gestes de la main et la parole », a déclaré Guo, qui est également l'auteur correspondant d'une étude décrivant le logiciel, publiée dans Actes de l'ACM sur les technologies interactives, mobiles, portables et omniprésentes.
Les passionnés louent la VR pour son immersion. Les utilisateurs veulent être à l’intérieur d’un espace virtuel, pas seulement le voir de l’extérieur. Les avantages, affirment-ils, vont de la création de jeux plus excitants à la formation de médecins et de chirurgiens sans risquer des vies.
Maximiser le réalisme physique est essentiel pour mettre fin à l'incrédulité, c'est pourquoi l'industrie s'est orientée vers un contrôle tactile avec des caméras et des gants de suivi manuel. Mais se concentrer sur des mouvements de main réalistes n’est pas la méthode idéale pour certaines personnes et certaines situations. Les utilisateurs de réalité virtuelle dans des espaces exigus n'auront peut-être pas de place pour des gestes compliqués, et les utilisateurs de réalité augmentée voudront peut-être naviguer sur de petits écrans pendant que leurs mains sont occupées à cuisiner ou à nettoyer.
Se fier strictement aux gestes de la main devient encore plus fastidieux pour les utilisateurs souffrant de déficiences motrices ou d'autres handicaps. Les personnes atteintes de dystrophie musculaire et de paralysie cérébrale ont des difficultés à utiliser la réalité virtuelle, rapporte Scientific American. Les mouvements tactiles peuvent même dissuader certains utilisateurs atteints de maladies chroniques d’essayer la réalité virtuelle. Un utilisateur de Reddit a partagé qu'une maladie chronique les empêchait de profiter de jeux comportant des mouvements de balancement répétitifs, et ils étaient sceptiques quant au fait que la réalité virtuelle leur conviendrait. HandProxy pourrait contribuer à rendre la VR plus confortable et plus accessible.
« S'il existe une physique intégrée, ce qui est vrai pour la plupart des jeux et des applications VR, HandProxy peut interagir avec elle », a déclaré Chen Liang, doctorant en informatique et en ingénierie à l'UM et premier auteur de l'étude. « Notre main virtuelle donne le même signal numérique que la main de l'utilisateur, de sorte que les développeurs n'ont pas besoin d'ajouter délibérément quelque chose dans leurs programmes uniquement pour notre système. »
Certains utilisateurs d'essai sont déjà enthousiasmés par le potentiel de l'outil. Dans l'étude, 20 participants ont été invités à reproduire des tâches à partir d'une vidéo de démonstration, puis à explorer librement les capacités de HandProxy pendant 10 minutes. Certains participants étaient ravis d'avoir un remplaçant virtuel avec qui ils pourraient « parler normalement et intuitivement ». Mais d'autres participants, à la grande surprise des chercheurs, étaient plus enthousiasmés par l'idée de permettre à la main d'effectuer des tâches plus abstraites qui « ne se limitent pas au monde physique ».
« Il pourrait agir comme un agent, où un utilisateur lui donnerait une commande de haut niveau, comme » organiser mon espace de travail « , et trouverait un moyen de trier et de fermer toutes vos fenêtres ouvertes », a déclaré Liang.
L’un des obstacles à l’adoption est que la main interprète parfois mal les commandes de l’utilisateur. HandProxy a été invité à effectuer 781 tâches au cours de l'étude, et bien qu'il ait exécuté correctement la plupart des tâches en une à quatre tentatives, il a échoué à 64. Par exemple, le logiciel n'a pas réalisé qu'un utilisateur faisait référence à un panier numérique lorsqu'il disait « l'objet marron », et il n'a pas su appuyer sur un bouton en forme de cœur lorsqu'on lui a demandé « d'aimer la photo ».
Les chercheurs travaillent actuellement sur les moyens d'aider le logiciel à interpréter les discours ambigus, sans prendre trop de libertés. Un participant à l’étude a proposé une solution potentielle : permettre à la main de poser des questions et d’y répondre.
