Les interactions naturelles en réalité virtuelle

Depuis son apparition dès les années 80, les moyens d’interagir en VR n’ont que peu évolué. Dans un article publié en 2018 (l’avenir des interactions en réalité virtuelle), Rémy Alonso, tech lead chez onepoint, soulevait déjà les problématiques liées aux dispositifs d’interaction encore majoritairement utilisés aujourd’hui (les contrôleurs, autrement appelés manettes de jeu). Cet article s’inscrit dans la continuité de ce propos et présente un résumé de l’étude intitulée « Natural Interaction in Virtual Reality : Impact on the Cognitive Load ». Dans cette étude menée au pôle R&D de onepoint sud-ouest, nous avons conçu des interactions gestuelles (interactions à mains nues, sans contrôleur) et les avons comparés aux traditionnels contrôleurs à l’aide d’une démarche de conception centrée sur l’utilisateur (prise en compte de la charge cognitive).

Notre expérience scientifique

L’approche multi-compétences propre à l’équipe R&D de onepoint nous fait nous intéresser à des sujets en multipliant les angles d’approche. Dans le cas présent, un croisement entre expertise « Réalité Virtuelle » et « Sciences cognitives » nous a permis de mener une étude scientifique sur la conception d’un nouveau type d’interaction en réalité virtuelle. L’objectif de l’étude était d’étudier les différents moyens d’interaction en réalité virtuelle disponibles à l’heure actuelle et de déterminer de manière scientifique quel dispositif est le plus naturel pour les utilisateurs.

Contrôleurs versus interactions gestuelles

Aujourd’hui, une grande majorité des dispositifs d’interaction en réalité virtuelle repose encore sur l’usage des traditionnels contrôleurs (dispositifs d’entrée munis de boutons, de joysticks et de croix directionnelles, qui transmettent les actions de la personne dans un jeu vidéo ou dans un environnement de VR). Comme l’a exposé Rémy Alonso dans son article « L’avenir des interactions en réalité virtuelle« , ces derniers génèrent de nombreuses contraintes d’usage. L’apparition de nouvelles technologies de tracking des mains, tel que le Kinect® ou encore le Leap Motion®, a fait émerger des façons plus « naturelles » d’interagir en réalité virtuelle : interagir sans contrôleurs, uniquement à l’aide de geste de la main. Ces interactions dîtes « gestuelles » offrent une interaction plus proche du réel à l’utilisateur. Afin de déterminer quel dispositif est le plus naturel, le plus intuitif, le plus transparent pour les utilisateurs, nous avons décidé de comparer ces 2 dispositifs en étudiant leur impact respectif sur la charge cognitive des utilisateurs, mesure devenue désormais incontournable dans la conception centrée utilisateur. La charge cognitive représente le rapport entre la complexité d’une tâche qu’un individu doit réaliser, et les ressources cognitives dont il dispose pour la mener à bien. Ces ressources cognitives sont intimement liées à la notion de mémoire de travail et à sa capacité limitée à traiter de nouvelles informations. Si l’individu est engagé dans la réalisation d’une tâche extrêmement exigeante dont le traitement des informations dépasse ses ressources cognitives, c’est-à-dire sa capacité en mémoire de travail, il rentre alors en surcharge cognitive. Cette dernière impacte directement les performances pour la réalisation d’une tâche.

C’est pourquoi nous l’avons mis au cœur de notre étude comparative entre interactions gestuelles et contrôleurs, comme un indicateur de l’aspect naturel des interactions.

Protocole expérimental

L’étude a été menée sur une cohorte de 19 employés onepoint comprenant deux profils distincts : des participants novices (considérés comme non-expérimentés avec l’usage des contrôleurs) et des participants « gamers » (considérés comme expérimentés avec l’usage des contrôleurs).

• Au-delà de la comparaison des dispositifs entre eux, l’idée est de voir à quel type de population les deux dispositifs s’adressent le plus.

Les participants ont été immergés dans un jeu vidéo en VR dont l’objectif était de manipuler des objets virtuels (des cubes à mettre au bon emplacement) et chacun d’entre eux ont effectué ce jeu une fois avec les contrôleurs et une fois avec le Leap Motion®.

Illustration de la tâche de manipulation à effectuer en réalité virtuelle

Afin de mesurer la charge cognitive, deux types de mesures ont été employées :

La mesure des performances (temps pour réaliser la tâche, nombre d’erreurs de l’utilisateur, nombre d’erreurs de détection), qui permet d’évaluer indirectement la charge cognitive : plus la charge cognitive d’un utilisateur est élevée, plus ses performances de l’exécution de la tâche sont altérées, pouvant aller jusqu’à l’échec et l’abandon. Un auto-questionnaire subjectif de mesure de la charge cognitive : le NASA TLX que les participants ont dû remplir après chaque tâche accomplie. Ce questionnaire demande a chaque participant de cocher, sur une échelle de 1 à 20, l’endroit où il se situe pour six sous-dimensions de la charge cognitive :

• l’exigence mentale,
• l’exigence physique,
• l’exigence temporelle,
• l’effort, la performance
• la frustration.

Et d’étudier ainsi trois aspects de la charge cognitive : l’aspect cognitif, physique et émotionnel.

Résultats et interprétations

Le bilan de l’étude est sans appel : quel que soit le type de participant (des novices ou des gamers), leur charge cognitive induite par l’interaction avec le Leap Motion® (pour rappel, ce sont les interactions gestuelles supposées « naturelles ») est significativement plus élevée que celle induite par l’usage des contrôleurs. Ce qui indique que l’utilisation du Leap motion® entraîne un effort mental et physique ainsi qu’une frustration plus importante. De plus, les performances (c’est-à-dire le temps pour terminer le mini-jeu VR) sont significativement moindres lors de l’interaction avec le Leap Motion® que lors de l’interaction avec les contrôleurs. Ces résultats sont associés à un nombre d’erreurs de détection du Leap Motion® très élevé.

Pourquoi obtenons-nous ces résultats et comment améliorer l’interaction avec le Leap Motion ?

Tout d’abord, le Leap Motion® engendre de nombreuses erreurs de détection qui frustrent les joueurs (composante émotionnelle de la charge cognitive). Si la détection des mains est assez précise, la gestion de la physique d’interaction entre les mains du joueur et les objets virtuels, elle, est à revoir (par exemple les erreurs de détection de collision). De plus, contrairement aux contrôleurs, le Leap Motion® ne dispose pas d’un tracking continu des mains. Dès lors que les mains sortent du champ de vision du dispositif, le tracking des mains s’interrompt. Or, dans son environnement naturel, l’homme n’interagit jamais avec des objets en maintenant ses mains dans son champ de vision car nous nous appuyons sur d’autres systèmes sensoriels que la vision pour interagir (toucher, proprioception…). Cela met en évidence une autre limite du Leap Motion® : l’absence de retour haptique, c’est-à-dire de sensations de toucher réel (texture, forme et résistance de l’objet avec lequel on interagit). Avec le leap Motion®, lorsque l’on interagit avec des objets virtuels, les utilisateurs n’ont aucun retour sensoriel (hormis le retour visuel), de confirmation de saisie de l’objet. On ferme les doigts sur du vide. Les contrôleurs eux permettent d’avoir une certaine forme de retour haptique, de par la tenue des contrôleurs, les vibrations, les boutons cliquables etc. Afin de contourner ces limites, il serait pertinent de repenser l’interaction avec le Leap Motion® et de le combiner à des objets physiques tangibles et des accessoires à retour haptique.

Vers une réalité virtuelle de plus en plus immersive

C’est dans cette direction que s’est dirigé The Void®, société de divertissement proposant à ses clients des expériences de réalité virtuelle combinant casques de VR, suivi du mouvement des mains (via le Leap Motion®), accessoires à retour haptique et objets VR positionnés sur leurs équivalents tangibles dans le monde physique. Ces expériences permettent de mélanger des déplacements et des interactions virtuelles à des déplacements physiques réels et des interactions avec des accessoires réels. Concrètement, jusqu’à quatre joueurs s’équipent d’ordinateur portable sur le dos, de vestes à retour haptique et de casques VR munis de Leap Motion®. Les joueurs circulent dans des salles physiques réelles interconnectées. Lorsqu’ils touchent un mur virtuel ; ils touchent un mur réel, lorsqu’ils se saisissent d’une arme virtuelle ; ils saisissent une arme factice réelle, lorsque les joueurs sont « touchés » par un tir ; la veste « vibre ». Le Leap Motion® n’est ici présent que pour retranscrire le mouvement des mains. L’avantage de ce système est de créer des interactions en réalité virtuelle hyper réalistes en apportant un retour tangible et haptique lié aux accessoires et environnements réels avec lesquels les joueurs interagissent. Les concepteurs ont eux-mêmes qualifié ce système d’hyper-réalité, terme depuis repris par de nombreux acteurs de l’industrie.