Le Vision Pro change le paradigme de la navigation et de l’interaction avec les logiciels en réalité mixte. Au lieu de nécessiter des contrôleurs physiques encombrants, le casque AR/VR d’Apple s’appuie sur des mécanismes d’entrée sophistiqués avec lesquels nous sommes tous nés : nos mains et nos yeux.
Effectuez des sélections, faites défiler, zoomez, tournez, déplacez des objets et bien plus encore en regardant les objets et en effectuant de simples gestes de la main qui rappellent le Multi-Touch sur l’iPhone.
Découvrez les six gestes de base utilisés dans visionOS et apprenez comment votre regard et vos mains rendent l’utilisation de l’ordinateur spatial d’Apple transparente et sans effort.
Comment fonctionnent les gestes de Vision Pro ?
Les gestes de la main dans visionOS fonctionnent en tandem avec le suivi des yeux. Vos yeux fournissent le ciblage et l’intention, et les gestes déclenchent des actions spécifiques. Le Vision Pro est équipé de caméras frontales, latérales et inférieures pour le suivi des mains, et de capteurs infrarouges à l’intérieur du casque pour le suivi des yeux.
Vous regardez un élément à l’écran (un bouton, par exemple) pour le mettre en surbrillance ou vous maintenez votre regard pour développer le menu contextuel sous-jacent ou révéler une info-bulle. Une fois la sélection effectuée, vous effectuez un geste tel qu’un pincement pour agir. Les caméras externes couvrant un large champ de vision, vous pouvez effectuer des gestes tout en posant confortablement votre main sur vos genoux afin d’éviter toute fatigue.
Apple a décrit six types de gestes courants pour visionOS lors d’une présentation aux développeurs de la WWDC23 sur la conception d’interactions entre la main et l’œil pour la saisie spatiale. Associés aux yeux pour le ciblage, ces gestes de la main vous permettent de contrôler les applications et les interactions dans l’ensemble du système.
Tapoter
Le fait de pincer vos doigts l’un contre l’autre permet d’effectuer l’action par défaut sur l’élément sélectionné. Pensez au pincement en termes d’effleurement de l’écran de l’iPhone ou de clic sur la souris ou le trackpad de votre Mac. Certaines fonctionnalités de visionOS, telles que la frappe aérienne sur le clavier virtuel, ne nécessitent pas le geste de taper.
Double tape
Pincez votre pouce et votre index deux fois de suite pour effectuer l’équivalent du geste de double-tap dans les systèmes d’exploitation tactiles comme iOS et iPadOS.
Pincement et maintien
Rapprochez votre pouce et votre index et maintenez-les momentanément pour déclencher ce geste. Dans visionOS, le geste « pincer et maintenir » fonctionne de la même manière que le geste « appuyer longuement » (tapoter et maintenir) sur votre iPhone pour mettre du texte en surbrillance ou faire apparaître le menu contextuel.
Déplacez vos doigts pincés pour déplacer des fenêtres et d’autres éléments de l’interface utilisateur dans visionOS. Si Safari est devant vous, vous pouvez également tenir votre main en l’air et faire glisser votre doigt pour faire défiler la page.
Pincer et faire glisser
Le geste « pincer et faire glisser » est utilisé pour le défilement. Il suffit de rapprocher les doigts et de faire glisser le poignet. Vous pouvez faire défiler l’écran vers le haut, le bas, la gauche ou la droite en faisant glisser votre main dans n’importe quelle direction.
Plus le mouvement de la main est rapide, plus le défilement est rapide. Vous pouvez faire défiler des pages web dans Safari, des e-mails dans Mail, des documents dans Pages, des feuilles de calcul dans Excel, etc. Vous pouvez utiliser le geste « pincer et faire glisser » pour faire défiler le contenu de n’importe quelle fenêtre sur visionOS qui prend en charge le défilement.
Zoom
Pour zoomer dans Safari, Photos et d’autres applications, pincez le pouce et l’index des deux mains ensemble, puis déplacez chacun d’eux vers l’extérieur. Vous pouvez utiliser ce geste pour rapprocher ou éloigner une fenêtre dans visionOS, agrandir des images, etc. Dans l’application Photos, vous pouvez regarder une partie spécifique d’une image lorsque vous effectuez le geste de zoom pour l’agrandir.
Rotation
Pour faire pivoter un objet, pincez vos doigts avec vos deux mains rapprochées, puis déplacez une main vers le haut et l’autre vers le bas. Vous pouvez utiliser ce geste pour faire pivoter des objets 3D dans Quick Look, des images dans l’application Photos, des illustrations dans des documents, etc.
Le suivi des yeux et des mains « fonctionne » sur le Vision Pro
Comme sur l’iPhone, Apple fournit un langage gestuel de base pour naviguer dans l’ensemble de l’interface utilisateur visionOS et des applications de réalité augmentée. Les développeurs tiers peuvent exploiter les API officielles d’Apple pour visionOS afin de créer et d’ajouter des entrées gestuelles à leurs applications.
Apple ne recommande pas de créer des gestes personnalisés qui entrent en conflit avec ceux du système ou qui ne sont pas faciles à comprendre, à exécuter ou à mémoriser.
Le suivi des yeux et des mains dans les applications de réalité virtuelle, augmentée et mixte n’est pas une nouveauté. Cependant, le casque Vision Pro met en œuvre ces fonctionnalités de la manière propre à Apple. Par conséquent, la navigation dans VisionOS avec les yeux et les mains est transparente et sans effort.
