Réalité mixte, interfaces utilisateur naturelles et internet des objets

Réalité mixte, interfaces utilisateur naturelles et internet des objets

Préambule

La réalité virtuelle tout comme la réalité augmentée sont des domaines généralement utilisés pour définir ce qu’est la réalité mixte. S’il n’existe actuellement pas de consensus sur ce qu’est la réalité virtuelle ou la réalité augmentée [SHN19], nous décrivons dans cette sous-section les définitions et approches les plus consensuelles et répandues de ces termes.

Réalité virtuelle 

Arnaldi et al. [FMB06] définissent la réalité virtuelle de la façon suivante : « La réalité virtuelle est un domaine scientifique et technique exploitant l’informatique et des interfaces comportementales en vue de simuler dans un monde virtuel le comportement d’entités 3D, qui sont en interaction en temps réel entre elles et avec un ou des utilisateurs en immersion pseudo-naturelle par l’intermédiaire de canaux sensori-moteurs. » D’après Speicher et al. [SHN19], elle se caractérise par une vue de l’utilisateur sur un environnement entièrement virtuel. Elle nécessite un suivi de la tête de l’utilisateur, voire un périphérique d’affichage porté sur la tête. Elle immerge totalement l’utilisateur dans l’environnement virtuel. Précurseur du domaine, Morton Heilig obtient un brevet en 1960 [Hei60] le Telesphere Mask.

La réalité virtuelle est utilisée dans de multiples secteurs d’activité, comme la formation, la visualisation de données, le divertissement, etc. Elle permet par exemple de visualiser et manipuler des modèles 3D issus d’une photogrammétrie d’objets historiques.

Réalité augmentée
La définition la plus citée de la réalité augmentée est d’Azuma [Azu97]. Elle est produite par des systèmes aux caractéristiques suivantes :
— combinant réel et virtuel ;
— interactifs en temps réel ;
— localisés en trois dimensions.

D’après Speicher et al. [SHN19], la réalité augmentée est une notion très discutée et souvent confondue avec la notion de réalité mixte. Elle est perçue comme une fusion entre des graphismes rendus en 3D spatialement cohérents et l’environnement réel. Le premier dispositif de rendu visuel en réalité augmentée est réalisé par Ivan E. Sutherland en 1968 [Sut68].

Les lunettes et visiocasques de réalité augmentée nécessitent d’être mobiles et autonomes. Ils nécessitent d’être plus légers, et de couvrir un champ de vision le plus proche possible du champ de vision humain. Or, la taille et le poids des batteries, le champ de vision réduit des optiques semitransparentes, ou encore une puissance de calcul qui doit offrir un compromis entre besoins de calcul importants et frugalité, empêchent la démocratisation de ces interfaces utilisateur [Fuc17]. Les usages actuels sont essentiellement professionnels en raison du coût du matériel. Par exemple, la filiale Testia d’Airbus développe des outils de réalité augmentée déployés dans des usines aéronautiques. Néanmoins, le potentiel de cette technologie est vaste et applicable aussi bien au divertissement, comme le jeu Pokémon Go l’a démontré, qu’au commerce, à la surveillance ou encore au tourisme.

Réalité mixte

Les technologies dites de réalité mixte permettent à leurs utilisateurs d’interagir simultanément avec le réel et le virtuel. De nombreuses définitions décrivent ce qu’est la réalité mixte, sans pour autant créer de consensus [SHN19]. Les experts interrogés par Speicher et al. [SHN19] estiment que dans une dizaine d’années les notions de réalité virtuelle, de réalité augmentée et de réalité mixte se confondront, car le matériel sera alors capable de fournir tout le fonctionnel qu’elles recouvrent. Par exemple, un casque de réalité mixte pourra offusquer le réel si souhaité ou nécessaire afin de limiter la vision de l’utilisateur à l’environnement virtuel. La définition la plus consensuelle de la réalité mixte est celle de Milgram et Kishino [MK94]. Ils présentent en 1994 le continuum de la virtualité . Ce continuum combine les environnements réels et virtuels. Selon cette définition, on peut ainsi considérer la réalité mixte comme une réalité déterminée par le niveau de virtualité de l’environnement de l’utilisateur, oscillant entre « purement virtuel » à « purement réel ». Les extremums de ce continuum, un environnement purement réel et un environnement purement virtuel, ne sont pas considérés comme étant inclus dans ce continuum, comme l’explicitent Speicher et al. [SHN19].

D’après Speicher et al. [SHN19], cette notion est très débattue parmi les communautés de recherche qui l’utilisent. Elle est souvent perçue comme une réalité augmentée plus évoluée, aux fonctionnalités étendues et totalement immersive. Elle est également perçue comme un terme marketing qui cherche à différencier certaines technologies. Nous nous appuyons dans notre mémoire sur la définition d’un système mixte proposée par Coutrix et al. en 2006 [CN06]. Un système mixte est un système constitué d’objets mixtes permettant à l’utilisateur d’interagir avec une réalité mixte [CNR05]. Un objet mixte est composé d’une partie réelle et d’une partie numérique.

Discussion

La réalité mixte est limitée par plusieurs aspects. En premier lieu, capturer les propriétés du monde réel pour les numériser n’est pas systématiquement possible. Certaines propriétés réelles sont difficiles voir impossibles à capturer. Les propriétés réelles capturées sont généralement la localisation d’une entité ou encore son apparence. Par exemple, il est possible de détecter des gestes effectués par les bras ou les mains d’un utilisateur suivi par une caméra. Si la capture de propriétés réelles est limitée par les caractéristiques des capteurs existants, l’actuation de propriétés numériques est quant à elle parfois difficile voire impossible. Il n’est par exemple pas possible de placer un objet sous un autre dans le monde réel sans l’intervention, par exemple, de bras robotiques capables de préhension. Dans ce cas, l’internet des objets donne à l’utilisateur d’un système interactif mixte un accès aux objets connectés. Il augmente ainsi les moyens de captation et d’actuation à la disposition de l’utilisateur. Le matériel de réalité mixte est également un facteur de limitation de son développement. Les casques de réalité mixte sont actuellement de trois à dix fois plus chers que les casques de réalité virtuelle et l’offre d’applications dédiées est pour le moment très réduite et confidentielle. Par exemple, un casque de réalité mixte Hololens coûte 3850€ tandis qu’un casque de réalité virtuelle coûte 450€. De plus, aucun jeu commercial à gros budget n’est actuellement disponible pour les casques de réalité mixte tandis que les catalogues de jeux vidéo en réalité virtuelle ne cesse de s’étoffer.

Les interfaces utilisateur naturelles sont utilisées conjointement à la réalité mixte, afin de fournir à l’utilisateur non seulement la vision, mais également d’autres modalités d’interaction comme la voix ou le geste.

Table des matières

INTRODUCTION
1 Introduction
1.1 Contexte
1.2 Problématiques et objectifs
1.3 Modèle d’entité mixte
1.4 Structure du manuscrit
2 Etat de l’art
2.1 Réalité mixte, interfaces utilisateur naturelles et internet des objets
2.1.1 Préambule
2.1.2 Réalité mixte
2.1.3 Interfaces utilisateur naturelles
2.1.4 Internet des objets
2.2 Convergence de la réalité mixte, des interfaces utilisateur intuitives et de l’internet des objets
2.2.1 Kits de développement logiciel
2.2.2 Cas d’usage et prototypes
2.2.3 NUI interconnectées et naturalité de l’interaction utilisateur
2.3 Modèles et frameworks de conception ou de développement
2.4 Analyse
3 Modèle interne mixte orienté conception
3.1 Entités mixtes
3.1.1 Interface de l’entité mixte
3.1.2 Modèle interne mixte orienté conception d’une entité mixte
3.1.3 L’utilisateur en tant qu’entité mixte
3.1.4 Synthèse
3.2 Contrôle des entités mixtes
3.2.1 Contrôle d’une partie virtuelle d’une entité mixte
3.2.2 Contrôle des entités mixtes non-vivantes
3.2.3 Contrôle des entités mixtes vivantes
3.2.4 Synthèse
3.3 Interactions entre entités mixtes
3.3.1 Synthèse
3.4 Interactions utilisateur hybrides
3.4.1 Hybridation des modalités
3.4.2 Interactions multi-sensorielles
3.4.3 Interactions mono-modales à interfaces multiples
3.5 Conclusion
4 De la conception à l’application
4.1 Cas d’usage du ventilateur mixte
4.2 Vue d’ensemble du framework
4.3 Conception
4.4 Développement
4.5 Implémentation
4.5.1 Réseau de Petri DOMIM
4.5.2 Composants
4.6 Conclusion
5 Cas d’usage
5.1 Contrôle gestuel des environnements domotiques
5.2 Contrôle tangible des environnements domotiques
5.3 Téléphone mixte, interactions tangibles et rendu distribué
5.4 Téléphone mixte et interactions hybrides mêlant interactions gestuelles, tangibles et tactiles
5.5 Interactions hybrides avec un bâtiment connecté
5.6 Retour multisensoriel de la localisation des mains d’un utilisateur
5.7 Rendu stéréoscopique multicouche d’un contenu virtuel
5.8 Conclusion
6 Conclusion et travaux futurs
CONCLUSION

Lire le rapport complet