La médiation par la réalité mixte

LES RÉALITÉS

La réalité augmentée signifie mot pour mot : augmentation de la réalité. Mais qu’est-ce que la réalité, et comment l’augmenter ? La réalité est définie dans le Larousse comme : «Caractère de ce qui existe réellement, ce qui est réel, par opposition à ce qui est imaginé, rêvé, fictif».
L’ambiguïté de cette définition exprime la complexité de ce terme. Ma recherche ne constitue pas à m’interroger sur un débat sans fin et de donner une définition absolue de réalité. Cependant, lors d’un projet pour la compagnie Boeing (Caudell and Barfield 2001), cette appellation de réalité a été imposée pour le terme de réalité augmentée.

Prenons l’exemple qui a soutenu la réflexion de R.Azuma dans «A Survey of Augmented Reality.» (Azuma 1997) : l’adaptation cinématographique de «Qui veut la peau de Roger Rabbit ?» (Zemeckis 1988). Cette histoire est imaginée, elle se déroule dans un univers fictif, mais avec des architectures dites réelles. Ce film pourrait être considéré comme de la réalité augmentée.
En effet, certains personnages sont interprétés par des acteurs réels et d’autres personnages, ou objets, sont des créations animées nées grâce à des outils créés par l’homme et utilisés traditionnellement tels que les classiques papiers et crayon, et aussi de façon «virtuelle» à l’aide de programmes informatiques conçus par une ou plusieurs personnes. De plus, ce film est visualisable à travers un écran respectant alors le principe de fonctionnement de la réalité augmentée.

Le virtuel est un terme qui désigne, selon la philosophe Anne Cauquelin dans «Que sais-je ? L’art contemporain» (Cauquelin 2011) : «une forme d’existence qui n’est réelle que momentanément». D’après sa définition, et en considérant que ce phénomène est généré par l’informatique, le virtuel trouve une sorte de présence dans notre réalité, mais celui-ci est créé incontestablement avec des logiciels informatiques. Est-ce que cela signifie qu’en créant ou réalisant notre imagination, nos rêves, etc., nous fabriquons plusieurs réalités ? Cette théorie d’une multitude de réalités est soutenue par Paul Watzlawick : «De toutes les illusions, la plus périlleuse consiste à penser qu’il n’existe qu’une seule réalité.» (Watzlawick 1984). Mais comment les différencier ?

LA RÉALITÉ IMMERSIVE : UN BUT UTOPIQUE

L’immersion se réalise au travers d’un média. Un support qui propose une expérience alternative. C’est-à-dire un support qui attire l’attention du destinataire telle qu’une peinture, une photographie, un film, un jeu, etc. Dominic Arsenault et Martin Picard l’ont définie ainsi : «Un phénomène qui se produit lorsqu’une couche de données médiatisée est superposée à celle non médiatisée avec une force et une étendue telles qu’elle empêche momentanément la perception de cette dernière.» (Arsenault and Picard)

La perception et le ressenti d’une expérience immersive ne peuvent être généralisés, car ils sont différents selon le média. Je me concentrerai donc sur les médias qui concernent ma recherche-création, ceux qui immergent un spectateur dans un environnement virtuel. Laura Erni et Frans Mäyrä proposent le SCI-Model pour diviser l’immersion dans une expérience vidéoludique en trois types (Erni and Mäyrä 2005) :

Sensorielle : Une expérience immersive qui se concentre sur les sens. Une immersion visuelle et auditive durant laquelle le joueur se focalise, ayant le dessus sur les données non médiatisées (du monde réel).

Challenge-bases : Une immersion équilibrée entre le sensorielle et l’imaginative.

Imaginative : Une immersion narrative, l’histoire immerge davantage que l’environnement graphique. Le joueur s’identifie et est possiblement susceptible d’éprouver de l’attachement à un ou plusieurs personnages.

Une immersion vidéoludique immersive sans dispositif est à l’heure actuelle une utopie ou une création des scénaristes de science-fiction que les concepteurs et les développeurs de réalité virtuelle tentent de recréer avec une interface transparente. Une théorie soulevée par Bolter et Grusin avec la logique du transparent immediacy, où le spectateur serait immergé automatiquement et instantanément dans un univers virtuel interactif à l’aide d’un dispositif transparent : «Virtual reality, threedimensional graphics, and graphical interface design are all seeking to make digital technology «transparent.» In this sense, a transparent interface would be one that erases itself, so that the user is no longer aware of confronting a medium, but instead stands in an immediate relationship to the contents of that medium.»(Bolter and Grusin 2000).

LA RÉALITÉ AUGMENTÉE ET LA RÉALITÉ VIRTUELLE : HISTORIQUE ET DÉFINITIONS

La réalité augmentée et la réalité virtuelle ont un objectif commun : tous deux immergent le ou les spectateurs- joueurs dans un environnement virtuel. Mais leurs procédés sont différents.

La VR utilise la plupart du temps des HMD ou lunette immersives, tels que les populaires oculus rift, où le spectateur/joueur dirige son point de vue à 360 degrés dans un environnement virtuel, ce qui provoque une coupure totale avec le monde réel. Tandis que la réalité augmentée met en avant l’intégration du virtuel dans le monde réel.
La réalité virtuelle serait née vers 1960 d’après le travail de Morton Heilig, pionnier dans la recherche d’image immersive. En effet, ce dernier inventa le «Sensorama simulator», une machine immersive à effet sensoriel où le spectateur conduisait une moto dans les rues de New York. Sans être interactive, cette invention appréhendait quatre des cinq sens humains (Grau 2003). Pour accentuer l’immersion, la machine envoyait des odeurs, modifiait la température et donnait des secousses sur le siège donnant la sensation des déformations de route. Ivan Sutherland est l’un des chercheurs les plus reconnus dans les interfaces homme-machine, notamment avec sa création du «Sketchpad» (Sutherland 1963) considéré comme l’ancêtre de la tablette graphique. En 1968, Ivan Sutherland a basé ses recherches sur l’affichage tridimensionnel et a inventé la première machine de «réalité augmentée», le premier HMD (casque immersif) qui permettait de visionner des images de synthèses tout en voyant le monde réel.

«Our objective in this project has been to surround the user with displayed three-dimensional information. Because we use a homogeneous coordinate representation, we can display objects which appear to be close to the user or which appear to be infinitely far away. We can display objects beside the user or behind him which will become visible to him if he turns around. The user is able to move his head three feet off axis in any direction to get a better view of nearby objects. He can turn completely around and can tilt his head up or down thirty or forty degrees. The objects displayed appear to hang in the space all around the user.» (Sutherland 1968).On attribue l’invention du terme augmented reality à des chercheurs spécialistes en VR, lors d’un projet innovant dans la compagnie Boeing : Tom Caudell et David Mizell en 1992. Ce projet a abouti à la projection de données (géolocalisation, mesure de distance, altitude, etc.) sur la vitre du cockpit des avions : «Our objective was to learn what applications there might be for virtual reality technology in commercial aircraft design and manufacturing. We had both only been with the company a few months, we were both interested in VR, and since neither of us knew a lot about aircraft design and manufacturing, we wanted to hear from design and manufacturing engineers how this technology might help them.» (Caudell and Barfield 2001).

LA RÉALITÉ MIXTE

En 1994, le terme de réalité augmentée, employé par Tom Caudell et David Mizell, fut repris par Paul Milgram et Fumio Kishino dans leur réflexion quant à la définition des diverses expériences immersives en lien avec le réel. Ils schématisèrent leur explication avec le «virtuality continuum» . Cette figure décrit l’échelle entre l’environnement réel, la réalité pure et l’environnement virtuel, la fiction pure. Ce qui se construit entre ces deux environnements est la réalité mixte (MR), composée de la réalité augmentée où le virtuel s’additionne à la réalité et de la virtualité augmentée, l’incorporation du réel dans le virtuel. Exemple d’une expérience en virtualité augmentée : le spectateur utilise un dispositif de réalité virtuel et s’immerge dans un environnement virtuel, où un écran permet à l’utilisateur de faire une réelle visioconférence, cela signifie que expérience est en temps réel et interactif. «Le virtuality continuum englobe donc toutes les variantes et les compositions possibles de réelles et virtuelles des objets» (Milgram and Kishino 1994).Toutefois, une contrainte a été relevée par Evan Barba, Blair MacIntyre et Elizabeth D. Mynatt, lors de leur recherche sur la réalité mixte (je traduis letexte de Barba, MacIntyre et al) : «Cette définition a été formulée à un moment où l’informatique mobile était à ses débuts et la réalité virtuelle (VR) était encore populaire, et bien avant la croissance de paradigme de déplacement dans l’informatique mobile vu dans la dernière décennie.

Il hérite donc de certaines hypothèses sur l’avenir et la nature de l’informatique commune à cette époque.AR a été pris comme un sous-ensemble de MR, plutôt qu’un champ totalement séparé, et contient donc beaucoup des mêmes hypothèses, en particulier la dépendance à la détection visuelle et à l’affichage, qui a été le centre de MR précoce.»(Barba, MacIntyre et al. 2012) .

La définition AR de Mackay (vu auparavant) semble plus proche d’une définition de la MR que ne l’est celle de Milgram, selon les auteurs de «Here We Are !», car elle est : «axée sur l’expérience de l’utilisateur plutôt que sur l’affichage visuel». Les chercheurs Rebecca Rouse, Maria Engberg, Nassim JafariNaimi et Jay David Bolter distinguent une catégorie plus large de la MR avec la création de la notion MRx pour privilégier principalement la qualité de l’expérience. Leur objectif est de conceptualiser l’expérience MRx pour la différencier de celle du MR à partir de trois qualités qui lui sont propres (Rouse, Engberg et al. 2015) : Hybride, Localisation dans l’espace et spécifique au site, Esthétique, performatif et social.

L’ASSOCIATION AVEC LE JEU DE SOCIÉTÉ

Les réalisations de jeu en AR sont généralement liées avec le lieu permettant alors une projection virtuelle dans le monde qui nous entoure. L’intérêt de la réalité augmentée, comparé à celui de la réalité virtuelle, est l’importance du réel. Les expériences ludiques entièrement traditionnelles, telles que les jeux de société peuvent être la base du complément d’un véritable jeu en AR. La particularité des jeux de société est la valeur indispensable des objets qui la composent : le plateau de jeu qui détermine la zone où les joueurs devront cibler leur intention, le dé qui en tant qu’objet le plus hasardeux provoque des parties de jeux différentes, les cartes qui déterminent les diverses stratégies des joueurs, les pions qui situent simplement les joueurs, etc.

En conservant ces objets physiques, nous gardons ainsi notre lien avec le monde réel. Dans ce cas, l’AR ne se focalise plus exclusivement sur notre sens de la vue, mais fait aussi appel à notre sens du toucher. Il est probable qu’une immersion parfaite dans la réalité augmentée affectera tous nos sens.

Le jeu de société est une expérience ludique qui regroupent les participants en un même lieu et se joue autour d’une table. Johan Huizinga définit le jeu comme «une action ou une activité volontaire, accomplie dans certaines limites fixées de temps et de lieu, suivant une règle librement consentie, mais complètement impérieuse, pourvue d’une fin en soi, accompagnée d’un sentiment de tension et de joie, et d’une conscience d’être autrement que dans la vie courante».(Huizinga 1938). D’après la citation de Johan Huizinga, le joueur se coupe de sa réalité lorsqu’il participe à un jeu, celui-ci est immergé dans l’expérience ludique. Huizinga, en décrivant le jeu, décrivait le jeu de société, le jeu de table. Le jeu de société est un média immersif, il se superpose à notre réalité non-médiatisée, proposé par Arsenault et Picard (vu auparavant : La réalité immersive : un but utopique).

Table des matières

INTRODUCTION
CHAPITRE 1 LES RÉALITÉS
1.1 LES RÉALITÉS
1.2 LA RÉALITÉ IMMERSIVE : UN BUT UTOPIQUE
1.3 LA RÉALITÉ AUGMENTÉE ET LA RÉALITÉ VIRTUELLE : HISTORIQUE ET DEFINITIONS
1.4 LA RÉALITÉ MIXTE
1.4.1 LES UTILISATIONS DE LA MR
1.4.2 L’AVENIR DE LA MR
1.5 L’ASSOCIATION AVEC LE JEU DE SOCIÉTÉ
1.5.1 EYE OF JUDGMENT
1.5.2 ART OF DEFENSE
CHAPITRE 2 RÉFLEXIONS 
2.1 LE POINT DE VUE
2.2 LA SÉMIOTIQUE
2.3 LA FONTIÈRE ENTRE DEUX RÉALITÉS
2.4 LES ÉTAPES VERS L’HOLODECK
CHAPITRE 3 LA CRÉATION
3.1 MES RÉFÉRENCES
3.2 ANALYSES ET QUESTIONNEMENTS : UNE ENQUETE COLLABORATIVE
3.3 LE GAME DESIGN
3.4 PREMIÈRE SÉRIE DE TESTS : PROTOTYPE PAPIER
3.5 SECONDE SÉRIE DE TESTS : RÉALITÉ MIXTE
CONCLUSION
BIBLIOGRAPHIE

Télécharger le rapport complet