Soutenance mémoire
NOUVELLES TECHNIQUES D’INTERACTION BIMANUELLE
Taxonomie d’interactions bimanuelles pour les visualisations
Pour comprendre les techniques d’interaction bimanuelle qui sont possibles avec les visualisations de graphes, une façon d’analyser les techniques possibles consiste à énumérer les rôles qui peuvent être joués par chaque main. Par exemple, dans le cas de ToolGlass, avant de faire un clic-à-travers, la MND positionne la palette d’outils en dessous du curseur de la MD. Donc, la MND sélectionne la commande. La MD, par contre, positionne le curseur par dessus l’objet, et sélectionne donc l’objet. Dans le cas de manipulation directe (Figure 1.6), on peut considérer que les deux mains servent à sélectionner la commande, car les deux spécifient la translation, rotation, et changement d’échelle à effectuer. Dans la section 1.3.2.1, nous avons aussi vu que les deux mains peuvent être déplacées pour effectuer un zoom ou une translation de caméra. Finalement, il y a des techniques d’interaction autour des métaphores de lentilles (comme les lentilles magiques (Bier et al., 1993)), où une main déplace une lentille qui change la visualisation des objets en dessous. Voilà donc 4 rôles qui peuvent être joués par chaque main : manipulation de caméra, sélection d’objets (nœuds ou sous-graphes), sélection de commandes, et manipulation de lentille. La Certaines sont accompagnées aussi d’un exposant, avec les significations suivantes : 1 La technique est déjà connue, et a aussi été réalisée dans le prototype de ce chapitre. Il y a 3 techniques de cette sorte. 2 La technique est novatrice, et a aussi été réalisée dans le prototype de ce chapitre. Il y a 4 techniques de cette sorte. 3 La technique est novatrice, mais n’a pas été réalisée. Ilya1 technique comme ça. Les exposants sur certaines techniques indiquent : (1) une technique déjà publiée, (2) une technique novatrice réalisée dans notre prototype, (3) une technique novatrice mais que nous n’avons pas réalisée. Le seul exemple du troisième cas est la “Métaphore de sac pour cueillir des objets”. Il s’agit d’une idée pour aider à sélectionner des ensembles de nœuds : la MND pourrait tenir un “sac” virtuel, et la MD pourrait saisir des nœuds et les mettre dans le sac pour définir un ensemble de nœuds sélectionnés. Cette idée de technique n’a pas été réalisée, mais pourrait être utile si l’utilisateur voulait gérer plusieurs groupes de nœuds (“sacs”) sélectionnables.
Si la technique d’interaction bimanuelle est symétrique, évidemment, les deux mains jouent le même rôle, et la technique se trouve sur la diagonale de la taxonomie. Si la technique est asymétrique, elle peut se trouver soit hors de la diagonale (si les deux mains jouent des rôles différents) ou bien sur la diagonale (si les deux mains jouent le même rôle, mais de manière différente, comme dans le cas de la métaphore de sac : les deux mains servent à sélectionner des objets, mais de manières différentes). Remarquons aussi que, concernant les cases de la taxonomie hors diagonale, qui sont nécessairement asymétriques, il y a certaines possibilités qui contredisent le modèle de chaîne cinématique de Guiard (section 1.3.3.1), et donc peuvent être éliminées. Ces parties de la taxonomie sont grisées. Par exemple, il ne serait pas logique d’avoir une technique où la MD manipule la caméra pendant que l’autre main sélectionne des objets. Le contraire, toutefois, pourrait être logique. • Notre technique de “parcours de chemin” (section 2.3.4) se sert de la MND pour manipuler la caméra pendant que l’autre main sélectionne des objets Notre technique de “sélection du plus court chemin” (section 2.3.3) est pour sélectionner des objets Notre technique de “HotGlass” (section 2.3.2) est pour lancer des commandes, et peut aussi servir à sélectionner des objets • Notre technique de “lentille MultiVisu” (section 2.3.5) est une technique de lentille.
Dispositifs matériels pour le prototype
Certaines des nouvelles techniques d’interaction proposées dans ce chapitre pourraient s’appliquer aux interfaces multitactiles. Mais, pour le prototype réalisé, nous avons décidé d’utiliser des dispositifs d’entrée bimanuelle indirecte, pour éviter les problèmes associés à l’entrée di- recte, soient : l’occlusion de l’écran par les doigts, la manque de précision spatiale des doigts, la difficulté de distinguer l’identité des doigts, la difficulté de distinguer les états de survol et de glissement chez les doigts, et la difficulté de connaître l’orientation des bouts des doigts (voir la section 1.3.1). Notre prototype est capable de lire des entrées de deux paires différentes de dispositifs, ce qui nous a permis de tester deux configurations matérielles. Premièrement, on peut utiliser deux souris conventionnelles à trois boutons chaque. Deuxièmement, on peut aussi utiliser deux dispositifs spécialement construits par l’auteur, ayant trois boutons chaque, et capables de capter la position et l’orientation de chaque dispositif (Figure 2.2). Chacun de ces dispositifs est muni d’un capteur Patriot de Polhemus 1, localisant la position et l’orientation du dispositif en 3D par rapport à un émetteur. Les dispositifs reposent sur une surface horizontale et leur position z n’est pas utilisée par le prototype logiciel, mais l’orientation autour de l’axe des z peut servir, par exemple, à effectuer une rotation d’un objet lors d’une manipulation directe unimanuelle. À gauche, les deux manettes avec l’émetteur (boîte grise) du Polhemus Patriot, qui sert comme origine pour le système de coordonnées. À droite, la manette gauche, montrant ses trois boutons. Pour construire les dispositifs, des moules en argile et pâte à modeler ont été créées, puis elles ont été recouvertes d’une couche de vaseline, puis injectées de silicone. La couche de vaseline servait à éviter que le silicone colle avec les moules lors de la solidification, et a permis d’enlever le silicone solide. Les capteurs Patriot ont été incrustés dans les morceaux de silicone solide, pour lire les 6 degrés de liberté du dispositif (position et orientation). Les boutons de ces dispositifs sont connectés par des longs fils à deux souris USB normales, dont les boutons ont été enlevés. Donc, les événements de boutons des dispositifs sont toujours lus comme des événements de boutons de souris, que ce soit des souris normales ou les dispositifs Patriot qui sont utilisés.
Le prototype logiciel
Le prototype est écrit en Java, et les événements de deux souris (boutons et, si nécessaire, positions) sont obtenus avec la librairie JInput 2, permettant de distinguer deux souris USB connectées en même temps. Si les dispositifs Patriot (Figure 2.2) sont utilisés, il faut aussi lire les positions et les orientations des capteurs Patriot. Pour faire cela, un utilitaire C++ est utilisé, qui boucle en lisant les positions et orientations actuelles et les écrit sur le stardard output, qui est ensuite lu comme standard input par l’application Java dans un fil d’exécution en arrière-plan. Le prototype est fonctionnel sur les systèmes d’exploitation Linux et MS Windows, avec soit deux souris ou les deux dispositifs Patriot. Comme déjà mentionné, les dispositifs Patriot captent leur orientation, contrairement aux souris qui ne captent que leur position. Une autre différence entre les deux sortes de dispositifs est que les souris standards détectent des déplacements relatifs, tandis que les dispositifs Patriot captent des positions absolues. Bien qu’il serait possible de détecter quand l’utilisateur lève les dispositifs de la surface (en lisant leur position z) et de simuler un “embrayage” de souris et calculer des déplacements relatifs, nous avons décidé de plutôt utiliser les positions absolues des dispositifs Patriot pour positionner leurs curseurs, pour mieux comprendre les avantages et les inconvénients du positionnement relatif (souris) versus absolu (Patriot). Toutefois, avec les dispositifs Patriot, il fallait rajouter un décalage (offset) fixe dans le sens horizontal entre les systèmes de coordonnées des deux mains, pour éviter que les mains entrent en collision physique lorsque leurs curseurs deviennent très près l’un de l’autre. Avec ce décalage, quand les deux curseurs coïncident en position, les mains sont encore séparées de quelques centimètres.
Fonctionnalités de base
Cette section présente plusieurs fonctionnalités de base du logiciel : la manipulation directe, manipulation de caméra, sélection de nœuds, définition de sous-ensembles, simulation de forces de ressort. Que les souris ou les dispositifs Patriot soient utilisés, chaque main possédera 3 boutons, que nous numérotons 1, 2, 3 de l’intérieur vers l’extérieur. Les trois boutons de la MD s’appellent (bouton interne, milieu, et externe, respectivement), et pareillement pour Étant donné que la manipulation de la caméra et la manipulation directe du réseau (c.-à-d. saisir et déplacer des nœuds) sont des opérations fréquemment réalisées, il y a des boutons réservés juste pour ces opérations : Quand MD.3 est appuyé, l’utilisateur peut faire une translation et zoom bimanuel de caméra. En utilisant MD.2 et MND.2 (boutons du milieu), l’utilisateur peut saisir des nœuds individuellement ou bien des ensembles de nœuds (Figure 2.3) et les déplacer. Chaque main peut saisir un nœud ou un ensemble, et le déplacer indépendamment de l’autre main. Si l’utilisateur clique là où il y a un chevauchement entre plusieurs ensembles, l’ensemble avec le périmètre le plus petit sera saisit, comme s’il était par dessus les autres. Si les dispositifs Patriot sont utilisés, une seule main peut aussi tourner l’ensemble saisit (tout comme dans le système de Kurtenbach et al. (1997)). Une innovation mineure que nous avons réalisée est que, quand l’utilisateur tourne les dispositifs, on multiplie l’angle du dispositif d’un facteur de quatre avant d’appliquer la rotation à l’ensemble. Ceci permet à l’utilisateur de tourner complètement (360◦) l’ensemble de nœuds en appliquant juste une rotation confortable de la main de 90◦. Les deux mains peuvent également saisir un ensemble commun (Figure 2.3, en bas) et effectuer simultanément la translation, la rotation, et le changement d’échelle de cet ensemble.
|
Table des matières
INTRODUCTION
CHAPITRE 1 REVUE DE LITTÉRATURE
1.1 Les dispositifs de pointage
1.1.1 La souris
1.2 Les widgets contextuels (popup widgets)
1.2.1 Sélection de commandes et d’objets
1.2.2 Les menus contextuels linéaires
1.2.3 Les menus circulaires
1.2.4 Les Marking Menus
1.3 La manipulation bimanuelle
1.3.1 Choix matériels pour la manipulation bimanuelle
1.3.2 Manipulation bimanuelle symétrique
1.3.2.1 Manipulation directe bimanuelle
1.3.2.2 symSpline
1.3.3 Manipulation bimanuelle asymétrique
1.3.3.1 Le modèle de chaîne cinématique de Guiard
1.3.3.2 Manipulation 3D asymétrique
1.3.3.3 Le ToolGlass
1.3.3.4 Le HotBox
1.4 La visualisation des graphes
1.4.1 Interagir avec des visualisations de graphes
1.4.2 Représentation nœuds-liens
1.4.3 Représentation matricielle
1.4.4 Représentation en nuages de points
1.5 Résumé
1.6 Objectifs
CHAPITRE 2 NOUVELLES TECHNIQUES D’INTERACTION BIMANUELLE
2.1 Taxonomie d’interactions bimanuelles pour les visualisations
2.2 Dispositifs matériels pour le prototype
2.3 Le prototype logicie
2.3.1 Fonctionnalités de base
2.3.2 Le HotGlass
2.3.3 La sélection du plus court chemin et ses voisins
2.3.4 Technique bimanuelle de parcours de chemin
2.3.5 La lentille MultiVisu
CHAPITRE 3 PREMIÈRES RÉACTIONS D’UTILISATEURS
3.1 Manipulations bimanuelles symétriques versus asymétriques
3.2 HotGlass : tâches MC versus tâches MCMO
3.3 Réactions générales face aux dispositifs bimanuels
3.4 Sélection bimanuelle du plus court chemin
CONCLUSION
BIBLIOGRAPHIE
Télécharger le rapport complet
