Perception et interface haptique pour les nanosciences

Influence du couplage sur la perception haptique des phénomènes micro et nanophysiques

   Le couplage le plus courant entre la mesure effectuée par l’outil dans le micro-monde (sonde afm, piège optique, etc.) et la force renvoyée à l’utilisateur est un couplage à coefficients homothétiques constants.  Les plates-formes de téléopération aux échelles micro et nanoscopique fonction des spécifications de l’interface haptique utilisée et des phénomènes que l’on souhaite rendre perceptibles. Concernant le bras haptique, on cherche à ne pas dépasser sa force maximale en continu. Par exemple, pour un Phantom Omni, un coefficient en effort limitant les efforts rendus à 5 N est choisi. Cependant, le frottement dans l’interface haptique limite le rendu des petits efforts. Il faut donc trouver un compromis. Par exemple, le saut de contact peut s’avérer difficile à percevoir sans augmenter fortement le coefficient en effort, ce qui empêche en contre-partie de retirer la sonde sans saturer en effort l’interface haptique à cause des forces d’adhésion. Quant au coefficient en déplacement, il fait également l’objet d’un compromis entre le confort de manipulation et la précision. D’un côté, il est préférable d’avoir un coefficient assez petit pour minimiser le nombre de recalages du bras haptique, du fait de son espace de travail limité. Et de l’autre, un coefficient trop petit empêche de positionner précisément la poutre et diminue la stabilité du système. Il existe de nombreuses études du couplage bilatéral à ces échelles, études qui seront décrites au travers des plates-formes dans la partie suivante.

Les travaux en manipulation directe

   L’utilisation de l’haptique pour des tâches de micro et nanomanipulation a commencée en 1990, au IBM Thomas J. Watson Research Center avec les travaux de Hollis et coll. [1990]. Ces travaux traitent du développement d’une interface haptique, le Magic Wrist. Elle utilise le principe de la lévitation magnétique et possède 6 degrés de liberté. Ce bras maître, couplé à un microscope à effet tunnel (stm), permet de déplacer la pointe de la poutre dans le plan du substrat (X-Y). Le mouvement de l’interface selon l’axe Z (axe perpendiculaire au substrat) est déterminé par la hauteur de la poutre, qui suit le relief de l’échantillon. Ainsi, les utilisateurs de cette interface ont ressenti le relief de films pulvérisés d’or ou de substrats de graphite. Les limitations majeures de ce système sont le bruit et l’hystérésis qui dégradent la fidélité du ressenti. À la suite de ces travaux, d’autres équipes ont développé leur système de micromanipulation directe. En particulier au Japon, l’équipe dirigée par H. Hashimoto a développé un système comportant un manipulateur à structure parallèle ayant une précision de 50 µm et une interface haptique à structure série (voir figure 1.4 page suivante). Les travaux publiés traitent spécifiquement de la commande des robots maître et esclave. L’interface haptique possède 6 degrés de liberté et est connectée à la partie esclave par liaison Ethernet [Ando et coll. 2000]. Le couplage est composé d’une commande en position côté esclave (correcteur pid) et d’une commande en force côté maître (correcteur pd). La méthode utilisée pour obtenir les valeurs de ces coefficients n’est pas donnée.

Apport de l’haptique d’un point de vue pédagogique

   Une expérience haptique implique un toucher actif : l’individu choisit délibérément ses actions dans l’exploration d’un objet, lesquelles retournent l’information sur les propriétés de l’objet. Au contraire, lors d’un toucher passif, l’information est imposée à la peau, sans la nécessité que l’individu bouge. La distinction entre toucher actif et passif devient importante dans un contexte pédagogique car impliquer l’apprenant dans le choix conscient d’investiguer les propriétés d’un objet est très motivant et augmente l’attention pour apprendre [Sathian 1998]. Les études existantes sur l’utilisation de l’haptique dans l’éducation soulignent souvent cette influence affective. En revanche, il est plus difficile de déterminer si l’haptique améliore vraiment la compréhension des apprenants. Un état de l’art assez récent [Minogue et Jones 2006] a exploré en profondeur les études antérieures à 2005 sur l’efficacité de l’ajout de l’haptique pour l’enseignement, celui des concepts comme celui des savoir-faire. Parmi ces études, on note celle de Brooks, Jr. et coll. [1990] sur le retour d’effort pour l’aide au docking protéine-ligand en chimie biomoléculaire, celle de Reiner [1999] sur le retour tactile pour la conceptualisation des champs de force, ainsi que celle de Okamura et coll. [2002] sur le retour d’effort pour l’enseignement de la dynamique des systèmes. L’idée défendue dans ces études est que l’ajout de l’haptique peut améliorer le processus d’apprentissage, en utilisant d’une nouvelle manière les savoirs tactile, kinesthésique, expérientiel et incorporé. Minogue montre que ces études ont tendance à affirmer facilement cette idée mais peinent à la prouver, du fait du peu de preuves empiriques en faveur d’un impact cognitif de l’haptique. La littérature fournit d’autres études où les auteurs sont enthousiastes sur l’apport pédagogique de l’haptique dans leur système. Mais souvent, aucune évaluation n’est publiée par la suite. C’est le cas des travaux de Harvey et Gingold [2000] sur une représentation haptique de la densité électronique d’un atome, de Sankaranarayanan et coll. [2003] sur l’aide au docking et de Sauer et coll. [2004] sur l’assemblage de molécules en chimie. Toutefois, on note les résultats positifs obtenus par Bara et coll. [2004] sur l’utilisation du détourage des lettres par le toucher pour améliorer les capacités de lecture chez les jeunes enfants. Parmi les études citées par Minogue, celle de l’équipe d’Okamura , portait sur la réalisation et l’utilisation d’un joystick à retour d’effort simple et peu coûteux, à 1 degré de liberté (voir figure 1.11 page ci-contre) pour l’enseignement de la dynamique des systèmes. Une évaluation réalisée récemment sur une centaine d’étudiants a montré que le passage par cette séance de TP haptique entraînait une amélioration significative des connaissances, de 10 % en moyenne [Grow et coll. 2007]. Ce résultat serait pertinent s’il y avait un groupe contrôle, c’est-à-dire s’il était comparé au gain obtenu avec une séance de TP sur un système non haptique. Selon Minogue et Jones [2006], la question reste largement ouverte quant à savoir si l’ajout du sens du toucher dans l’enseignement peut exploiter les connaissances expérientielles, incorporées et tactiles que les étudiants ne pourraient solliciter sinon. Par ailleurs, on ne sait pas si la technologie haptique est plus adaptée à l’accroissement des connaissances ou à la découverte de nouveaux savoirs. Minogue évoque différents obstacles à l’adoption et la diffusion de l’haptique dans l’éducation. Des barrières perceptuelles : les étudiants, instinctivement, s’appuient plus fortement sur l’information visuelle qu’ils reçoivent et donc ne remarquent pas forcément l’information perceptuelle supplémentaire. Des contraintes technologiques : la diminution en nombre et en taille des surfaces de contact entre l’utilisateur et l’objet virtuel , ainsi que les approximations inhérentes aux modèles numériques de contact, dégradent la qualité de la perception. Enfin, il faut noter des limitations méthodologiques. Les études citées ne parviennent pas à prendre en compte l’ensemble des variables liées aux classes d’élèves. Dans le contexte plus particulier de l’enseignement des nanotechnologies, quelques études récentes se sont intéressées à l’impact de la réalité virtuelle et du retour haptique, par exemple, sur le docking protéine-ligand en chimie biomoléculaire, sur la morphologie des virus en biologie, ou encore sur le phénomène approche-retrait en microscopie. Elles sont résumées dans le tableau 1.2 page suivante et décrites ci-dessous. En chimie biomoléculaire, Persson et coll. [2007] ont évalué un simulateur de docking avec réalité virtuelle et retour d’effort (voir figure 1.12 page 19), dans lequel les étudiants pouvaient manipuler un ligand et ressentir ses interactions avec une protéine lors du processus de docking . Le but de leur étude est de déterminer les avantages, s’il y en a, d’un retour d’effort dans un contexte pédagogique en chimie moléculaire. L’étude, réalisée sur 23 étudiants en licence ou master bio-ingénierie, n’a pas isolé d’avantage significatif du retour haptique sur l’apprentissage des étudiants. Toutefois, les descriptions du processus de docking données par ceux ayant utilisé le retour d’effort comportaient davantage de raisonnements liés aux forces d’interaction. En biologie, l’équipe du professeur Jones  a réalisé plusieurs études sur l’impact du retour haptique sur l’apprentissage de concepts biologiques au collège et au lycée. Dans. Dans la plupart des études, l’interface haptique n’offre qu’une sonde ponctuelle pour explorer l’environnement virtuel. L’étude, réalisée sur 43 lycéens, a montré que l’utilisation de retour haptique apportait une plus grande motivation des étudiants à apprendre, mais pas de différence significative sur la compréhension. Afin d’approfondir l’investigation sur l’influence du retour haptique, une deuxième étude [Jones et coll. 2006] fut réalisée, portant cette fois sur l’influence du nombre de degrés de liberté fournis par l’interface haptique. 36 lycéens ont utilisé le nanoManipulator avec soit un bras Phantom Desktop 6d , soit un joystick 2d. L’étude a montré quelques différences sur les descriptions des virus selon l’interface haptique utilisée : la sensibilité du retour haptique était corrélée au nombre de termes haptiques et d’analogies spontanées utilisés par les étudiants. Dans une troisième étude, Minogue et coll. [2006] ont évalué l’ajout de retour haptique (avec un Phantom Desktop) à un environnement virtuel dédié à l’enseignement de la structure cellulaire, au collège. L’étude, réalisée sur 80 collégiens, a montré une nouvelle fois des avantages affectifs de l’haptique : un intérêt plus grand et une meilleure navigation dans un environnement virtuel 3d. En revanche, les résultats n’ont pas donné d’impact cognitif de l’haptique. Les auteurs avancent diverses causes possibles : questionnaire papier non adapté, mémoire de travail saturée par la charge cognitive (due à la complexité des concepts cellulaires), durée assez courte (30 min), prédominance de la perception visuelle sur celle haptique, ou encore l’exploration par une sonde ponctuelle. En microscopie à champ proche, Marlière et coll. [2004] ont développé un simulateur temps-réel et multimodal (retours visuel, sonore et haptique), axé sur la reproduction fidèle de modèles physiques. Leur simulateur est utilisé pour un tp en classe de master après un cours sur l’afm. Le phénomène simulé est le cycle d’approche-retrait d’une pointe afm, en se plaçant à l’échelle atomique, c’est-à-dire en considérant les interactions entre l’extrémité de la pointe et la couche atomique superficielle du substrat. Plusieurs types d’interaction peuvent être simulés, comme les forces de Van der Waals , une force électrostatique, ou une force de capillarité. Une évaluation de l’apport pédagogique de ce simulateur [Marchi et coll. 2005] a été conduite sur 30 binômes d’étudiants répartis en deux groupes, le premier sur un afm classique, l’autre sur le simulateur. Le groupe 1 analysait les courbes force-distance enregistrées tandis que le groupe 2 devaient décrire le comportement de la pointe en dessinant la courbe force-distance associée. Afin de comparer la compréhension des étudiants de chaque groupe, les auteurs ont analysé de façon qualitative les réponses écrites aux questions « Qu’est-ce que le collage et le décollement dans le phénomène ar ? » et « Quelle est l’origine de l’hystérésis ? ». Les auteurs ont observé des descriptions plus complètes du phénomène ar dans le groupe 2, en particulier sur le rôle de la raideur de la poutre et le lien entre l’hystérésis et le potentiel de Lennard-Jones. Selon les auteurs, cette amélioration vient probablement de la possibilité dans les simulations en réalité virtuelle de modifier différents paramètres du phénomène observé, d’une valeur extrême à son opposé, ce qui facilite l’observation de leur influence. Cette explication concorde avec la conclusion d’une étude de Finkelstein et coll. [2005], qui a montré que les simulations bien conçues étaient des outils efficaces pour améliorer l’apprentissage des étudiants dans certains contextes appropriés. Néanmoins, le protocole expérimental de cette évaluation ne permet pas d’analyser l’apport du retour haptique pour la compréhension.

Architecture de la simulation interactive

   L’utilisateur interagit avec la simulation par l’intermédiaire d’une interface hommemachine. Celles développées dans nos travaux ont deux modalités, visuelle et haptique. L’interaction haptique étant bilatérale (en boucle fermée avec l’utilisateur), l’ajout d’un retour haptique apporte certaines contraintes, entre autres, des délais de communication les plus courts possibles. L’interface haptique nécessite un taux de rafraichissement élevé pour être à la fois stable et transparente, typiquement de l’ordre du kilohertz. Plus précisément, c’est le retard pur dans la boucle d’asservissement qu’il est important de minimiser. Si la simulation physique n’est pas assez rapide ou s’il existe des retards de communication importants, des couplages plus complexes doivent être envisagés pour assurer la stabilité de l’interface haptique. Dans tous les cas, ce choix diminue la transparence du rendu haptique. Le couplage entre la simulation physique et l’interface haptique est en mode impédance : la simulation lit la position de l’interface haptique, puis calcule la force à rendre et l’envoie à l’interface haptique. Contrairement au mode de contrôle dual, le mode admittance, le mode impédance est adapté à la simulation de masse virtuelle faible et aux interfaces haptiques légères et relativement peu coûteuses. L’interface visuelle est moins contraignante. Elle est toujours stable puisqu’unilatérale (en boucle ouverte). La fréquence du rendu graphique  est généralement entre 30 et 60 Hz. Enfin, la communication entre les processus doit être adéquate, en particulier celle entre les processus rapides et les évènements lents ou non-déterministes. Le symbole représente une communication avec perte de données d’un processus rapide vers un autre plus lent : si les données n’ont pas été lues par le processus lent au moment où le processus rapide peut en fournir de nouvelles, alors les données en attente sont remplacées par les nouvelles. De façon opposée, le symbole représente une communication sans perte de données. La transmission des informations entre les interfaces visuelle et haptique se fait par l’intermédiaire de sémaphores en mémoire partagée. Un processus serveur, codé en C++, gère le couplage avec l’interface haptique ainsi que la communication avec la simulation à travers les sémaphores. Les sections suivantes décrivent l’implémentation de chaque partie de l’architecture : la simulation physique de la sonde afm et des objets microscopiques dans le cadre des stratégies de micromanipulation, puis les interfaces graphique et haptique, et enfin le couplage entre ces éléments.

Couplage haptique dédié à la perception

   Divers exemples de tâches et de stratégies de manipulation ont été présentés dans le chapitre précédent. On distingue deux types d’opérations. Certaines, comme l’indentation, sont réalisées directement sur le substrat afin d’en modifier sa géométrie. Les autres sont des manipulations d’objets, consistant à les déplacer — saisie, dépose — ou à les modifier — découpe, flexion, torsion. Quand, par exemple, la visualisation de l’échantillon n’est pas satisfaisante, voire impossible ou trompeuse, il devient nécessaire de fournir à l’opérateur une information supplémentaire d’ordre sensoriel comme une aide à la manipulation. Cette information peut l’aider également à mieux percevoir les perturbations afin de s’adapter à l’environnement. Citons les principales tâches ou manipulations à l’échelle micro/nanoscopique où un besoin d’interactivité apparaît. Il s’agit par exemple de tâches difficilement automatisables ou bien de tâches exploratoires :
– les déposes par roulement avec une poutre sans pointe (échelle microscopique) ;
– déplacement par piégeage optique ou poussée à l’aide d’un objet piégé optiquement, en milieu liquide (échelle microscopique) ;
– poussée par glissement/roulement avec une poutre avec pointe (échelle nanoscopique).
L’un des points clefs de la problématique est la versatilité de la manipulation, c’est-àdire la capacité à être interactif pour placer un objet dans une position désirée pour par exemple le caractériser physiquement. Parmi les tâches citées précédemment, certaines sont en milieu ambiant et subissent donc des forces d’adhésion au contact des surfaces. Dans un couplage à coefficients homothétiques constants, l’amplitude de la force d’adhésion rencontrée lors du retrait d’une poutre afm incite souvent l’opérateur à diminuer le coefficient en effort pour améliorer le confort de manipulation (diminuer l’effort à fournir ainsi que l’amplitude de l’échelon de force à maîtriser lors de la rupture du contact). Cette contrainte est cependant effectuée au détriment du rendu des forces de faibles amplitudes. Diverses possibilités sont envisageables pour diminuer l’effet de ce compromis. Du côté du couplage haptique, l’idée évidente est de choisir des coefficients en effort non constants. Cette modification du rendu haptique peut être vue comme un couplage supplémentaire, fournissant une assistance haptique. Il est situé en amont de la partie du couplage qui assure le changement d’échelle et la stabilité de la téléopération. Pour qu’une assistance haptique soit dédiée à une partie de l’opération, il est nécessaire d’avoir certaines données sur l’état du système, par exemple pour un cycle ar, déterminer si le système est en phase de retrait pour modifier le rendu des forces d’adhésion. Dans une tâche exploratoire, la hauteur de la surface la plus proche, c’est-à-dire la position du point O sur la figure 1.1 page 5 est inconnue a priori. Par conséquent, nous baserons les assistances sur la force mesurée plutôt que sur la hauteur de la base de la poutre. Toutefois, dans le cas particulier où la géométrie de l’environnement et le comportement mécanique des surfaces en contact seraient connus à l’avance, des assistances haptiques spécifiques pourraient être basées sur la hauteur de la poutre.

Table des matières

Introduction
1 Problématique 
1.1 Phénomènes nanophysiques et couplages haptiques 
1.1.1 Les phénomènes physiques
1.1.1.1 Les forces prédominantes
1.1.1.2 Cycle approche-retrait
1.1.2 Couplage haptique
1.1.2.1 Transparence
1.1.2.2 Stabilité
1.1.3 Influence du couplage sur la perception haptique des phénomènes micro et nanophysiques
1.2 Les plates-formes de téléopération aux échelles micro et nanoscopique 
1.2.1 Les travaux en manipulation directe
1.2.2 Les travaux en manipulation assistée
1.3 Apport de l’haptique d’un point de vue pédagogique
1.4 La télé-micromanipulation à l’ISIR 
1.4.1 La plate-forme de manipulation
1.4.2 Quelques expériences
1.5 Conclusion et plan du mémoire
2 Simulateur et assistances haptiques pour la microtéléopération 
2.1 Simulateur interactif dédié aux échelles micro/nanoscopiques 
2.1.1 Architecture de la simulation interactive
2.1.2 Simulation physique
2.1.2.1 Modélisation quasi-statique
2.1.2.2 Stratégies de micromanipulation
2.1.3 Interface graphique
2.1.4 Interface haptique
2.1.5 Couplage et assistance haptique
2.2 Assistances haptiques
2.2.1 Couplage haptique dédié à la perception
2.2.2 Rendu haptique des forces d’attraction
2.2.3 Position de repos virtuelle pour les opérations à effort constant
2.2.4 Assistance implémentée
2.3 Étude pilote sur une tâche de saisie et dépose par adhésion
2.3.1 Plate-forme expérimentale
2.3.2 Méthode d’évaluation
2.3.3 Résultats
2.3.3.1 Performances
2.3.3.2 Effet d’apprentissage
2.3.3.3 Impressions subjectives
2.3.4 Discussion
2.4 Étude pilote sur une tâche de dépose par roulement 
2.4.1 Plate-forme expérimentale
2.4.2 Méthode d’évaluation
2.4.3 Résultats
2.4.4 Discussion
2.5 Conclusion 
3 Retour haptique pour la compréhension des phénomènes nanophysiques 
3.1 Plate-forme d’évaluation des phénomènes nanophysiques
3.1.1 Description du système expérimental
3.1.1.1 Simulation physique
3.1.1.2 Rendu haptique
3.1.1.3 Rendu graphique
3.1.2 Système analogue aimant-ressort réel
3.2 Expérience
3.2.1 Méthode
3.2.2 Résultats
3.2.2.1 Identification de courbe
3.2.2.2 Temps
3.2.2.3 Analyse des dessins de courbe force-distance
3.2.2.4 Analyse approfondie sur le contenu des modèles mentaux
3.2.2.5 Préférences
3.3 Discussion générale 
3.4 Conclusion et perspectives
4 Nouvelle interface haptique haute-fidélité 
4.1 Problématique
4.2 Approches existantes 
4.3 Conception et validation du concept
4.3.1 Justification
4.3.2 Étude de faisabilité
4.3.2.1 Description du prototype
4.3.3 Commande
4.3.4 Résultats expérimentaux
4.3.4.1 Identification
4.3.4.2 Performances temporelles
4.3.4.3 Discussion
4.4 Validation complémentaire avec un second prototype 
4.4.1 Conception
4.4.1.1 Étude théorique
4.4.1.2 Analyse numérique multiphysique
4.4.2 Analyse de stabilité
4.4.2.1 Conditions de stabilité existantes
4.4.2.2 Étude des oscillations à la limite de stabilité
4.4.3 Résultats expérimentaux
4.4.3.1 Identification
4.4.3.2 Limite de stabilité
4.5 Discussion 
4.6 Conclusion et perspectives
Conclusion
Annexes

Télécharger le rapport complet