Soutenance mémoire
Télécharger le fichier pdf d’un mémoire de fin d’études
La tête : centrale de la communication
Le visage joue un r^ole important dans la communication entre ^etres humains :
| la bouche et la m^achoire pour la parole
| les deformations du visage des plus larges aux plus nes pour la communication non verbale.
La peau, les muscles, les os ainsi que les organes tels que les yeux, la langue, les oreilles, sont les structures majeures pour rendre les deux formes de communications possibles.
La peau est le plus grand organe du corps humain. Elle est la premiere barriere de protection de l’organisme des animaux vertebres. De nombreuses terminaisons nerveuses lui conferent egalement un r^ole principal dans la perception du toucher.
LA TETE : CENTRALE DE LA COMMUNICATION
Les os de la t^ete sont regroupes en deux parties : le cr^ane et le visage. Le cr^ane est forme de huit os qui forment la bo^te cr^anienne. Le visage est b^ati sur quatorze os repartis en deux massifs osseux, la m^achoire superieure et la m^achoire inferieure. La m^achoire inferieure permet l’articulation du visage et elle est utilisee pour la mastication et pour la parole. Les os de la t^ete lui donnent sa forme generale et o re une stabilite a l’ensemble des muscles et organes qui la constituent.
Les muscles sont presents en grande quantite sur le visage et ils sont les acteurs prin-cipaux des expressions faciales. La gure 1.1 illustre la complexit du systeme musculaire faciale.
Quelques organes jouent aussi un r^ole important dans la communication, comme les yeux, pour la perception d’informations visuelles ou pour la di usion d’emotions, la langue pour la communication orale et la perception du go^ut, le nez ou les oreilles pour les perceptions des odeurs ou des sons ; ou encore le cou qui sert de support a la t^ete et qui intervient egalement dans ses mouvements et sa posture.
D’une maniere generale, la t^ete ou plus particulierement le visage, est la zone centrale de la communication puisque les cinq sens y sont percus (exclusivement pour le go^ut, l’odorat, l’ou e et la vue), et est fortement m^elee dans la di usion de la parole et des emotions.[2]
Cette complexit de la t^ete explique en partie pourquoi il est di cile de modeliser et d’animer un visage virtuel de facon realiste et de reconnaitre automatiquement les expressions du visage.
Notions sur les emotions
Definition de l’emotion
En etant des etats motivationnels, les emotions sont caracterisees par des impul-sions, des desirs, des aversions. Sous les e ets des emotions, un individu arrive jusqu’a changer sa relation avec un etat de soi, un objet, un etat de l’environnement ou plut^ot garder une relation qui existe toujours en presence d’obstacles et d’interferences [13]. Selon Scherer, les emotions sont les interfaces de l’organisme avec le monde exterieur .
La peur, la tendance a s’eloigner ou a se proteger, la colere par la contrariet et la hostilite, la honte et la culpabilite par la soumission, et les emotions de joie et de tristesse par des tendances plus di uses d’augmentation et de diminution de l’activation generale [14] sont les sources d’in uence sur les emotions denommees emotions de base .
Modele theorique de l’emotion
On decompose le processus emotionnel en trois principaux aspects [15] :
| cognitif
| physiologique
| expressif.
L’aspect cognitif est l’evaluation de la signi cation des stimuli de l’organisme. L’aspect physiologique est la preparation aux niveaux physiologique et psychologique de l’action de l’individu.
L’aspect expressif est la communication de l’individu a son environnement social : ses etats et ses intentions.
Ces trois aspects sont consideres comme les principales composantes du phenomene emotionnel [16].
Theorie physiologique
Le psychologue americain William James (1884) et le physiologiste danois Carl Lange (1885) ont invent une theorie dite Theorie physiologique . Cette theorie con rme le r^ole essentiel des reactions emotionnelles dans le declenchement de l’experience emotionnelle.
Une autre theorie, due a Walter Cannon (1927) et developpee par Phillip Bard (1934), avance plut^ot que les reactions emotionnelles resultent du vecu psychologique et de l’activation de mecanismes sous corticaux.
La gure 1.2 montre une comparaison schematique des theories de James-Lang et Cannon-Bard des processus emotionnels. D’une part, en suivant le sens inverse des aiguilles d’une montre, la theorie de James-Lang indique que l’individu percoit la presence de l’animal e rayant et reagit par la suite ; cette reponse a la perception de l’animal declenche un comportement faisant ressentir la frayeur, d’autre part, selon la theorie de Cannon-Bard (sens des aiguilles d’une montre), la frayeur resulte d’abord de la perception du stimulus puis seulement apres qu’il y a une reaction comportementale.
Theorie Neo-Darwinienne
Les travaux de Darwin ont abouti a une theorie dite Theorie Neo-Darwinienne ; essentiellement elle consiste a etudier les emotions qui donnent la priorite aux expressions faciales.
Charles Darwin, en 1872, s’interessait aux phenomenes emotionnels en publiant, dans le prolongement de son analyse evolutionniste de l’univers vivant, un ouvrage inti-tule : l’expression des emotions chez l’homme et l’animal. Trois principes de base ont et degages par Darwin a n d’expliquer sa theorie :
| Les expressions emotionnelles sont a l’origine des actes qui sont en rapport a l’en-vironnement ;
| Les etats emotionnels sont souvent caracterises par des manifestations motrices antagonistes ;
| Les emotions proviennent de l’action directe sur le cerveau : l’e et de debordement et de derivation de la force nerveuse engendree par une stimulation.
Avec la theorie neo-darwinienne, on travaille generalement sur la determination des emotions de base en etudiant les expressions faciales emotionnelles. Les diverses conceptions theoriques mettent l’accent sur la relation entre la con guration d’une ex-pression faciale et d’une emotion speci que. Les expressions faciales permettent aussi de communiquer a autrui son etat emotionnel interne [17].
Types d’emotion
Un individu subit diverses emotions les unes a la suite des autres dans une journee. On peut classer les emotions en trois types : les emotions primaires dites aussi de base, les emotions secondaires et les emotions sociales.
Emotions primaires
Les emotions primaires sont declenchees par des evenements particuliers ou bien elles se manifestent dans des circonstances precises en provoquant des comportements speci ques (tableau 1.1). Les emotions primaires sont comme une matiere premiere, a partir de laquelle on peut fabriquer toutes les autres emotions [18].
Emotions secondaires
Les emotions secondaires ont pour base, au depart, un processus de pensee et sont l’aboutissement de l’apprentissage des emotions primaires. Les emotions secondaires sont celles qui sont engendrees a l’evocation de souvenirs et arrivent a maturation a l’^age adulte [19].
Emotions sociales
On parle aussi des emotions sociales qui sont inherentes a la relation aux autres comme la culpabilite, la honte, la jalousie, la timidite, l’humiliation, etc. Toutes ces emotions sont apprises et sont constituees a partir des emotions primaires. L’education et la culture sont fortement impliquees dans l’acquisition des emotions sociales [18].
Emotions de bases
Les emotions que l’on rencontre frequemment dans le quotidien sont les emotions de base. Le tableau ci-dessous represente les di erentes emotions de bases et leurs auteurs respectifs :
Table 1.1 { Tableaux des emotions basiques selon les auteurs, ceux de Ekman et al sont les emotions declarees emotions universelles [2]
Le tableau 1.2 represente les 6 emotions universelles ( gure 1.3) associees avec leurs declencheurs et leurs circonstances d’apparition et le comportement qui resulte de ces emotions.
Composantes comportementales d’une emotion
L’emotion peut ^etre caracterisee par un ensemble de traits comportementaux comme l’intonation de la voix, les pleurs, le sourire ou les mimiques faciales. L’activite principale de l’expression emotionnelle est la production d’un langage discernable par les autres individus.
Les deux principales composantes comportementales de l’emotion sont : la proso-die [24] et les expressions faciales.
La prosodie
Les systemes de reconnaissance automatique de la parole donnent a la machine les capacites de transformer le signal sonore en une suite de mots. Le domaine du traitement automatique du langage permet d’acceder au sens de cette suite de mots. Partant de ces outils (relativement e caces), on se focalise ensuite dans le contexte de prononciation de la phrase. C’est a ce niveau qu’intervient la dimension emotionnelle. Si on ne prend pas en compte l’intonation de la phrase, il est di cile de faire la di erence entre une question et une a rmation. De la m^eme facon, selon l’emotion, l’attitude, mais aussi selon la personnalit du locuteur, une m^eme phrase peut avoir un sens di erent.
Depuis quelques annees, les etudes sur la parole emotionnelle vont au-dela de l’analyse des manifestations vocales des di erents etats emotionnels mais s’etend main-tenant a des classi cations automatiques selon les emotions. Cette evolution est nee de la prise de conscience des applications industrielles potentielles du domaine des sciences a ectives avec l’apparition d’un nouveau champ de recherche, le domaine de l’ a ective computing [25].
La parole emotionnelle montre que la prosodie est le vecteur privilegi des emotions dans la parole [24]. Elle est le siege de l’expression directe des emotions, du codage des attitudes et des strategies expressives.
Les expressions faciales
Les visages renferment des informations riches qui constituent deux classes, d’une part les indices de l’identit individuelle et d’autre part les expressions de communication (verbale et non verbale), d’intentions et d’emotions entre individus, via, en particulier, la direction du regard et les expressions faciales.
Par nature l’^etre humain reconnait les emotions associees aux expressions fa-ciales, ce qui lui permet de communiquer rapidement avec d’autres personnes m^eme en absence d’un langage. Ekman et al. [26] ont montre que chaque societ possede des regles speci ques qui decrivent l’expression en fonction des circonstances. Ainsi, on peut generer des mimiques d’emotions sans pour autant les ressentir.
Parmi les methodes qui permettent de mesurer l’expression faciale, il y a la tech-nique de l’electromyographie qui consiste a mesurer directement l’activite electrique des muscles faciaux par electrodes appliquees sur une surface cutanee. Cette technique donne acces aux modi cations latentes de l’activite faciale non visible pour l’observateur. Ces modi cations se manifestent en correspondance avec l’imagerie mentale emotionnelle. La methode de FACS (Facial Action Coding System) [27], egalement utilisee, permet le codage de toutes les unites d’actions visibles sur un visage photographie ou lme, par exemple : baisser les paupieres, bouger les levres, etc. Cependant, l’expression des emotions debute par les mouvements des muscles faciaux qui se produisent quelques milliemes de seconde a peine apres l’evenement declenchant [27].
Conclusion
Aujourd’hui, il est possible de detecter et de mesurer les di erentes manifestations qui determinent la nature de l’emotion. Cette detection n’est pas encore a 100 % exacte du fait de la complexit des signaux et de la variabilite entre les individus, il n’existe aucun modele complet qui determine les emotions. Cependant, plusieurs etudes sont entreprises a n d’ameliorer l’exactitude des resultats. Nous allons maintenant survoler dans la partie suivante les travaux sur la reconnaissance des emotions a partir des expressions faciales.
Les expressions faciales
Introduction
L’expression faciale est un aspect important du comportement et de la commu-nication non verbale [28] ou le changement dans le visage, perceptible visuellement, d^u a l’activation (volontaire ou non) de l’un ou de plusieurs des 44 muscles composant le visage (250000 expressions possibles). Au dix-neuvieme siecle Darwin et Duchenne de Boulogne depuis, les travaux de Sylvan Tomkins dans les annees 1960 ont joue un r^ole majeur dans l’etude des expressions faciales et des emotions. Les eleves de Sylvan : Paul Ekman et Caroll Izard ont defendu l’idee d’un nombre limite d’emotions de base auxquelles sont associees des expressions faciales automatiques, universelles et innees.
Durant la seconde moitie du dix-huitieme siecle, le neurologiste Duchenne de Boulogne realise une serie d’experiences sur l’expression faciale de l’emotion. Il utilise la photographie et la stimulation electrique des muscles de la face pour mettre en evidence les mouvements associes a l’expression des emotions. Il remarque ainsi que les sourires exprimant une joie sincere se di erencient des sourires volontaires par la contraction d’or-bicularis oculi, un muscle situe autour des yeux ( gure 1.4).
En 1980 Paul Ekman et son equipe ont permis de con rmer et de completer ces resultats [29]. Ekman a mis en evidence le fait que nous sommes pour la plupart incapables de contracter volontairement l’orbicularis oculi et que ceux qui le peuvent n’arrivent generalement pas a contracter ce muscle de chaque c^ote au m^eme moment.
Par la suite, nous allons presenter le systeme de codage des expressions faciales ainsi que les methodes existantes pour l’analyse des expressions faciales dont l’objectif est de reconna^tre les emotions associees.
Systeme de codage
Cette partie de l’etat de l’art est consacree aux di erents systemes de codage d’expressions. Ici nous presentons les methodes permettant de decrire une expression ou une animation faciale. Certaines sont issues de travaux dans le domaine de la psychologie [27] et d’autres dans le domaine de l’informatique graphique par exemple la partie dediee a l’animation faciale de la norme MPEG-4 [30], ou les systemes MPA ou AMA [31].
Les di erents comportements facials et les mouvements peuvent ^etre parametres en fonction des actions musculaires. Cet ensemble de parametres peut ensuite ^etre utilise pour representer les di erentes expressions faciales. Jusqu’a ce jour, il y a eu deux tenta-tives importantes et reussies dans la creation de ces jeux de parametres : le Facial Action Coding System (FACS) developp par Ekman et Friesen en 1977 [27] et les parametres d’animation faciale (FAP) qui font partie de la norme MPEG-4 Synthetic/Natural Hybrid Coding (SNHC) standard, 1998 [32].
Facial Action Coding System (FACS)
Le FACS est une approche fondee sur les muscles. C’est un systeme developp par les psychologues P. Ekman et W. Friesen en 1978 [27] puis revis en 2002. Il consiste a identi er les di erents muscles du visage qui, individuellement ou en groupes, provoquent des changements dans les comportements du visage.
Les muscles qui ont cause les changements du visage et ses sous-adjacents (un ou plusieurs) sont appeles Unites d’action (Action Units, AU).
Le FACS est constituee de 46 unites d’action. En voici quelques exemples :
| AU 1 est l’action de relever le front interieur. Elle est causee par les muscles Fron-talis et muscle Pars Medialis
| AU 2 est l’action de relever le front exterieur. Elle est causee par les muscles Frontalis et Pars ateralis,
| AU 26 est l’action de decrocher la m^achoire. Elle est causee par les muscles Maset-ter, temporelles et pterygo des internes, et ainsi de suite. Cependant tous les AU ne sont pas tous causes par des muscles faciaux par exemple : l’AU 19 est l’action de Faire sortir la langue et l’AU 33 est l’action de Gon er les joues .
Chaque AU peut ^etre additif ou non additif. Un AU est dit additif si l’apparence de chaque AU est independante et dite non additif s’il modi e les apparences des autres. Les AUs additifs et non additifs et certaines combinaisons des AUS qui se produisent couramment sont presentes dans le tableau 1.3 et tableau 1.4.
|
Table des matières
Introduction Générale
I Etat de l’art
1 Etat de l’art sur la reconnaissance automatique d’expression faciales
1.1 Introduction
1.2 La t^ete : centrale de la communication
1.3 Notions sur les emotions
1.3.1 Denition de l’emotion
1.3.2 Modele theorique de l’emotion
1.3.2.1 Theorie physiologique
1.3.2.2 Theorie Neo-Darwinienne
1.3.3 Types d’emotion
1.3.3.1 Emotions primaires
1.3.3.2 Emotions secondaires
1.3.3.3 Emotions sociales
1.3.3.4 Emotions de bases
1.3.4 Composantes comportementales d’une emotion
1.3.4.1 La prosodie
1.3.4.2 Les expressions faciales
1.3.5 Conclusion
1.4 Les expressions faciales
1.4.1 Introduction
1.4.2 Systeme de codage
1.4.2.1 Facial Action Coding System (FACS)
1.4.2.2 Les FAPs et le Standard MPEG-4
1.4.3 Le systeme d’analyse des expressions faciales
1.4.3.1 Les techniques de detection et de suivis de visages
1.4.3.2 Extraction des caracteristiques faciales
1.4.3.2.1 Approche geometriques
1.4.3.2.2 Approche par apparence
1.4.3.2.3 Synthese sur l’extraction des caracteristiques
1.4.3.3 Classication des expressions
1.4.3.4 Base de donnees
1.4.3.5 Synthese sur la reconnaissance automatique d’expressions faciales
1.4.3.6 Caracteristiques d’un bon systeme de reconnaissance automatique de l’expression du visage
1.5 Conclusion
II Description des approches proposées
2 Description des approches proposées
2.1 Introduction
2.2 Extractions des caracteristiques faciales
2.2.1 Detection du visage par la methode de Viola et Jones
2.2.1.1 Les caracteristiques pseudo-Harr
2.2.1.2 Image Integrale
2.2.1.3 Algorithme AdaBoost
2.2.1.4 Cascades de classieurs
2.2.1.5 Resume et resultats de la methode de Viola Jones
2.2.2 La localisation des regions d’inter^ets
2.2.3 La localisation des points caracteristiques faciaux
2.2.3.1 Placement des points d’inter^et dans la region de la bouche
2.2.3.2 Placement des points d’inter^ets dans les regions des yeux
2.2.4 Le suivi des points caracteristiques avec le flux optique par l’algorithme pyramidal de Lucas-Kanade
2.3 Détection des expressions faciales
2.3.1 Codage des expressions faciales
2.3.2 Perceptrons Multicouches
2.3.3 Classication avec la methode des perceptrons multicouches
2.4 Conclusion
III Résultat et implémentation
3 Implémentation et résultat
3.1 Introduction
3.2 Langage, librairie et materiels utilises
3.3 Presentation de l’interface du systeme
3.4 Conclusion
Bibliographie
Annexe
Télécharger le rapport complet
