Soutenance mémoire
Télécharger le fichier pdf d’un mémoire de fin d’études
ETAT DE L’ART SUR L’EVALUATION DE L’INTERPRETATION D’IMAGES
Ensembles de points
Nous avons vu qu’un objet peut ^etre decrit par un ensemble de points d’inter^ets.
Chacun de ces points d’inter^et est ensuite caracteris gr^ace a un descripteur invariant.
La representation d’un objet est alors, dans ce cas, l’ensemble des vecteurs caracteristiques des points d’inter^et.
Sacs de mots
La representation en sac de mots [12, 5] consiste en le calcul d’un histogramme re-presentatif de l’objet (deja aborde page 12). Pour cela, on commence par calculer des mots visuels qui vont constituer un dictionnaire, egalement appel vocabulaire, lors d’une phase d’apprentissage. Ces mots visuels correspondent a des parties d’objets que l’on retrouve frequemment, et sont generalement de nis au moyen de methodes d’agglomeration (clustering).
Une fois ce dictionnaire visuel calcule, on associe alors chaque point d’inter^et d’un objet a un mot visuel. Il su t alors de compter le nombre de points d’inter^et associes a chacun des mots visuels. On obtient nalement un histogramme, appel sac de mots, qui peut ^etre utilise en tant que vecteur caracteristique de l’objet.
Graphes
En n, les graphes peuvent ^etre utilises a n de representer un objet. Un graphe consiste a relier des points de l’objet par des ar^etes. Ces points sont alors appeles les n uds, ou sommets, du graphe. Le graphe peut ^etre construit de di erentes facons : une squelettisation d’une part, ou bien en reliant des points d’inter^ets precedemment extraits d’autre part. Si l’on decide d’utiliser des points d’inter^ets, alors, la maniere dont sont relies ces points est generalement parametrable.
Le graphe obtenu est note G = (V; E), ou V designe l’ensemble des n uds du graphe, tandis que E designe l’ensemble des ar^etes. Le graphe peut egalement ^etre labelise, c’est-a-dire que chaque n ud et chaque ar^ete du graphe peut avoir un label.
On notera alors le graphe G = (V; E; ; ; Lv; Le), avec et des fonctions de label : (
: V ! Lv fonction de label sur les n uds
: E ! Le fonction de label sur les ar^etes
La fonction permet d’assigner le vecteur caracteristique du point d’inter^et au noeud associe, tandis que la fonction permet d’assigner la distance entre deux points a l’ar^ete qui les separe. L’inter^et est alors que l’on dispose d’une information spatiale concernant les points en plus de leur caracterisation : un point d’inter^et sera proche d’autres points d’inter^et s’ils sont relies par le graphe.
La matrice d’adjacence est souvent utilisee pour representer le graphe. Cette matrice M = (mi;j) est de nie ainsi : 8 > (vi) < mi;j = (vi; vj) > : 0 si i = j si i 6= j et (vi; vj) 2 E (2.11)
Metriques d’evaluation d’un resultat de localisation
Nous avons vu qu’il existe di erents types de localisation :
{ Centre de l’objet : le centre de l’objet se represente par un point, c’est-a-dire un couple de coordonnees Pc = (xc; yc),
{ Centre de l’objet : le centre de l’objet se represente par un point, c’est-a-dire un couple de coordonnees Pc = (xc; yc),
{ Bo^te englobante : les bo^tes englobantes sont generalement representees par les deux points fPmin; Pmaxg = f(xmin; ymin); (xmax; ymax)g,
{ Contour : les contours sont generalement representes par une image contenant la frontiere entre l’objet et le fond. Les pixels de ces images prennent leurs valeurs dans f0; 1g. Les 0 representent l’objet et le fond de l’image qui sont delimites par les pixels frontiere de valeur 1
{ Masque : les masques sont des images binaires de type region. Les pixels prennent egalement leurs valeurs dans f0; 1g, les pixels 0 representent le fond tandis que les pixels 1 representent l’objet.
Ces di erents types de localisation vont necessiter l’usage de metriques d’evalua-tion di erentes. Nous verrons dans cette partie les metriques existantes en fonction du type de localisation dans le cas de l’evaluation supervisee.
ETAT DE L’ART SUR L’EVALUATION DE L’INTERPRETATION D’IMAGES
Si l’evaluation d’une localisation realisee gr^ace au centre de l’objet peut se faire simplement par utilisation d’une distance dans le plan, l’evaluation d’une localisation par une bo^te englobante, un contour ou un masque, est plus compliquee. Il existe quelques metriques speci ques a l’evaluation de bo^tes englobantes issues de [2]. Concernant les metriques pour les contours et les masques, un certain nombre est issu des methodes d’evaluation de la segmentation [33]. Suivant qu’il s’agisse de segmentation en frontiere ou bien de segmentation en region, les metriques peuvent ^etre appliquees a de l’evaluation de la localisation par contour ou par masque.
Evaluation de la localisation par le centre de l’objet
Lorsqu’un objet est localise par son centre, l’evaluation peut se faire avec une p-distance dans le plan : Dp(Pl; Pvt) = p jxl xvtjp + jyl yvtjp (2.12)
ou Pl est le centre de l’objet localise de coordonnees fxl; ylg. De m^eme, le point Pvt correspond au centre de l’objet dans la verit terrain. Les cas particuliers p = 1 et p = 2 correspondent respectivement a la distance de Manhattan et a la distance euclidienne. Dans le cas particulier ou p = 1, on a alors D1(Pl; Pvt) = max(jxl xvtj; jyl yvtj).
Evaluation de la localisation par une bo^te englobante
Le projet ROBIN [2] de nit trois metriques permettant de decider si une localisa-tion est correcte au vue de la verit terrain. Ces trois metriques correspondent a trois problemes di erents : la localisation, la completude et la correction de la localisation. Les valeurs de ces metriques sont d’autant plus basses que la localisation est bonne, 0 etant un resultat optimal. Ils sont de nis ainsi :
ROBloc(BBl; BBvt) = 2 arctan(max( jxl xvtj ; jyl yvtj )) (2.13) ou BBl est la bo^te englobante du resultat de localisation, xl; yl les coordonnees du centre de la bo^te englobante, wl; hl la largeur et la hauteur de la bo^te englobante et Al son aire. Les valeurs indicees par vt representent leurs equivalents pour la verit.
METRIQUES D’EVALUATION D’UN RESULTAT DE LOCALISATION terrain.
La metrique ROBloc permet d’evaluer la distance entre le centre de la bo^te englobante localise par l’algorithme et celui de la verit terrain. La metrique vaut 0 lorsque xl = xvt et yl = yvt, c’est-a-dire lorsque le centre de la localisation et le centre de la verit terrain sont confondus. La metrique ROBcom permet d’evaluer si les surfaces couvertes par les bo^tes englobantes sont identiques puisque ROBcom vaut 0 lorsque Al = Avt. ROBcor permet quant a lui d’evaluer la forme de la bo^te englobante. En e et, la metrique vaut 0 lorsque hl = hvt , c’est-a-dire lorsque les rapports hauteur/largeur des deux bo^tes sont egaux. Ainsi, les trois metriques utilisees pour la competition Robin sont complementaires et permettent d’evaluer di erentes alterations que peut subir une bo^te englobante.
Evaluation de la localisation par un contour
Une partie des algorithmes d’evaluation de la segmentation s’interesse a la seg-mentation en frontiere. Cette segmentation donne des resultats proches des resultats obtenus avec une localisation en contour. La di erence vient du fait que la localisation travaille exclusivement avec des contours fermes, ce qui n’est pas necessairement le cas de la segmentation. Les evaluations correspondantes pourront donc ^etre transposees au cas de l’evaluation de la localisation.
Metriques statistiques
Des metriques de type statistique ont et proposees pour permettre de quanti er une divergence entre deux images en prenant en compte le nombre et la valeur des pixels dans deux images. La premiere approche en evaluation de segmentation consiste a calculer l’ecart entre le nombre de pixels des contours obtenus et le nombre de pixels des contours de la verit terrain.
Metriques d’evaluation d’un resultat d’interpretation d’images
Nous avons vu precedemment comment nous pouvons obtenir une note pour un resultat de localisation ou de reconnaissance d’un ou plusieurs objets dans une image. A partir de cela, nous pouvons donner une note ou une decision nale a n de dire si une image est bien interpretee, c’est-a-dire si les objets presents dans l’image ont bien et detectes, localises et reconnus.
Disposant de plusieurs metriques permettant de donner une note a un resultat d’interpretation d’image, c’est-a-dire a la localisation et/ou la reconnaissance d’un ou plusieurs objets dans une image, l’objectif est ici de donner une note nale ou une decision nale concernant le resultat de cette image, a n de dire si l’algorithme a renvoy un resultat correct. Une note nale peut ^etre comprise, par exemple, entre 0 et 1, tandis qu’une decision nale prendra la forme vrai/faux.
Normalisation des donnees
Avant de pouvoir obtenir un score global, il peut ^etre necessaire de normaliser les donnees. En e et, les scores provenant de di erentes metriques d’evaluations ne sont pas forcement dans le m^eme intervalle. Une metrique peut ^etre dans [0 1[ et une autre dans [0 1]. Il faut donc les normaliser a n que les donnees soient dans le m^eme intervalle et que l’on puisse les combiner sans qu’une donnee prennent plus d’importante que les autres.
La premiere methode propose dans [57] est la normalisation min max : s0=skminkmaxmin(2.69) ou sk represente la serie de donnees a normaliser (par exemple, l’ensemble de re-sultats d’evaluation de localisation). L’inconvenient de cette methode est que la normalisation des donnees depend des resultats d’evaluation.
Une autre methode est la mise a l’echelle decimale [57]. Cette methode permet de normaliser des donnees qui seraient sur des echelles logarithmiques di erentes. Par exemple, si les resultats d’evaluation de localisation s1k sont compris dans [0; 1000] et les resultats d’evaluation de reconnaissance s2k sont compris dans [0 1], on pourra appliquer la normalisation suivante : s0 = sk (2.70) avec n = log10 max(sk). Cette methode presente le m^eme inconvenient que la norma-lisation min max.
La methode la plus utilisee est le z-score. Pour cette methode, on a besoin d’avoir la moyenne ainsi que l’ecart type des donnees. L’avantage de cette methode est que l’on peut avoir une connaissance a priori de ces donnees et ainsi la normalisation ne depend pas de la serie sk. Cette normalisation est la suivante :s0 = sk k(2.71)
Cette methode est particulierement e cace dans le cas ou les donnees des series sk suivent une loi gaussienne.
Metriques d’evaluation globale d’un algorithme d’interpretation d’images
Nous avons vu jusqu’a present comment obtenir une note d’evaluation pour un resultat d’interpretation. Cependant, l’evaluation sur une image ne represente pas les performances globales de l’algorithme. A n d’evaluer ces performances, il est necessaire de faire une evaluation sur un grand ensemble d’images. L’utilisation de bases de donnees permet cette evaluation a grande echelle avec des conditions d’acquisitions di erentes. Il est possible de realiser une evaluation supervisee ou une evaluation non supervisee.
Evaluation supervisee
L’evaluation supervisee de l’interpretation requiert souvent la de nition de vrais positifs, faux positifs et faux negatifs. Ces de nitions sont les suivantes :
{ Vrai positif (VP) : un vrai positif correspond a la bonne interpretation d’une image, c’est-a-dire lorsque l’algorithme renvoie une localisation et/ou une classe en accord avec la verit terrain,
{ Faux positif (FP) : un faux positif correspond a une mauvaise interpretation de l’image, c’est-a-dire lorsque l’algorithme interprete l’objet en desaccord avec la verit terrain ou interprete un objet alors qu’il n’y en a pas dans la verit terrain,
{ Faux negatif (FN) : un faux negatif correspond a une absence d’interpretation de l’image, c’est-a-dire que l’algorithme ne renvoie pas de localisation et/ou de classe alors qu’il y a un objet.
Etant donnees ces de nitions, nous disposons de plusieurs methodes d’evaluation globale. La methode la plus courante consiste a construire une courbe ROC. Une autre methode egalement tres utilisee est la construction de la courbe de Precision/Rappel.
En n, l’utilisation des matrices de confusion ou de tests du 2 est plus rare bien qu’elle permette d’obtenir de nombreux renseignements egalement.
Courbe ROC
L’une des methodes les plus souvent employees a n d’evaluer globalement un algorithme d’interpretation est la methode ROC (Receiver Operating Characteristic) [62, 43, 63, 64]. Le but est de tracer une courbe representant le nombre de vrais positifs en fonction du nombre de faux positifs pour les di erents parametrages de l’algorithme. A n de normaliser les courbes ROC, on represente generalement le taux de vrais positifs en fonction du taux de faux positifs. Ces taux sont de nis ainsi [62] :
{ Taux de vrais positifs : TVP = Card(V P ) (2.76) Card(V P ) + Card(F N)
{ Taux de faux positifs : TFP = Card(F P ) (2.77) Card(V P ) + Card(F P )
A n de pouvoir tracer la courbe, on fait varier un parametre de l’algorithme. Pour chaque valeur de ce parametre, on releve alors le nombre de vrais positifs et de faux positifs qu’on place sur la courbe. En prenant su samment de valeurs pour ce parametre, on obtient une courbe telle que celles presentees dans la gure 2.22. A n de comparer les di erents algorithmes, on peut egalement utiliser deux mesures deduites des courbes ROC :
{ le taux d’egales erreurs (EER : Equal Error Rate) :
L’EER correspond au taux d’erreur obtenu lorsque le taux de faux negatifs est egal au taux de faux positifs. Ce taux de faux negatifs n’est pas lisible directement sur la courbe, mais est cependant accessible car egal a 1 TV P .
Plus l’EER est petit, plus l’algorithme est performant.
{ l’aire sous la courbe (AUC : Area Under Curve) :
L’AUC correspond, comme son nom l’indique, a l’aire sous la courbe ROC. L’AUC a l’avantage de mieux representer les performances globales de l’algo-rithme. Plus l’AUC est grande, plus l’algorithme est performant.
|
Table des matières
Introduction
1 Interpr´etation d’images
1.1 Introduction
1.2 Formalisation de l’interpr´etation d’images
1.2.1 La cha^ıne de traitement d’images
1.2.2 Les algorithmes non supervis´es de localisation
1.2.3 Les algorithmes de reconnaissance et de cat´egorisation
1.2.4 Les algorithmes supervis´es de localisation
1.2.5 Les algorithmes de localisation multi-classes
1.2.6 Les autres algorithmes d’interpr´etation d’images
1.3 Conclusions
2 Etat de l’art sur l’´evaluation de l’interpr´etation d’images
2.1 Introduction
2.2 Les difficult´es de l’´evaluation d’algorithmes d’interpr´etation
2.2.1 M´ethodologie
2.2.2 Base d’images
2.2.3 Repr´esentation de la localisation
2.2.4 Equivalence des repr´esentations de localisation ´
2.2.5 Repr´esentation de la reconnaissance
2.3 M´etriques d’´evaluation d’un r´esultat de localisation
2.3.1 Evaluation de la localisation par le centre de l’objet ´
2.3.2 Evaluation de la localisation par une bo^ıte englobante ´
2.3.3 Evaluation de la localisation par un contour ´
2.3.4 Evaluation de la localisation par des masques ´
2.3.5 Evaluation de la localisation de plusieurs objets dans une image
2.4 M´etriques d’´evaluation d’un r´esultat de reconnaissance
2.4.1 Distance entre ensembles de points
2.4.2 Distance entre graphes
2.5 M´etriques d’´evaluation d’un r´esultat d’interpr´etation d’images
2.5.1 Normalisation des donn´ees
2.5.2 Moyenne
2.5.3 Seuillage
2.5.4 Fusion
2.6 M´etriques d’´evaluation globale d’un algorithme d’interpr´etation d’images
2.6.1 Evaluation supervis´ee
2.6.2 Evaluation non supervis´ee
2.7 Conclusions
3 Etudes comparatives
3.1 Introduction
3.2 Evaluation des m´etriques de localisation ´
3.2.1 Protocole
3.2.2 R´esultats
3.2.3 Discussions
3.3 Evaluation du mod`ele pour la reconnaissance
3.3.1 Protocole
3.3.2 R´esultats
3.3.3 Discussions
3.4 Evaluation des descripteurs pour la reconnaissance
3.4.1 Protocole
3.4.2 R´esultats
3.4.3 Discussions
3.5 Conclusions
4 Proposition d’une m´ethode d’´evaluation d’un r´esultat d’interpr´etation d’image
4.1 Introduction
4.2 M´ethode d´evelopp´ee
4.2.1 La mise en correspondance
4.2.2 Le calcul du score local
4.2.3 La compensation
4.2.4 Le calcul de score global
4.2.5 Illustration
4.3 Validation de la m´ethode
4.3.1 Protocole exp´erimental
4.3.2 R´esultats exp´erimentaux
4.3.3 Discussions
4.4 Conclusions
Conclusions et perspectives
Publications de l’auteur
Bibliographique
Télécharger le rapport complet
