Le noyau d’un SVM

Table des matières

ABSTRACT
REMERCIEMENTS
LISTE DES TABLEAUX
LISTE DES FIGURES
LISTE DES ABRÉVIATIONS ET SIGLES
CHAPITRE 1 INTRODUCTION 
1.1 Motivation 
1.2 Propositions  
1.3 Organisation de la thèse 
CHAPITRE 2 RECONNAISSANCE DE CARACTÈRES MANUSCRITS 
2.1 Introduction 
2.2 Reconnaissance de caractères 
2.3 Extraction de caractéristiques 
2.4 Classification par discrimination  
2.4.1 Décision Bayesienne
2.4.2 Perceptron multicouche
2.4.3 Réseaux de fonctions à base radiale
2.4.4 Réseau à convolution
2.5 Conclusion 
CHAPITRE 3 MACHINES À VECTEURS DE SUPPORT : ÉTAT DE L’ART  
3.1 Introduction  
3.2 Risque structurel
3.3 Espace augmenté
3.3.1 Noyau polynomial
3.4 KMOD : un nouveau noyau pour la classification
3.5 Formulation
3.5.1 Hyper-plans de séparation
3.5.2 Hyper-plans à marge optimale
3.5.3 Hyper-plans à marge molle
3.5.4  Le SVM non-linéaire
3.5.5 Conditions de Karush-Kuhn-Tucker
3.5.6 Calcul du biais b
3.5.7 Le v-SVM
3.6 Discriminant de Fisher non-linéaire (KFD)
3.7 Analyse en Composantes Principales non-linéaire
3.8 Classification mono-classe
3.8.1 Méthode de l’hyper-sphère
3.8.2 Méthode de l’hyper-plan
3.9 Algorithmes d’apprentissage du SVM
3.9.1 Méthode de chunking
3.9.2 Méthode de décomposition successive
3.9.3 Méthode de minimisation séquentielle : SMO
3.10 Algorithme de Joachims
3.10.1 Stratégie de décomposition
3.10.2 Sous-problème QP
3.10.3 Sélection de l’ensemble actif
3.11 Classification de données multiclasses
3.11.1 Approche Un-contre-Tous
3.11.2 Approche Un-contre-Un
3.11.3 Calcul des probabilités à posteriori des classes
3.11.4 Couplage optimal des classes
3.12 Conclusion
CHAPITRE 4 SÉLECTION DE MODÈLES POUR LES MACHINES À VECTEURS DE SUPPORT : ÉTAT DE L’ART 
4.1 Introduction
4.2 Sélection de modèles
4.2.1 Approche par erreur de validation
4.2.2 Approche algébrique
4.2.3 Approche bayesienne
4.2.4 Approche par minimisation du risque structurel
4.3 Critères d’optimisation du SVM
4.3.1 Ensemble de validation
4.3.2 Nombre de vecteurs de support
4.3.3 Borne de Jaakkola-Haussler
4.3.4 Borne de Opper-Winther
4.3.5 Dimension VC
4.3.6 Borne de Joachim
4.3.7  Portée des vecteurs de support ( «Span bound»)
4.3.8 Erreur de Validation Croisée Généralisée- GACV
4.4 Conclusion 
CHAPITRE 5 OPTIMISATION DES HYPER-PARAMÈTRES DU SVM : CAS BICLASSE 
5.1 Introduction 
5.2 Minimisation de la dimension VC  
5.2.1 Algorithme
5.3 Minimisation de l’Erreur Empirique  
5.3.1 Critère d’optimisation
5.3.2 Estimation de la probabilité à posteriori
5.3.3 Algorithme
5.3.4 Accélération par la méthode de Quasi-Newton
5.4 Minimisation de l’Erreur de Validation Croisée Généralisée (GACV) 
5.4.1 Algorithme
5.5 Conclusion  
CHAPITRE 6 OPTIMISATION DES HYPER-PARAMÈTRES DU SVM : CAS MULTICLASSE 
6.1 Introduction 
6.2 Optimisation locale des hyper-paramètres de SVM
6.3 Optimisation globale des hyper-paramètres de SVM 
6.3.1 Minimisation de l’erreur multiclasse
6.4 Conclusion
CHAPITRE 7 EXPÉRIMENTATION : SÉLECTION DE MODÈLES POUR DES DONNÉES BICLASSES 
7.1 Introduction 
7.2 Données synthétiques bidasses
7.2.1 Minimisation de la dimension VC
7.2.2 Minimisation du GACV
7.2.3 Minimisation de l’erreur empirique
7.3 Étude expérimentale
7.3.1 Problème GAUSS2
7.3.2 Problème XOR
7.3.3 Influence de la taille de l’ensemble de validation
7.4 Conclusion
CHAPITRE 8 EXPÉRIMENTATION: OPTIMISATION DE SVMS SUR DES DONNÉES MULTICLASSES  
8.1 Données synthétiques multiclasse
8.2 Reconnaissance d’images de chiffres manuscrits arabes
8.2.1 La base de données de USPS
8.2.2 Minimisation de l’erreur empirique
8.3 La base de données de chiffres indiens
8.3.1 Primitives perceptuelles
8.3.2 Primitives statistiques
8.3.3 Expériences
8.3.4 Analyse des résultats
8.4 Conclusion 
CHAPITRE 9 CONCLUSION GÉNÉRALE
9.1 Contributions majeures
9.2 Perspectives
BIBLIOGRAPHIE