Machines de Boltzmann

Table des matières

INTRODUCTION
CHAPITRE 1 RECONNAISSANCE DU LOCUTEUR
1.1 Généralités
1.1.1 Types de la variabilité de la parole
1.2 Vérification du locuteur
1.2.1 Définition et utilité de la tâche
1.2.2 Extraction des vecteurs de caractéristiques à court terme
1.2.3 Modélisation
1.2.3.1 Modèles de mélanges de gaussiennes
1.2.3.2 Modèle d’analyse conjointe de facteurs (JFA)
1.2.3.3 Espace des i-vecteurs
1.2.3.4 Analyse discriminante linéaire probabiliste (PLDA)
1.2.3.5 Similarité angulaire
1.2.3.6 Machines de Boltzmann
1.2.4 Décision
1.2.5 Normalisation des scores
1.2.5.1 z-norm
1.2.5.2 t-norm
1.2.5.3 s-norm
1.2.6 Calibration et fusion des scores
1.2.7 Corpus de données et mesures d’évaluation
1.2.7.1 Mesures d’évaluation
1.2.7.2 Tâches des évaluations NIST
1.2.7.3 Données d’entrainement de NIST
1.3 Regroupement en locuteurs dans les grandes bases de données (Clustering)
1.3.1 Définition et utilité de la tâche
1.3.2 Corpora de données et mesures d’évaluation
1.3.2.1 Corpus de données
1.4 Structuration en tours de parole (Diarization)
1.4.1 Définition et utilité de la tâche
1.4.1.1 Segmentation
1.4.1.2 Regroupement
1.4.2 Évaluation des performances
1.4.2.1 Corpus de données
CHAPITRE 2 REPRÉSENTATION DU SIGNAL VOCAL PAR LES I-VECTEURS
2.1 De la représentation à court terme à la représentation par les i-vecteurs
2.1.1 Extraction des vecteurs MFCC
2.1.2 Modèle du monde (UBM)
2.1.3 Calcul des statistiques générales
2.1.4 Entrainement de l’extracteur des i-vecteurs
2.1.5 Extraction des i-vecteurs
2.2 Compensation des variabilités nuisibles
2.2.1 Adaptation des i-vecteurs à la vérification du locuteur
2.2.2 Adaptation des i-vecteurs à la structuration en tours de parole
CHAPITRE 3 VÉRIFICATION DU LOCUTEUR
3.1 Modèle génératif
3.1.1 Modélisation des i-vecteurs
3.1.2 Apprentissage du modèle
3.1.2.1 Distribution a posteriori des vecteurs cachés
3.1.2.2 Évaluation de la vraisemblance des données
3.1.2.3 Algorithmes de mise à jour des paramètres du modèle
3.1.3 Vérification via le modèle PLDA
3.2 Similarité angulaire du cosinus
3.2.1 Normalisation des i-vecteurs
3.2.1.1 Analyse discriminante linéaire (LDA)
3.2.1.2 Normalisation via la matrice de covariance intraclasse (WCCN)
3.2.2 Vérification via la similarité du cosinus
CHAPITRE 4 INDÉPENDANCE DU CANAL
4.1 Difficultés à surmonter
4.2 Concaténation des matrices de la variabilité totale
4.2.1 Définition du modèle
4.2.1.1 Estimation des paramètres du modèle
4.2.1.2 Extraction des i-vecteurs indépendants du canal
4.2.2 Expériences et résultats
4.2.2.1 Détails d’implémentation
4.2.2.2 Résultats et discussions
4.2.2.3 PLDA pour la réduction de dimensionnalité
4.2.2.4 Résultats et discussions
4.3 Entrainement à partir des données regroupées
4.3.1 LDA pour la réduction de dimensionnalité
4.3.2 Expériences et résultats
CHAPITRE 5 INDÉPENDANCE DU GENRE
5.1 Modèle génératif indépendant du genre
5.1.1 PLDA indépendant du genre (PLDA-IG)
5.1.2 Mélange des modèles PLDA (PLDA-M)
5.1.2.1 Définition du modèle du mélange
5.1.2.2 Modélisation du genre du locuteur
5.1.2.3 Calcul de score
5.1.2.4 Les essais à genre croisé
5.1.3 Expérimentations
5.1.3.1 Détails d’implémentation
5.1.3.2 Résultats et discutions
5.2 Similarité angulaire indépendante du genre
5.2.1 La SAC dépendante du genre (SAC-DG)
5.2.1.1 Compensation des effets du canal
5.2.1.2 Normalisation des scores
5.2.2 La SAC indépendante du genre
5.2.2.1 Détecteur du genre d’un locuteur
5.2.2.2 La SAC indépendante du genre (SAC-IG)
5.2.2.3 Combinaison des SAC (SAC-C)
5.2.3 Expérimentations
5.2.3.1 Détails d’implémentation
5.2.3.2 Résultats et discussions
CHAPITRE 6 L’ALGORITHME DE DÉCALAGE DE LA MOYENNE
6.1 Version de base de l’algorithme du décalage de la moyenne (Mean Shift)
6.1.1 Idée intuitive
6.1.2 Développement mathématique
6.2 Algorithme de Décalage de la moyenne à base de distance angulaire
6.2.1 Motivations
6.2.2 Développement mathématique
6.3 Algorithme de Décalage de la moyenne pour le regroupement des données non étiquetées
6.3.1 Stratégie totale de regroupement (STR)
6.3.2 Stratégie sélective de regroupement (SSR)
CHAPITRE 7 REGROUPEMENT EN LOCUTEURS
7.1 Regroupement en locuteurs
7.2 Méthodologie
7.2.1 Représentation du signal vocal
7.2.2 Décalage de la moyenne à base de la distance angulaire du cosinus
7.3 Expérimentation
7.3.1 Compensation des effets du canal
7.3.2 Détails d’implémentation
7.3.2.1 Corpus de données du test
7.3.2.2 Procédure expérimentale
7.3.2.3 Extraction et normalisation des i-vecteurs
7.3.2.4 Métriques d’évaluation des performances
7.3.3 Résultats et discutions
CHAPITRE 8 STRUCTURATION EN TOURS DE PAROLE
8.1 Structuration en tours de parole
8.2 Méthodologie
8.2.1 Segmentation initiale en tours de parole
8.2.2 I-vecteurs pour la représentation des tours de parole
8.2.3 Normalisation des i-vecteurs
8.2.3.1 Analyse en composantes principales (PCA)
8.2.3.2 Normalisation via l’inverse de la matrice de covariance intraclasse (WCCN)
8.2.3.3 Normalisation via la matrice de covariance interclasse (BCCN)
8.2.4 Regroupement via le Décalage de la moyenne
8.2.4.1 Bande passante dépendante de conversation
8.2.4.2 Élagage des classes éparses
8.3 Expérimentation
8.3.1 Détails d’implémentation
8.3.1.1 Corpus CallHome des données téléphoniques
8.3.1.2 Extraction des i-vecteurs
8.3.1.3 Protocole d’évaluation
8.3.2 Résultats et discussions
8.3.2.1 Optimisation des hyper-paramètres à partir des données de développement
8.3.2.2 Résultats obtenus à partir de l’ensemble du test
8.3.2.3 Résultats regroupés en fonction du nombre de locuteurs
8.3.2.4 Resegmentation de Viterbi
8.3.2.5 Comparaison avec les résultats de l’état de l’art
8.3.2.6 Temps d’exécution des algorithmes
CONCLUSION
ANNEXE I PREUVE MATHÉMATIQUE DE CONVERGENCE DE L’ALGORITHME DE DÉCALAGE DE LA MOYENNE À BASE DE LA DISTANCE ANGULAIRE DU COSINUS
ANNEXE II REPRÉSENTATIONS GRAPHIQUES DES EFFETS DES DIFFÉRENTES ÉTAPES DE LA NORMALISATION DES IVECTEURS DANS LE CONTEXTE DE L’ALGORITHME DE DÉCALAGE DE LA MOYENNE
ANNEXE III INTERVALLES DE CONFIANCE CONCERNANT LES RÉSULTATS DE LA VÉRIFICATION
BIBLIOGRAPHIE