Soutenance mémoire
Télécharger le fichier pdf d’un mémoire de fin d’études
Codage en couches
Un autre concept important dans le codage vidéo est le concept de codage en couches. Le codage vidéo en couches (ou scalable) est une technique dans laquelle la séquence d’origine est comprimée en un ensemble de sous-flux (substreams). L’idée est d’avoir une couche de base avec les informations essentielles (et de moins bonne qualité) et une ou plusieurs couches d’amélioration, ajoutées à la couche de base. Ces couches d’amélioration permettent d’augmenter le nombre d’images par seconde (Frames Per Second FPS) et/ou la qualité.
Le codage en couches est très utile dans le contexte d’un réseau avec une protection d’erreur inégale et lors de la multidiffusion (multicast) pour des clients hétérogènes. Dans un réseau avec protection d’erreur inégale, la couche de base peut être envoyée avec une priorité plus élevée que la (les) couche(s) d’amélioration(s) afin de la protéger contre les pertes en cas de congestion. Dans le cas du streaming multicast, chaque client peut avoir une vitesse d’accès différente. Avec le codage scalable, chaque client demande le maximum de couches qu’il peut effectivement recevoir. Si un client a plus de bande passante qu’un autre, alors il peut demander plus de couches et avoir des vidéos avec un taux plus élevé et une meilleure qualité.
Dans la suite, nous allons décrire quelques principaux codecs vidéo disponibles pour la diffusion de vidéo sur les réseaux IP.
Aperçu sur les standards MPEG
MPEG, acronyme de Moving Picture Experts Group, est un groupe de travail de l’organisation internationale de normalisation (International Standards Organization ISO) et de la Commission électrotechnique internationale (International Electrotechnical Commission IEC). L’objectif principal de ce groupe est la définition de normes pour la compression numérique des signaux vidéo et audio. MPEG a produit plusieurs normes depuis sa création en 1988 telles que : MPEG-1, MPEG-2 et MPEG-4.
Les algorithmes MPEG compressent les données pour former de petits morceaux qui peuvent être facilement transmis et puis décompressés. Les codecs MPEG atteignent des taux de compression élevés, en stockant uniquement les changements d’une image à l’autre, au lieu de chaque trame. Les informations vidéo sont ensuite codées en utilisant la technique DCT (transformée en cosinus discrète). Les codecs MPEG utilisent une compression avec perte, car certaines données sont supprimées, mais la suppression de ces données est généralement imperceptible par l’œil humain.
Le flux MPEG contient un certain nombre de structures et d’éléments comportant chacun leur propre label comme illustré sur la Figure 2.2. Une connaissance minimale de la terminologie nous sera utile pour une meilleure compréhension des différents composants des flux vidéo MPEG. Le flux consiste en une ou plusieurs pistes audio et un flux vidéo. Le flux vidéo est constitué de GOP. Chaque GOP est associé à un timecode qui permet au décodeur d’assurer la synchronisation. Chaque image (frame) du GOP est encodée d’une des quatre façons possibles. Chacune de ces frames une fois encodée est divisée en tranches/bandes (slice) qui sont divisées à leur tour en macro-blocks. Un macro-block est un groupe d’éléments de base appelé blocs, et le bloc lui-même est un groupe de 8 x 8 pixels. Ce groupe peut contenir soit l’information chroma (CrCb) soit luma (Y).
MPEG-1/2
MPEG-1 [3] a été publié en 1993 et est conçu pour le stockage de médias numériques. MPEG-1 encode les vidéos non-entrelacées à des débits pouvant atteindre 1,5 Mbit/s. En 1994, une deuxième norme, appelée MPEG-2, a été définie [4]. MPEG-2 vise des applications à haute définition et des débits allant jusqu’à 30 Mbit/s. MPEG-2 est largement utilisé pour les DVD et la télévision numérique.
MPEG-1 et MPEG-2 sont conçus pour différents signaux d’entrée, différents taux de sortie et différents formats [5]. Ils fournissent également des capacités différentes pour le multiplexage audio et vidéo. Néanmoins, ils reposent tous deux sur les mêmes principes et techniques de codage. MPEG-2 peut être considéré comme une version améliorée, de la norme MPEG-1, en termes de qualité. MPEG-2 peut encoder l’audio/vidéo dans des résolutions plus élevées et utiliser des débits plus élevés, comparés à la norme MPEG-1.
MPEG-4
MPEG-2 a eu beaucoup de succès et est la base de beaucoup d’applications actuellement répandues. Le groupe MPEG a commencé à travailler sur une nouvelle norme de compression vidéo. Le résultat de cet effort est connu comme MPEG-4, une norme partagée en plusieurs parties. Les différentes parties de la norme MPEG-4 couvrent des aspects comme le codage vidéo, codage audio, les problèmes liés aux systèmes de transport, réseau, etc.
H.264 ou MPEG-4/AVC
MPEG-4 a plusieurs profils comme cité ci-dessus. H.264 [6] fait référence à la partie 10 du profil MPEG-4. Son principal objectif est une compression efficace et robuste des images vidéo pour des applications telles que le stockage, la visioconférence, la visiophonie, la diffusion et le streaming sur une grande variété de technologies de transport.
H.264 (MPEG-4 Part 10) comprend de nouvelles techniques qui lui permettent de compresser beaucoup plus efficacement les vidéos que les normes précédentes (H.261, MPEG-1, MPEG-2) et fournit plus de flexibilité aux applications dans un grand nombre d’environnements réseau. Le standard de codage vidéo H.264 vise à gagner jusqu’à 50% de la bande passante utilisée par MPEG-2 pour une qualité visuelle équivalente.
La performance supérieure de H.264 vient de l’effet d’une série d’innovations algorithmiques. Pour la prédiction de mouvement, ces améliorations comprennent l’utilisation des tailles de bloc petites et variables, avec un quart de pixel de précision, une prédiction spatiale sur le bord des blocs voisins pour un codage « intra » et l’utilisation de plusieurs images de référence [7]. D’autres améliorations sont notamment la transformation effectuée sur des blocs de petites tailles et l’utilisation des méthodes de codage entropique avancées tels que CABAC et CAVLC [7].
En plus d’une amélioration de l’efficacité de codage, la norme H.264 a été spécialement conçue pour le transport de vidéo sur une variété de technologies de transport. La conception de la norme H.264 répond à ce besoin de flexibilité et de personnalisation en séparant l’information codée en deux couches : la couche de codage vidéo (Video Coding Layer VCL) et la couche d’abstraction de réseau (Network Adstraction Layer NAL) [7], comme indiqué dans la Figure 2.3. VCL représente l’information vidéo codée de la manière la plus efficace possible. La couche NAL formate les données VCL et les organise dans des éléments avec les en-têtes appropriés pour le transport ou le stockage sur une grande variété de technologies.
En ce qui concerne la robustesse de la norme contre les erreurs, H.264 inclut plusieurs fonctionnalités avancées. Tout d’abord, les éléments de syntaxe clés de la structure H.264 sont des tranches de taille flexible. Chaque tranche est transportée dans un unique paquet (appelé NAL Unit ou NALU), qui est ensuite passée à la couche transport pour être encapsulé (par exemple en Real-Time Transport Protocol RTP). Cette flexibilité permet d’adapter efficacement le flux codé à la technologie de transport utilisée. H.264 comprend également les concepts de partitionnement de données, l’ordonnancement flexible des macro-blocs et l’ordonnancement arbitraire des tranches [8].
Le partitionnement des données (Data Partitioning DP) donne la possibilité de séparer les éléments de syntaxe d’importance plus ou moins élevée dans différents paquets de données. Ceci permet d’appliquer un niveau de protection inégal aux erreurs en fonction de l’importance des données et d’améliorer ainsi la fiabilité du flux. L’ordonnancement flexible des macro-blocs (Flexible Macroblock Ordering FMO) et l’ordonnancement arbitraire des tranches (Arbitrary Slice Ordering ASO) sont des techniques de restructuration de l’ordonnancement des régions fondamentales de l’image (macroblocs). Ces techniques sont généralement utilisées pour améliorer la résistance aux erreurs et aux pertes.
H.264 Scalable Video Coding
L’amendement Scalable Video Coding (SVC) [9], de la norme MPEG-4 Advanced Video Coding (AVC) suit un schéma de codage de couche comprenant une couche de base et une ou plusieurs couches d’amélioration avec des dimensions différentes. La Figure 2.4 illustre le concept de codage en couches en montrant un émetteur codant une séquence vidéo en trois couches complémentaires. Par conséquent, les récepteurs peuvent sélectionner et décoder un nombre différent de couches – chacune correspondant à des caractéristiques vidéo distinctes – en conformité avec les conditions et les contraintes du réseau et l’appareil lui-même.
Les paramètres qui influencent la qualité d’expérience (QoE) de l’IPTV
Il y a beaucoup de facteurs qui ont un impact sur la qualité vidéo perçue. Ces facteurs dépendent de l’application, de la technologie des réseaux, du terminal de l’utilisateur etc. Il est possible de classer les facteurs qui affectent la qualité en quatre catégories, en fonction de la source du facteur:
• Paramètres environnement. Les paramètres environnement sont par exemple : l’éclairage de la pièce, la fidélité de l’écran (moniteur ou TV), les capacités de calcul du lecteur multimédia (l’ordinateur), etc. Les paramètres environnement sont généralement incontrôlables et difficiles à mesurer dans une session de test.
• Paramètres de la source. Le signal source de la vidéo a un impact évident et fort sur la qualité globale perçue. Par exemple, le niveau de luminance et la quantité de mouvement des scènes ont un impact important sur la qualité, en particulier quand il y a d’autres facteurs, comme l’encodage à débit binaire très faible et/ou des pertes de paquets dans le réseau. Les paramètres de la source qui dépendent des caractéristiques de la séquence, comme la nature de la scène (par exemple, la quantité de mouvements, la couleur, le contraste, la taille de l’image, etc.) ont également un impact sur la perception humaine de la qualité de la vidéo. L’encodage ou les paramètres de compression sont les facteurs sources les plus importants.
Nous pouvons citer comme exemples de ces paramètres : le type de codec utilisé (MPEG-2, MPEG-4 partie 2 ou 10, etc.), le nombre de bits par échantillon, le débit binaire, la fréquence d’images, le nombre de couches dans le cas de codage en couches, etc. L’expéditeur de la vidéo peut mettre en œuvre des techniques d’amélioration de la qualité (le récepteur peut également interpréter les données ajoutées ou modifiées). Les plus courants sont : Forward Error Correction (FEC), l’entrelacement et le codage en couches. Généralement, ces techniques d’amélioration sont conçues pour atténuer l’effet des pertes de paquets dans le réseau sur la qualité.
• Paramètres réseau. La qualité de service (QoS) est un élément principal dans la conception du réseau et de la gestion en général. En règle générale, les paramètres QoS comprennent la perte de paquets, le délai, la gigue et les facteurs de bande passante. L’effet de ces paramètres sur la qualité perçue dépend essentiellement du type de l’application multimédia. Par exemple, si un service temps réel est nécessaire, le taux de perte de paquets est le paramètre réseau le plus important. La retransmission et la mise en mémoire tampon jouent un rôle important aussi. S’il y a une interactivité (par exemple lors d’un appel vidéo), le délai et la gigue ont également un rôle important, en ajoutant l’écho et la perte de synchronisation audio/vidéo.
• Paramètres du récepteur. Outre les techniques d’amélioration de la qualité, mis en place par l’expéditeur, il existe un ensemble de procédures, améliorant la qualité, qui peuvent être mises en œuvre au niveau du récepteur. Voici quelques exemples : la mise en mémoire tampon, la dissimulation de perte (d’insertion, d’interpolation et de régénération des données perdues) et des améliorations de contrôle de congestion dans les flux UDP.
Dans la section suivante, nous présentons des méthodes qui permettent d’évaluer la qualité des séquences vidéo.
Evaluation de la qualité vidéo
Une bonne méthode d’évaluation de la qualité peut aider à contrôler la qualité des services vidéo et le renforcement de l’expérience de l’utilisateur. En raison de son rôle fondamental, un grand nombre de mesures objectives de la qualité de la vidéo ont été proposées au fil du temps.
Les méthodes à base de pixels, telles que l’erreur quadratique moyenne (Mean Square Error MSE), Signal-to-Noise Ratio (SNR) et Peak Signal-to-Noise Ratio (PSNR), sont simples à calculer et faciles à intégrer dans le processus d’optimisation. Toutefois, il est bien reconnu que ces mesures à base de pixels ne correspondent pas bien à la perception du système visuel humain. Les distorsions perçues par l’être humain ne sont pas toujours prises en compte par MSE/SNR/PSNR, parce que ces mesures fonctionnent sur une base « pixel par pixel » sans tenir compte du contenu du signal, la condition de visualisation et les caractéristiques du système visuel humain (HVS). Ces problèmes rendent nécessaire la conception d’une meilleure métrique objective de qualité.
A la différence des évaluations objectives de la qualité de la vidéo, qui fonctionnent d’une façon automatique, sans intervention humaine, l’évaluation subjective est basée sur la qualité de jugement des observateurs humains. L’évaluation subjective est considérée comme la méthode la plus précise pour mesurer la qualité visuelle. Bien que l’évaluation subjective de la qualité prenne du temps et ne soit pas réalisable en temps-réel, son rôle dans la conception de métrique objective de la qualité est encore irremplaçable : la qualité de perception visuelle dérivée de l’évaluation subjective peut servir de référence pour l’évaluation de la performance des évaluations objectives, et peut même être un repère pour la conception de nouvelles métriques objectives.
Dans cette section, nous présentons les problèmes liés à l’évaluation de la qualité des vidéos. Nous discuterons des méthodes d’évaluation actuellement disponibles dans la littérature et pourquoi elles ne répondent pas nécessairement aux besoins actuels en matière d’évaluation de la qualité perçue.
Evaluation subjective
Les évaluations subjectives représentent la façon la plus précise pour mesurer la qualité d’une vidéo. Dans les expériences subjectives, un certain nombre de sujets (observateurs ou participants) sont invités à assister à un ensemble de tests et de donner un jugement sur la qualité des vidéos ou l’incommodité causée par les distorsions. La moyenne des valeurs obtenues pour chaque séquence de test est connue sous le nom Mean Opinion Score (MOS).
En général, les évaluations subjectives sont coûteuses et nécessitent beaucoup de temps. En conséquence, le nombre d’expériences qui peuvent être réalisées est limité et, par suite, une méthodologie appropriée doit être utilisée pour tirer le meilleur parti des ressources. L’Union Internationale des Télécommunications (International Telecommunication Union ITU) a formulé des recommandations pour les procédures des tests subjectifs. Les deux documents les plus importants sont la Recommandation ITU-R. BT.500-11 [16], destinée aux applications de télévision, et la Recommandation ITU-T. P.910 [17], destinée aux applications multimédia. Ces documents donnent des informations sur les conditions d’affichage des vidéos, les critères de sélection des observateurs et du matériel d’essai, les procédures d’évaluation, et les méthodes d’analyse des données. Avant de choisir la méthode à utiliser, l’expérimentateur doit tenir compte de l’application et des objectifs de l’évaluation.
Selon l’ITU, il existe deux catégories d’évaluations subjectives :
• Évaluations de la qualité : les notes rendues par les participants sont sur une échelle de qualité, c’est-à-dire, la qualité de la vidéo affichée est-elle bonne ou mauvaise. Ces évaluations sont utilisées pour évaluer la performance des systèmes utilisés dans des conditions optimales.
• Les tests de dépréciation : les jugements rendus par les sujets sont sur une échelle de valeur, c’est-à-dire, les distorsions de la vidéo affichée sont-elles visibles ou imperceptibles. Ces évaluations sont utilisées pour évaluer la capacité des systèmes à conserver la qualité des vidéos dans des conditions non optimales. Ces méthodes sont souvent utilisées pour mesurer la dégradation de la qualité causée par un codage ou un schéma de transmission.
Les échelles d’évaluation, pour l’évaluation de la qualité ou pour l’évaluation des dépréciations, peuvent être continues ou discrètes. Les jugements peuvent également être catégoriques ou non catégoriques, adjectivaux ou numériques. En fonction de la forme de présentation de la séquence vidéo (stimulus), les méthodes d’évaluation peuvent être classées en tant que stimulus simple ou double. Dans l’approche du stimulus simple, seule la séquence de test est présentée, tandis que dans la méthode double stimulus, une paire de séquences (séquence de test et la séquence de référence correspondante) sont présentées ensemble.
Parmi les procédures de tests subjectifs, proposées dans ITU-R Rec. BT.500-11, nous pouvons citer :
• Double Stimulus Impairment Scale (DSIS) – Pour cette méthode, la séquence de référence est toujours affichée avant la séquence de test et la paire ne se répète pas. Les observateurs sont invités à juger le niveau des dépréciations pour chaque séquence de test, en utilisant une échelle à cinq niveaux. Cette méthode est appropriée pour évaluer les artefacts visibles.
• Double Stimulus Continuous Quality Scale (DSCQS) – Dans cette méthode, des paires de séquences multiples (contenant la référence et une séquence dégradée au hasard) sont présentées aux observateurs. DSCQS est utile quand il n’est pas possible de fournir les conditions d’essai qui montrent la gamme complète de la qualité.
• Single Stimulus Continuous Quality Evaluation (SSCQE) – Dans cette méthode, les observateurs sont invités à regarder une vidéo d’environ 20-30 minutes. La séquence de référence n’est pas présentée. L’observateur utilise continuellement un curseur pour évaluer la qualité, puisqu’elle change au cours de la présentation. SSCQE est conçue pour mesurer la qualité dans un contexte variable, par exemple, quand une compression adaptative est utilisée.
Les procédures d’évaluation les plus populaires de l’ITU-T Rec. P.910 sont les suivantes :
• Absolute Category Rating (ACR) – Aussi connu comme méthode de stimulation simple (Single Stimulus Method SSM), ce procédé est caractérisé par le fait que les séquences de test sont présentées une à une, sans la séquence de référence. Cela en fait une méthode très efficace, par rapport au DSIS ou DSCQS, qui ont des durées de l’ordre de 2 à 4 fois plus longues. Après chaque présentation, les observateurs sont invités à juger la qualité globale de la séquence de test en utilisant une échelle à cinq niveaux. Une échelle de neuf niveaux peut être utilisée si l’expérimentateur nécessite une distinction supplémentaire entre les jugements.
• Degradation Category Rating (DCR) – Cette méthode est identique à la DSIS décrite précédemment.
• Pair Comparison (PC) – Dans cette méthode, toutes les combinaisons de paires possibles (vidéo originale et vidéo altérée) de toutes les séquences de test sont présentées aux observateurs. Les observateurs doivent choisir la séquence de la paire qui a la meilleure qualité. Cette méthode permet une distinction très fine entre les états des vidéos, mais exige également une plus longue période de temps par rapport à d’autres méthodes.
Les différences entre ces procédures sont minimes et dépendent principalement de l’application envisagée. Elles concernent, par exemple, le fait que dans les tests subjectifs, on montre au préalable aux observateurs les séquences de référence, l’échelle d’évaluation de la qualité (et le fait qu’elle est discrète ou continue, voir Figure 2.6), la longueur de la séquence (généralement une dizaine de secondes), le nombre de vidéos par essai (une fois, deux fois de suite ou deux fois simultanément), la possibilité de modifier les valeurs données précédemment ou non, etc.
D’autres méthodes d’évaluation subjective sont disponibles, comme : Simultaneous Double Stimulus for Continuous Evaluation (SDSCE), Stimulus Comparison Adjectival Categorical Judgement (SCACJ) et Subjective Assessment Methodology for VIdeo Quality (SAMVIQ). Pour plus de détails sur ces tests subjectifs, veuillez vous référer à [16][17].
Toutes les méthodes présentées sont des méthodes d’évaluation subjective de la qualité qui mesurent la qualité perçue du point de vue de l’utilisateur. Cependant, les tests subjectifs sont très longs, fastidieux et coûteux en main-d’œuvre, ce qui les rend difficiles à automatiser et à répéter. En outre, compte tenu de leur nature, ces méthodes ne sont évidemment pas appropriées pour un fonctionnement en temps réel. Pour ces raisons, beaucoup d’efforts ont été concentrés sur le développement des méthodes d’évaluation objective moins coûteuses, plus rapides et plus faciles à utiliser.
Evaluation objective
Les méthodes objectives sont des algorithmes et des formules (généralement des algorithmes de traitement de signal) qui mesurent, d’une certaine manière, la qualité d’une vidéo. Les mesures objectives de la qualité vidéo peuvent aller du très simple au très complexe. En particulier, celles qui sont fondées sur les systèmes de vision de l’homme (Human Vision Systems HVS) ont tendance à être très complexes, de sorte que même si la version originale et les versions dégradées sont disponibles, l’évaluation ne peut pas se faire en temps réel.
Les méthodes d’évaluation objective de la qualité vidéo peuvent être classées en trois catégories sur la base de la quantité d’informations disponibles pour la comparaison avec la vidéo d’origine :
• Full-Reference (FR) : La vidéo originale et la vidéo déformée sont disponibles.
• Reduced-Reference (RR) : En plus de la vidéo altérée, une description de la vidéo originale et certaines de ses caractéristiques sont disponibles.
|
Table des matières
Acronymes
1 Introduction
1.1 Motivations
1.2 Contributions
1.3 Organisation de la thèse
2 La vidéo sur IP
2.1 Principes des codecs vidéo
2.1.1 Transformation spatiale
2.1.2 Codage différentiel et la compensation de mouvement
2.2 Structure d’une séquence vidéo codée
2.2.1 Hiérarchie des images
2.2.2 Codage en couches
2.3 Aperçu sur les standards MPEG
2.3.1 MPEG-1/2
2.3.2 MPEG-4
2.3.3 H.264 ou MPEG-4/AVC
2.3.4 H.264 Scalable Video Coding
2.4 Les paramètres qui influencent la qualité d’expérience (QoE) de l’IPTV
2.5 Evaluation de la qualité vidéo
2.5.1 Evaluation subjective
2.5.2 Evaluation objective
3 La Voix sur IP
3.1 Acquisition et reconstruction de la voix
3.1.1 Echantillonnage et quantification
3.1.2 Reconstruction du signal
3.2 Les codecs pour la VoIP
3.2.1 ITU G.711
3.2.2 ITU G.729
3.2.3 ITU G.723.1
3.2.4 GSM-FR
3.2.5 GSM-HR
3.2.6 AMR
3.2.7 iLBC
3.2.8 Speex
3.2.9 Silk
3.3 Les paramètres qui influencent la qualité d’expérience (QoE) de la VoIP
3.3.1 Paramètres réseau
3.3.2 Paramètres sources
3.3.3 Paramètres réception
3.4 Evaluation de la qualité vocale
3.4.1 Mesure subjective de la qualité vocale
3.4.2 Mesure objective (instrumentale) intrusive de la qualité vocale
3.4.3 Mesure objective non-intrusive de la qualité vocale
4 La méthode PSQA
4.1 Les réseaux de neurones aléatoire (RNN)
4.2 Comparaison des résultats de PSQA avec d’autres outils objectives pour l’évaluation de la qualité des vidéos MPEG-2
4.2.1 Environnement de test
4.2.2 Résultats
5 Évaluation des performances (en terme de qualité) de l’encodage et des encodeurs SVC
5.1 Recommandations d’encodage SVC
5.2 Banc d’essai
5.2.1 Performances des encodeurs
5.2.2 Résultats et discussion : impact de deltaQP
5.2.3 Résultats et discussion : CGS vs. MGS
5.2.4 Résultats et discussion : Nombre des couches MGS
6 Evaluation de la qualité des flux vidéo SVC
6.1 Méthode proposée
6.1.1 Les paramètres d’encodage vidéo affectant la qualité
6.1.2 Les paramètres réseau affectants la qualité : taux de perte des NALU
6.2 Expérimentations et résultats
6.2.1 Test avec VQM
6.2.2 Test avec une évaluation subjective
7 Evaluation de la qualité de la Voix sur IP
7.1 Méthode proposée
7.1.1 Environnement de test
7.1.2 Impact du choix du codec et du taux de paquet perdu
7.1.3 Impact du masquage de perte sur la qualité
7.1.4 Impact des taux de perte de paquets et du MLBS
7.2 Estimation de la qualité
7.2.1 Régression polynomiale
7.2.2 Estimation avec les Réseaux de Neurones
7.2.3 Comparaison avec d’autres méthodes
8 Mise en œuvre des méthodes proposées de monitoring de QoE dans un terminal utilisateur
8.1 QoE Monitoring Manager
8.2 QoS Monitoring Tool @ UE
8.3 QoE Evaluator
9 Conclusion générale et perspective
9.1 Résumé des contributions
9.2 Perspectives
Publications issues de cette thèse
Références
Télécharger le rapport complet
