Images panchromatiques, multispectrales et hyperspectrales

Images panchromatiques, multispectrales et hyperspectrales

Dans le cadre de l’observation de la Terre par satellite, différents types d’images sont exploités. D’une part, les images panchromatiques (PAN) sont acquises par un capteur large bande. Elles sont composées d’une unique bande spectrale très bien résolue spatialement (résolution spatiale de l’ordre du mètre par exemple), et couvrant généralement jusqu’au domaine spectral visible [0,4 − 0,8 µm] voire visible et proche infrarouge [0,4 − 1,0 µm] pour les instruments existants. Parmi ces derniers, on peut notamment citer Pléiades [1] (domaine spectral [0,48 − 0,83 µm], résolution spatiale de 70 cm), PRISMA [2] (domaine spectral [0,4 − 0,7 µm], résolution spatiale de 5 m), EO-1/ALI [3] (domaine spectral [0,48 − 0,69 µm], résolution spatiale de 10 m), ou encore HYPXIM [4, 5] (domaine spectral [0,4 − 0,8 µm], résolution spatiale de 3,5 m pour HYPXIM-C et 2 m pour HYPXIM-P).

D’autre part, des images spectrales possédant une meilleure résolution spectrale peuvent être acquises par un ou plusieurs capteurs capables d’enregistrer simultanément dans plusieurs bandes spectrales étroites. Ces images, possédant plusieurs bandes spectrales (aussi appelées cube de données), couvrent de façon discrète le domaine spectral [λmin − λmax], par exemple le domaine réflectif [0,4 − 2,5 µm]. Pour une résolution spectrale relativement faible , on parlera d’image multispectrale (MS, parfois appelées XS dans la littérature). Ce sont des images possédant généralement un nombre de bandes réduit (typiquement, moins de 20). On peut par exemple citer SENTINEL-2 [6] (13 bandes spectrales couvrant le domaine [0,42 − 2,3 µm] pour S2A et S2B, illustrées en Fig. 1, de résolutions spatiales allant de 10 à 60 m) et SENTINEL-3 [7] (9 bandes spectrales couvrant le domaine [0,54 − 12,45 µm] pour SLSTR, de résolutions spatiales allant de 500 m pour le domaine réflectif à 1 km au-delà). En particulier, on appellera images RVB les images multispectrales composées de trois bandes spectrales respectivement associées aux longueurs d’ondes du rouge, du vert et du bleu.

En revanche, pour une résolution spectrale plus élevée , on parlera plutôt d’image hyperspectrale (HS). Ces images possèdent généralement un grand nombre de bandes contiguës (typiquement, plus d’une centaine), comme illustré en Fig. 1, pour couvrir le domaine spectral considéré : VNIR [0,4 − 1,0 µm] (ROSIS [8], HyperSpec VNIR-C [9]), réflectif (AVIRIS [10], HyMap [11], HySpex [12], EO-1/Hyperion [13], EnMAP [14], PRISMA [2], HYPXIM [4, 5]), ou encore infrarouge thermique (Telops Hyper-Cam LW [15] pour le domaine spectral [7,8 − 11,5 µm]). Cependant, les images HS ont une résolution spatiale plus faible que celle d’une image PAN, particulièrement lorsque le capteur HS est à haute altitude ou couvre des zones étendues. Cela est dû à plusieurs phénomènes, parmi lesquels l’imagerie optique imparfaite ou encore le rapport signal sur bruit [16].

Notons enfin que plusieurs systèmes d’imagerie intègrent à la fois un capteur PAN couvrant le domaine spectral visible et un capteur HS couvrant le domaine réflectif : c’est le cas de PRISMA [2], EO-1 [17] (ALI + Hyperion), ou encore HYPXIM [4, 5] (futur capteur).

Domaines spectraux

Dans cette étude, les images HS couvrent le domaine réflectif [0,4 − 2,5 µm]. Ce domaine spectral est composé du domaine visible [0,4 − 0,8 µm] et d’une partie du domaine infrarouge (courtes longueurs d’ondes : [0,8 − 2,5 µm]) [18]. Dans la suite, nous divisons fréquemment le domaine réflectif en plusieurs sous-domaines :

[0,4 − 0,8 µm] visible ;
[0,8 − 1,0 µm] proche infrarouge, ou Near-InfraRed (NIR) ;
[0,4 − 1,0 µm] visible et proche infrarouge, ou Visible and Near-InfraRed (VNIR) ;
[1,0 − 2,5 µm] infrarouge courtes longueurs d’onde, ou Short-Wave InfraRed (SWIR);
[1,0 − 2,0 µm] SWIR I ;
[2,0 − 2,5 µm] SWIR II.

Fusion d’images

Dans la suite de cette étude, la fusion de deux types d’images A et B est notée fusion A+B. Les différentes applications de fusion d’images sont désignées ainsi :

MS+PAN pansharpening ;
HS+MS hypersharpening ;
HS+PAN pansharpening hyperspectral, abrégé en « pansharpening HS » ;
HS+2PAN pansharpening HS avec deux voies PAN (introduit dans cette étude).

Représentation matricielle des images

Nous assimilons les images traitées (PAN, MS, HS) aux matrices de données ou cubes de données qui les représentent (Fig. 2), et nous les désignons de la façon suivante : R l’image HS de référence, aux dimensions (Ni , Nj , Nλ), utilisée pour simuler les images HS et PAN respectivement par dégradations spatiale et spectrale. Ni , Nj et Nλ désignent respectivement les nombres de lignes, de colonnes et de bandes spectrales. H l’image HS en entrée de la méthode de fusion, aux dimensions (ni , nj , Nλ). ni ≤ Ni et nj ≤ Nj désignent respectivement les nombres de lignes et de colonnes. P l’image PAN, aux dimensions (Ni , Nj , 1) ou simplement (Ni , Nj ). F l’image fusionnée, aux dimensions (Ni , Nj , Nλ). I k la k ième bande spectrale d’une image I (pouvant correspondre à R, H ou F). I↓ une image I sous-échantillonnée spatialement (dans notre cas, aux dimensions spatiales de l’image HS). I↑ une image I sur-échantillonnée spatialement (dans notre cas, aux dimensions spatiales de l’image PAN). I une image I intégrée spectralement sur le domaine PAN. P˜ une pseudo-image PAN, autrement dit sur-échantillonnée spatialement (aux dimensions spatiales PAN) et intégrée spectralement sur le domaine PAN.

Pixels HS purs, mixtes et endmembers

Un pixel HS dont la signature spectrale est celle d’un unique matériau est qualifié de pixel pur. Autrement dit, il s’agit d’un pixel HS couvrant une zone constituée d’un unique matériau à la résolution spatiale PAN. Ainsi, plus la résolution spatiale de l’image HS est faible, plus la zone couverte par chaque pixel HS est étendue spatialement, ce qui diminue la probabilité que ce pixel soit pur. À l’inverse, nous supposons qu’à la résolution spatiale PAN, tous les sous-pixels sont purs. Cette assertion nous permet de formuler l’hypothèse suivante :

un pixel HS est pur si et seulement s’il est associé à des sous-pixels PAN de valeurs de luminance spectrale homogènes, comme illustré dans la Fig. 4. Cette hypothèse nous permet de déduire qu’un pixel HS est pur directement à partir des variations de luminance spectrale du groupe de pixels PAN associés  .

Un pixel HS qui n’est pas pur est qualifié de pixel mixte. Un tel pixel couvre donc une zone constituée de différents matériaux à la résolution PAN. Nous modélisons ainsi son spectre comme une combinaison linéaire des signatures spectrales de ces différents matériaux. En effet, nous supposons, d’une part, que le spectre d’un pixel HS est la moyenne des signatures spectrales des zones couvertes par tous les pixels PAN associés ; et, d’autre part, que tout sous-pixel à la résolution spatiale PAN est pure. D’après l’hypothèse formulée dans le paragraphe précédent, nous considérerons qu’un pixel HS est mixte si et seulement s’il est associé à des sous pixels PAN dont les valeurs de luminance spectrale sont hétérogènes. Plusieurs critères sont proposés dans la suite de l’étude afin de mesurer l’hétérogénéité d’un groupe de sous-pixels PAN.

Table des matières

Introduction
I Images panchromatiques, multispectrales et hyperspectrales
II Domaines spectraux
III Fusion d’images
IV Représentation matricielle des images
V Rapport de résolutions spatiales
VI Pixels HS et sous-pixels PAN
VII Pixels HS purs, mixtes et endmembers
VIII Variabilité intra-classe
1 Introduction
2 État de l’art
2.1 Description des familles de méthodes
2.2 Comparaison des méthodes de fusion
2.2.1 Études comparatives de la littérature
2.2.2 Évaluation des méthodes
2.3 Limitations des méthodes de pansharpening HS
2.4 Sélection des méthodes de référence
2.5 Démarche retenue
3 Construction de jeux de données de complexité variable
3.1 Génération des jeux de données
3.1.1 Image REF
3.1.2 Image HS
3.1.3 Image PAN
3.2 Images sources
3.2.1 Images HyMap
3.2.2 Images SYSIPHE
3.2.3 Images UMBRA
3.3 Images de référence de complexité croissante
3.3.1 Image synthétique
3.3.2 Paysages agricoles
3.3.3 Paysages avec végétation et bâtiment
3.3.4 Paysages péri-urbains
3.3.5 Paysages urbains
3.4 Synthèse
4 Développement d’une procédure robuste d’évaluation de performances
4.1 Principe général
4.2 Critères de qualité
4.2.1 Choix des critères de qualité
4.2.2 Nouveaux critères de qualité
4.3 Processus d’évaluation multi-échelles
4.3.1 Analyse affinée : localisation des groupes de pixels
4.3.2 Analyse locale : variation spatiale de l’erreur
4.3.3 Génération des cartes d’occupation des sols
4.4 Conclusion
5 Évolutions de SOSU pour des scènes de complexité spatiale réduite : CASTOR
5.1 Description de la méthode CASTOR
5.1.1 Détection des pixels mixtes
5.1.2 Segmentation de l’image PAN
5.1.3 Extraction des endmembers par région
5.1.4 Sélection des endmembers
5.1.5 Estimation des abondances
5.1.6 Réorganisation spatiale
5.1.7 Étape de fusion : méthode Gain
5.1.8 Synthèse des améliorations apportées
5.2 Évaluation des performances de CASTOR
5.2.1 Démonstration de concept de CASTOR
5.2.2 Application de CASTOR à une scène agricole
5.2.3 Augmentation de la complexité spatiale : passage à une scène péri-urbaine
5.2.4 Analyse de performances globale
5.3 Comparaison des méthodes Gain et CASTOR
5.4 Conclusion
Conclusion

Lire le rapport complet