L’acquisition des images dans les systèmes embarqués

AUJOURD’HUI, plus de capteurs d’images numériques ont été vendus dans le monde que d’appareils photographiques argentiques et cameras vidéo l’ont été depuis l’invention de la photographie. Le marché dépasse ainsi les 8 milliards [Tufegdzic 2009] de dollars et il ne cesse de croître. En effet, chaque jour apporte son lot de nouvelles applications et les coûts de fabrication diminuant, la diffusion de ces produits devient très forte. Le marché des capteurs est fortement lié à celui de la téléphonie mobile puisque les analystes attendent pour l’année 2010 la vente de 1,2 milliard de capteurs exclusivement pour la téléphonie mobile, contre seulement 350 millions pour d’autres dispositifs.

Les imageurs sont maintenant industrialisés sous forme de modules qui intègrent un système optique, un capteur et une électronique de traitement dans un ensemble dont le prix de revient n’excède pas quelques dollars [Global Sources 2009], moins d’un dollar d’ici la fin de l’année. Pour arriver à de tels coûts, les éléments liés à l’optique sont simplifiés au maximum, et la surface silicium, qui est le premier facteur de coût des composants électroniques, est réduite à l’extrême. Aujourd’hui, les capteurs ont une taille de 1/10 de pouce, et la taille des modules complets ne dépasse pas quelques millimètres de côté. Cette miniaturisation induit inévitablement des images de faible qualité, la surface dédiée à l’électronique d’amélioration de l’image ne dépasse généralement pas quelques millimètres carrés en utilisant les technologies actuelles d’intégration (65 nm basse consommation). Ainsi la surface dédiée aux photosites est considérablement réduite (actuellement entre 2,2 µm et 1,1 µm de côté alors que la longueur d’onde de la lumière visible commence à 0,8 µm environ) pour permettre la diminution de la surface silicium utilisée tout en augmentant la résolution. De leurs côtés, les consommateurs souhaitent obtenir des images toujours plus résolues, comparables à celles des capteurs de taille 10 à 100 fois plus importantes, c’est à dire de plusieurs millions de pixels (MPixels). A coût égal, c’est donc au niveau des traitements électroniques associés au capteur que se situe une marge de progression vers une meilleure qualité de l’image. C’est pourquoi la reconstruction des images à la sortie des capteurs est primordiale, sans quoi les images ne seraient pas directement utilisables par la consommateurs.

L’acquisition des images dans les systèmes embarqués

La littérature présente de nombreux travaux sur la capture d’image, que les procédés soient numériques ou non, la méthode consiste à utiliser un système optique pour focaliser une scène sur une surface photosensible. Celle-ci peut être un capteur, un film etc. Dans la suite de ce document, nous nous plaçons dans le cas d’une matrice de pixels photosensible, ce qui représente la très grande majorité des systèmes de capture d’image numérique embarqués d’aujourd’hui, aussi bien dans les téléphones portables, les appareils photos reflex que les camescopes. Dans un premier temps, nous présentons la chaîne d’acquisition telle qu’elle est généralement implémentée. Dans un second temps, sont présentées quelques unes des dégradations introduites par l’optique, puis par le système de capture électronique.

La chaîne d’acquisition d’image

La chaîne d’acquisition d’image est généralement constituée d’un système optique qui projette l’image de la scène sur une surface photosensible . Une matrice de photodiodes convertit les photons en électrons, elle constitue la valeur des pixels. Ensuite, ce signal est lu par un dispositif électronique qui le traite afin de reconstituer une image exploitable. Deux parties distinctes du module de la caméra permettent l’acquisition d’images, il s’agit de l’optique, du capteur et de son électronique de lecture. Ces deux étages introduisent des dégradations qu’un étage de traitement supplémentaire doit corriger. Ces trois parties composent le module caméra, qui est de plus en plus distribué comme un composant discret auprès des intégrateurs.

Le système optique

Le principe du système optique consiste à focaliser les rayons à mesurer sur une surface sensible. Le système optique est la partie qui fait l’objet du plus d’économies de la part des fabricants, (par exemple en la remplaçant par un sténopé ou une lentille en plastique) car c’est la partie la plus coûteuse du système de capture des images (le prix du module peut décupler en fonction de l’optique qui lui est adjointe) [Global Sources 2009]. La plus grosse part du coût des optiques vient des éléments mécaniques, comme les lentilles mobiles qui permettent de réaliser la mise au point ou de changer de focale (zoomer). La seconde source de coûts est l’intégration d’éléments de différentes technologies que sont les lentilles, le capteur et le boitier. Alors que la taille du capteur est réduite, le positionnement des modules optiques doit faire l’objet de processus particuliers qui augmentent les coûts de production. C’est pourquoi, dans la grande majorité des cas, les intégrateurs cherchent à supprimer ces éléments en utilisant des lentilles réduites à un sténopé amélioré par une lentille, ce qui offre l’avantage de proposer une profondeur de champ élevée. Les systèmes sont conçus pour fonctionner à l’hyperfocale, et donc supprimer toute opération de mise au point. L’utilisation de « wafer level cameras » permet d’intégrer l’optique directement dans le procédé de fabrication du capteur.

Les imageurs

Le prix d’un capteur est directement corrélé à sa surface ainsi qu’à sa technologie de fabrication. Depuis quelques années la technologie CMOS [Gamal 2005] a pris le pas sur la technologie Charge-Coupled Device (CCD), essentiellement en raison du coût de fabrication des capteurs dans cette technologie, mais aussi de leur consommation électrique qui peut être 10 fois inférieure à celle des capteurs CCD. De plus, la technologie CMOS rend possible l’utilisation de photodiodes de quelques micromètres de côté, résuisant drastiquement la surface des capteurs et donc leurs coûts de fabrication, mais aussi d’augmenter la résolution pour répondre à la demande du marché. Contrairement à la technologie CCD, où la quasi-totalité de la surface des photosites est dédiée à la photodiode, la technologie CMOS nécessite l’utilisation de composants complémentaires qui permettent la lecture des valeurs des pixels. Le facteur de remplissage correspond à la surface du photosite effectivement dédiée à la surface photosensible (photodiode) par rapport au reste de l’électronique utilisée pour l’amplification, l’adressage, la lecture, le reset etc. Pour augmenter ce facteur, les fabricants placent des microlentilles directement devant le photosite. Ces lentilles focalisent les rayons lumineux sur la surface sensible, ce qui permet d’exploiter la majeure partie de la lumière directement sur le capteur. De plus, comme la sensibilité des capteurs CMOS reste faible pour les raisons évoquées précédemment, le signal de chaque pixel est amplifié. Cette amplification a l’avantage de rendre la lecture de la donnée non destructrice puisqu’elle agit comme un tampon. Les travaux de Chen [Chen 2000], puis plus récemment de Tisse [Tisse 2008] ont confirmé que la qualité d’image n’était pas améliorée avec l’augmentation de la densité de pixels sur la même surface de capteur. La grande majorité des capteurs actuellement fabriqués et utilisés au sein des systèmes embarqués sont des capteurs de type CMOS en raison de leur faible consommation électrique, et de leur faible coût de fabrication. Cette technologie permet maintenant d’atteindre des pixels de quelques microns (actuellement moins de 1,75 µm) de côté.

D’autres solutions permettent d’acquérir directement des images couleur à pleine résolution. Il s’agit par exemple d’envoyer la scène sur trois capteurs ayant chacun un filtre de couleur ou d’exploiter Foveon, pour lequel chaque photosite intègre les trois couleurs en exploitant les propriétés d’absorption de la lumière par le silicium [El Gamal 2002]. Il suffit d’utiliser plus de pixels bleus que de pixels verts dans le filtre de couleur. Différents arrangements sont régulièrement proposés selon les constructeurs (Fuji, Kodak etc.).

On considère qu’un pixel est blanc lorsque toutes ses composantes sont à 100 % d’intensité, et gris lorsqu’elles sont toutes à une même intensité. Or l’intensité de chaque longueur d’onde, et donc de couleur, varie d’un illuminant à l’autre, ce qui implique que le blanc ne correspond jamais à 100 % d’intensité quel que soit le jeu de couleurs primaires sélectionné. Les coefficients sont connus lorsque la température de l’illuminant est connue et sont généralement normalisés pour les éclairages artificiels, et sont estimés pour des éclairages naturels. Les longueurs d’onde qui composent l’illuminant peuvent être estimées plus ou moins précisément par une simple mesure. Comme le silicium n’a pas la même sensibilité en fonction des longueurs d’onde, l’arrangement du filtre de couleur est essentiel. Par exemple le signal correspondant au bleu nécessite d’être plus amplifié que les autres couleurs, les bruits deviennent donc plus visibles.

Les défauts introduits lors de l’acquisition des images

L’acquisition des images est réalisée au moyen d’un système optique derrière lequel est placé un capteur photosensible qui est lu par une électronique adaptée. Le signal est dégradé au fur et à mesure qu’il passe par chacun de ces dispositifs. Une partie des rayons lumineux diffractés et réfractés est indésirable et produit des défauts optiques qui sont ensuite visibles sur l’image. Ensuite la capture de l’image introduit des bruits, liés à l’électronique mais aussi aux techniques employées pour lire les signaux.

Défauts introduits par l’optique

Cette partie ne se veut pas être une liste exhaustive des défauts causés par les différents systèmes optiques, que la littérature couvre déjà largement depuis les débuts de l’optique [Balland 2007, Félice 2009]. Nous considérerons donc essentiellement les problèmes induisant la plupart des défauts dans les images issues de capteurs bas coût.

Le système optique ne laisse pas passer toutes les fréquences du spectre, généralement limité au visible (pour les applications dans ce domaine) grâce à un filtre passe-bande placé devant le capteur – sans quoi le capteur réagirait avec toutes les longueurs d’onde auxquelles il est sensible (par exemple avec le proche infrarouge). Selon les matériaux utilisés pour la fabrication du système optique les différentes longueurs d’onde ne sont pas absorbées de la même manière en fonction de l’épaisseur des lentilles, ou des défauts liés au procédé de fabrication. Par exemple, l’utilisation de certaines lentilles induit une dominante bleue sur l’image ou encore un vignettage sur les bords de l’image . De même, les propriétés de réfraction et de diffraction varient spatialement pour une optique donnée et sont à l’origine de nombreux défauts, comme les aberrations chromatiques, ou les « franges pourpres » causées par la déviation des rayons des différentes couleurs. Ils causent aussi les déformations géométriques bien connues en coussinet ou en barillet qui peuvent être caractérisées. L’organisation des éléments optique et leur distance par rapport au capteur ont aussi un impact majeur sur ces défauts, comme par exemple, les jeux de diffraction et de réfraction entre les microlentilles généralement placées devant les photosites d’un capteur.

Table des matières

Introduction
1 Présentation des applications de traitement d’image
1.1 L’acquisition des images dans les systèmes embarqués
1.1.1 La chaîne d’acquisition d’image
1.1.1.1 Le système optique
1.1.1.2 Les imageurs
1.1.2 Les défauts introduits lors de l’acquisition des images
1.1.2.1 Défauts introduits par l’optique
1.1.2.2 Les sources de bruits
1.2 Présentation des algorithmes de reconstruction d’image
1.2.1 Présentation de la chaîne de reconstruction d’image
1.2.2 Réduction des bruits et des défauts
1.2.2.1 Correction des défauts fixes et du bruit spatial fixe
1.2.2.2 Correction du bruit impulsionnel
1.2.2.3 Correction du bruit de pixel
1.2.2.4 Correction des défauts optiques
1.2.3 Correction de la dynamique et des contrastes
1.2.3.1 Contrôle d’exposition
1.2.3.2 Adaptation de la dynamique et correction des contrastes
1.2.3.3 Conclusion sur la correction de dynamique
1.2.4 La reconstruction des couleurs
1.2.4.1 La correction de la balance des blancs
1.2.4.2 Le démosaïquage
1.2.5 L’amélioration d’image
1.2.5.1 Changement d’espace colorimétrique
1.2.5.2 Réduction des artefacts
1.2.5.3 Le rehaussement des contours
1.2.5.4 Le rehaussement des contrastes et l’amélioration des couleurs
1.3 Présentation de chaînes d’amélioration d’image
1.3.1 Première chaîne de traitement
1.3.2 Seconde chaîne de traitement
1.3.3 Troisième chaîne de traitement
2 Etat de l’art des processeurs de traitement d’image et vidéo
2.1 Présentation des architectures dédiées
2.1.1 Les traitements câblés
2.1.2 Les architectures à base de coprocesseurs ou d’accélérateurs dédiés
2.1.3 Utilisation de composants dédiés dans les SoC
2.1.4 Conclusion sur les architectures dédiées
2.2 Présentation des architectures reconfigurables
2.2.1 Coarse-Grained Reconfigurable Image Stream Processor
2.2.2 Multimedia Oriented Reconfigurable Array
2.2.3 Reconfigurable Instruction Cell Array
2.2.4 Approche DART
2.2.5 Autres structures reconfigurables
2.2.6 Conclusion sur les architectures reconfigurables
2.3 Présentation des architectures programmables
2.3.1 Les processeurs spécifiques à une application ASIP
2.3.2 Les processeurs de traitement de flux de données
2.3.3 Les accélérateurs graphiques Graphics Processing Unit (GPU)
2.3.4 Les architectures parallèles Single Instruction Multiple Data (SIMD)
2.3.5 Les processeurs de traitement du signal DSP
2.3.6 Processeurs généralistes embarqués
3 Détermination du modèle architectural
3.1 Analyse des algorithmes
3.1.1 Méthode d’analyse des algorithmes
3.1.1.1 Définition de la méthode d’analyse et d’obtention des résultats
3.1.1.2 Définition de la méthode d’analyse du graphe
3.1.2 Résultats de l’analyse des algorithmes
3.1.2.1 Détermination des besoins en ressources de calcul
3.1.2.2 Détermination des données manipulées et de leurs dynamiques
3.1.2.3 Recensement des opérations utilisées
3.1.2.4 Étude des niveaux de parallélisme
3.1.2.5 Détermination du parallélisme spatial
3.1.2.6 Détermination du parallélisme de tâches
3.1.2.7 Détermination du parallélisme au niveau instructions
3.2 Proposition d’un modèle architectural
3.2.1 Proposition d’un modèle de processeur de calcul
3.2.1.1 Nombre de voies et file de registres
3.2.1.2 Sources de données
3.2.1.3 Les opérateurs nécessaires
3.2.1.4 Look-Up Tables (LUTs) et mémoire de travail
3.2.2 Proposition de regroupement des processeurs SplitWay
3.2.2.1 Mode de fonctionnement
3.2.2.2 Budget en surface silicium et consommation électrique
3.2.2.3 Détermination des groupes de processeurs
3.2.2.4 Communication entre processeurs
3.2.2.5 Gestion des données composites
3.2.3 Définition du mode d’accès aux données
3.2.3.1 Accès au pixel à traiter
3.2.3.2 Accès au voisinage d’un pixel
3.2.4 Contrôle des processeurs
3.2.4.1 Segments de code disponibles
3.2.4.2 Détermination du segment de code à exécuter
3.2.5 Détermination de l’interconnexion entre les éléments de l’architecture
3.2.5.1 Reconfigurabilité gros grain
3.2.5.2 Enchaînement des tuiles de calcul
4 Conception de l’architecture eISP
Conclusion

Lire le rapport complet