Formalisation d’un plan cinématographique de référence pour deux acteurs

Planification de caméra

Le problème de la planification de caméra étant une spécialisation du problème de planification de mouvement, il existe des méthodes assez similaires à celles-ci.
Exemple d’approche exacte Dans son article [GAG04], Andújar propose de réprésenter l’espace à un plus haut niveau, d’y chercher un chemin et de le retranscrire ensuite dans l’espace réel. On se place dans le cas où on l’on connait entièrement l’environnement dans lequel se trouvent des points d’intérêt que l’on souhaite filmer lors du passage de la caméra. Pour cela : on décompose l’espace.

Modèle

Étant donnés des acteurs et un environnement dans lequel ils peuvent circuler, notre objectif est de filmer ces acteurs d’un point de départ à un point d’arrivée dans cet environnement. L’approche classique consiste à planifier premièrement la trajectoire des acteurs puis celle de la caméra. Le problème de cette approche est qu’il est possible, une fois la trajectoire des acteurs calculée, de ne pas trouver de position pour la caméra donnant un point de vue de qualité acceptable. Ainsi, afin d’éviter ce genre de situation, nous proposons de planifier simultanément les déplacements des acteurs et de la caméra, en privilégiant la qualité globale du film.
Nous nous sommes donc ramenés à un problème de planification de mouvement dans un espace prenant en compte la configuration de la caméra en plus de celle des acteurs. Comme dans tout problème de planification, notre objectif est donc de trouver un chemin reliant deux configurations du système en restant dans l’espace libre. Étant donné qu’il faut prendre en compte la qualité du film, la navigation dans l’espace libre ne sera pas sans contraintes. Nous différencions donc deux types de contraintes : les contraintes dites fortes qui correspondent aux contraintes physiques de l’environnement (collision), et les contraintes dites faibles qui correspondent au contraintes de qualité cinématographique.
Afin de simplifier le problème, nous nous sommes restreints à la planification de deux acteurs filmés par une caméra. Dans un premier temps, nous exposerons quels ont été nos choix pour paramétrer notre système, puis nous décrirons quelle méthode nous avons utilisé pour représenter l’espace dans lequel s’effectuera la planification et nous finirons par exposer notre processus de planification à travers cet espace.

Hypothèses

Le problème général de la planification d’acteurs et de caméra est complexe : combien d’acteurs sont présents dans la scène ? Quels sont les mouvements des acteurs autorisés ? Quels sont les mouvement de caméra autorisés ? L’environnement est-il statique ou dynamique ?. . .
Nous allons considérer certaines hypothèses simplificatrices qui nous permettront de résoudre ce problème dans des cas particuliers. Nous souhaitons implémenter notre modèle et le valider sur un environnement-test (voir section Résultats). Nous ne visons pas de performances calculatoire permettant d’avoir un rendu en temps réel, nous recherchons principalement à avoir un film de bonne qualité. Pour simplifier ce problème, nous prendrons donc les hypothèses suivantes :
– l’environnement est représentable par un ensemble fini de triangles,
– l’environnement est entièrement statique,
– seul deux acteurs évolueront dans cet environnement.

Vue générale du problème

La résolution d’un problème de planification de mouvement est généralement divisée en plusieurs étapes :
1. définition et identification de l’espace des configurations,
2. choix d’une représentation de cet espace,
3. recherche et parcours de l’espace des configurations.
Dans notre cas nous planifions simultanément le déplacement de deux acteurs et d’une caméra les filmant. Aussi, dans la mésure où notre procédure est similaire à la résolution d’un problème de planification de mouvement, elle se déroulera en plusieurs étapes :
1. Identification de « plans cinématographiques de référence » et définition de la qualité d’un plan,
2. Génération d’un modèle adapté au calcul de la qualité d’un film et basé- « plan de référence »,
3. Représentation de l’espace des configurations associé au modèle,
4. Parcours de l’espace des configurations et génération d’une trajectoire de « bonne qualité ».
Dans la suite, nous détaillerons ces étapes une à une, les choix que nous avons fait dans chacune d’entre elles ainsi que les raisons qui nous ont poussés à faire ces choix.

Modélisation du problème

La qualité d’un film repose sur plusieurs paramètres, notament la qualité des plans cinématographiques (voir figure 20) qui le composent ; cette qualité peut par exemple se mesurer à l’aide d’une distance à ces plans.
Aussi, étant donné que la qualité d’un plan est difficilement exprimable à partir de la configuration des acteurs et de la caméra, nous proposons de n’autoriser qu’un sous-ensemble de plans cinématographiques. Dans la mesure où un style cinématographique est notamment décrit par l’ensemble des plans utilisés lors de la réalisation du film, nous estimons qu’ils seront fournis par l’utilisateur comme entrée du problème, en plus d’un environnement et d’un point de départ
et d’arrivée dans l’environnement considéré. Notre problème se résume donc, étant donné un environnement, un point de départ et d’arrivée et une liste de plans de référence cinématographiques, à déterminer les trajectoires de deux acteurs et d’une caméra partant du point de départ et joignant l’arrivée sans discontinuité de position pour les acteurs et en ne filmant que par les plans de référence donnés en entrée.

Formalisation d’un plan cinématographique de référence pour deux acteurs

Dans notre modèle, nous définissons un plan cinématographique de référence P (voir figure 19) comme un tuple (r, c, h, f, ~oc, d, 1, 2) où, pour une position des acteurs P1 et P2 fixée,
– r est le rapport des distances (caméra-milieu des acteurs) et distance entre acteur : dc/da,
– c est l’angle entre la ligne d’acteur et l’axe (milieu des acteurs ! caméra),
– h est la hauteur de la caméra,
– f est la focale de la caméra,
– ~oc est l’orientation de la caméra,
– d est l’angle (préférentiel) de déplacement du couple d’acteurs,
– 1 et 2 sont les orientations des deux acteurs.
Ainsi, étant donné une position des acteurs, un plan de référence détermine entièrement la configuration de la caméra, de manière à assurer une certaine disposition de ceux ci à l’écran (voir figure 20). Ces plans peuvent être issus de la littérature, ou directement extraits de films existants. Dans notre modèle, tous les plans dont nous nous servirons seront donnés en entrée du problème.

Contraintes sur le modèle

À présent que nous avons décrit les degrés de liberté de notre système, nous allons le paramétrer de manière à facilement prendre en compte certaines contraintes. Les contraintes ’fortes’ sont :
– la non-collision des acteurs et du plan de projection de la caméra avec l’environnement,
– la continuité du déplacement des acteurs du point de départ à l’arrivée,
– la réalisation du film uniquement par des plans de référence donnés en entrée.
Ces contraintes sont dites ’fortes’ car elles déterminent des configurations interdites.
Des contraintes dites ’faibles’ sont également prises en compte :
– la qualité des plans cinématographiques : distance par rapport à un plan de référence,
– la qualité des transitions : réalisme des trajectoires des acteurs et qualité de la trajectoire de la caméra,

Représentation de l’espace des configurations

Une configuration du triptyque est un quadruplet (P, pic, d, ). Afin de relier la configuration de départ à celle d’arrivée, il nous faut calculer des configurations intermédiaires de manière à obtenir un chemin continu entre le départ et l’arrivée.

Décomposition de l’espace

Certains degrés de liberté de notre triptyque correspondent à ceux calculés à partir des plans de référence (une fois les deux positions des acteurs P1 et P2 fixées, la configuration de la caméra et l’orientation des acteurs sont déterminés par le plan de référence), mais dans la mesure où ces plans sont fournis par l’utilisateur et qu’ils sont les seuls autorisés, les degrés de liberté correpondant ne font pas partie de l’espace de recherche. Aussi nous décomposons l’espace des configurations en autant de sous-espaces S1, S2, . . . qu’il y a de plans de référence P1, P2, . . . en entrée.
Chaque sous-espace Si est de dimension quatre, et correpond à l’ensemble des configurations dans lesquelles le plan de référence Pi est fixé. Cette décomposition de l’espace préserve la facilité de changement de plan : une fois les sous-espaces calculés, pour savoir si un changement de plan Pi ! Pj peut s’effectuer à partir d’une configuration des acteurs C = (pic, , d), il suffit de tester l’appartenance de ce point aux deux espaces Si et Sj . Reste maintenant à représenter ces sous espaces de manière à pouvoir planifier le déplacement d’une configuration à une autre dans un espace à quatre dimensions où le plan de référence est fixé.

Exploration des sous-espaces à l’aide de roadmaps probabilistes

Plusieurs méthode existent pour représenter ces sous-espaces. Nous avons choisi de les représenter à l’aide de prms. Leurs constructions s’effectuent en deux étapes :
1. tirage aléatoire de nouvelles configurations correpondant au sommet du graphe des prms,
2. liaison des configurations entre elles.

Propriétés du modèle basé plans de référence

Le fait de calculer exhaustivement l’ensemble des orientations admissibles pour le triptyque permet de réduire d’une dimension le problème ; ce caractère particulier a été appliqué à l’orientation plutôt qu’à la position du pic ou à la distance inter-acteurs car elle est dans un intervalle borné ([0, 2]) indépendament de l’environnement (contrairement à la position) et qu’elle intervient grandement dans la planification (contrairement à la distance inter-acteurs). Cette décomposition des dimensions peut être vue comme une superposition de prms : une par plan de référence (voir figure 21), dans lesquelles l’espace des configurations est à quatre dimensions. Étant donné qu’un changement de plan correspond à un saut d’un sous-espace à l’autre en fixant les paramètres (pic, d, ), nous tirons les mêmes points dans chaque sous-espace, à savoir le pic et la distance d. Ainsi, les changements de plan possibles sont facilement identifiables : il suffit de vérifier que deux configurations ayant même pic et même d possèdent une orientation en commun dans deux prms. Tirer les mêmes paramètres pour chaque prm de chaque plan de référence permet donc de définir les points pour lesquels des changements de plan sont possibles. Notre représentation permet ainsi de facilement contrôler la qualité des plans (par la pondération de sommets dans une prm) et la qualité des changements de plan (par pondération des arêtes inter-prm), et de les contrôler séparément : ce qui permet éventuellement de favoriser plus ou moins une qualité par rapport à une autre.

Modélisation du problème

La qualité d’un film repose sur plusieurs paramètres, notament la qualité des plans cinématographiques (voir figure 20) qui le composent ; cette qualité peut par exemple se mesurer à l’aide d’une distance à ces plans. Aussi, étant donné que la qualité d’un plan est difficilement exprimable à partir de la configuration des acteurs et de la caméra, nous proposons de n’autoriser qu’un sous-ensemble de plans cinématographiques. Dans la mesure où un style cinématographique est notamment décrit par l’ensemble des plans utilisés lors de la réalisation du film, nous estimons qu’ils seront fournis par l’utilisateur comme entrée du problème, en plus d’un environnement et d’un point de départ et d’arrivée dans l’environnement considéré.
Notre problème se résume donc, étant donné un environnement, un point de départ et d’arrivée et une liste de plans de référence cinématographiques, à déterminer les trajectoires de deux acteurs et d’une caméra partant du point de départ et joignant l’arrivée sans discontinuité de position pour les acteurs et en ne filmant que par les plans de référence donnés en entrée.
Ainsi, étant donné une position des acteurs, un plan de référence détermine entièrement la configuration de la caméra, de manière à assurer une certaine disposition de ceux ci à l’écran (voir figure 20). Ces plans peuvent être issus de la littérature, ou directement extraits de films existants. Dans notre modèle, tous les plans dont nous nous servirons seront donnés en entrée du problème.

Contraintes sur le modèle

Représentation de l’espace des configurations

Décomposition de l’espace

Exploration des sous-espaces à l’aide de roadmaps probabilistes

Propriétés du modèle basé plans de référence

Le fait de calculer exhaustivement l’ensemble des orientations admissibles pour le triptyque permet de réduire d’une dimension le problème ; ce caractère particulier a été appliqué à l’orientation plutôt qu’à la position du pic ou à la distance inter-acteurs car elle est dans un intervalle borné ([0, 2]) indépendament de l’environnement (contrairement à la position) et qu’elle intervient grandement dans la planification (contrairement à la distance inter-acteurs). Cette décomposition des dimensions peut être vue comme une superposition de prms : une par plan de référence (voir figure 21), dans lesquelles l’espace des configurations est à quatre dimensions. Étant donné qu’un changement de plan correspond à un saut d’un sous-espace à l’autre en fixant les paramètres (pic, d, ), nous tirons les mêmes points dans chaque sous-espace, à savoir le pic et la distance d. Ainsi, les changements de plan possibles sont facilement identifiables : il suffit de vérifier que deux configurations ayant même pic et même d possèdent une orientation en commun dans deux prms. Tirer les mêmes paramètres pour chaque prm de chaque plan de référence permet donc de définir les points pour lesquels des changements de plan sont possibles.
Notre représentation permet ainsi de facilement contrôler la qualité des plans (par la pondération de sommets dans une prm) et la qualité des changements de plan (par pondération des arêtes inter-prm), et de les contrôler séparément : ce qui permet éventuellement de favoriser plus ou moins une qualité par rapport à une autre.

Lissage de trajectoire

Une suite continue de configurations reliant un point de départ à un point d’arrivée n’étant pas toujours cinématographiquement qualitative, nous procédons à un lissage de cette trajectoire afin d’en augmenter la qualité (par rapport à une fontion donnée). Ce procédé consiste par exemple à limiter les variations de vitesse et d’accélération induites par la trajectoire de sorte à la rendre physiquement réaliste.
Dans notre problème, cette étape contribue grandement à la maximisation de la qualité des transitions (déplacement du triptyque avec un plan de référence fixe) car la qualité d’une transition dépend du déplacement de la caméra ainsi que du déplacement des acteurs. Cette étape contribue également à la maximisation de la qualité des plans, en effet le lissage modifiant la trajectoire, il est
possible de favoriser le passage par des endroits où la visibilité est bonne et de pénaliser ceux où la visibilité est réduite ; il est également possible de favoriser le passage par des endroits où l’arrière plan est intéressant (notion de points d’intérêt de l’environnement).
Dans notre modèle, nous n’avons pas encore explicité de fonction de coût pour les trajectoires, nous choisissons donc comme fonction de lissage « le plus court chemin à vue » (voir figure 26) qui correspond à un chemin « naturel » pour un déplacement. Nous avons en entrée de la fonction de lissage une trajectoire valide issue du parcours de graphe de la prm (qui est une succession de sommets entre lequel le pic se déplace en ligne droite), valide dans le sens où nous avons trouvé un chemin continu du point de départ à celui d’arrivée libre de collision avec l’environnement. Nous déterminons alors les configurations successives du triptyque de la manière suivante.

Résultats et perspectives

Résultats

Dans le but de pouvoir valider la pertinence de notre modèle, nous avons en vons fait une implémentation. Cette implémentation nous permettra également de tester différentes fonctions de qualité dans des situations-types (Exemples : zones où la visibilité est réduite, zones où les déplacements sont très contraints, . . .). Nous avons donc construit un environnement type (voir figure 30) dans lequel nous pouvons tester notre modèle sur ces différentes situations.
Dans un premier temps, nous avons construit un ensemble de prms pour différents types de plans (« Two shot » et « OverTheShoulder » pour les deux acteurs).
Nous avons ensuite implémenté l’algorithme de D¼kstra ainsi que la fonction de lissage explicités dans la section précédente.
Pour le moment, nos prms sont indépendantes, dans le sens où nous ne tirons pas les mêmes points pour chacune d’entre elles, nous ne pouvons donc pas encore effectuer de changement de plan. Nous n’avons pas non plus terminé l’implémentation de la construction de la carte topologique et de fait, la division du problème en sous-problèmes. Nous arrivons cependant à parcourir le graphe d’une prm, à plan de référence fixe donc, à en extraire une trajectoire valide (pour l’instant notre algorithme de D¼kstra nous fourni une seule trajectoire) ainsi qu’à lisser cette trajectoire grâce à notre fonction de lissage (voir figure 29). Pour le moment, notre code n’étant pas optimisé, nous calculons une prm en approximativement une heure sur un processeur Intel(R) Xeon(R) CPU 2.93 GHz ; RAM : 6 Go, et une fois la prm calculée, un chemin tel que celui fourni en exemple (voir figure 29 : environ 25 mètres) se calcule (à savoir : application de l’algorithme de D¼sktra et lissage) en approximativement 5 minutes.

Perspectives

Dans notre implémentation, il nous faut définir plus de plans de référence (extrait de films ou de la littérature) et construire simultanément (en proposant les mêmes configurations) les prms qui leur sont associées. De cette manière les changements de plans sont possibles et nous pouvons parcourir l’ensemble des prms pour planifier les trajectoire des acteurs.
Il nous faut également implémenter la division du problème général en plusieurs sous-problèmes ; c’est à dire achever l’implémentation de la construction de la carte topologique, permettre à notre algorithme de D¼kstra de rendre les k meilleurs chemin à priori et comparer la qualité des chemins lissés.
Dans un troisième temps, il faudra aussi décrire complètement une fonction de qualité pour le film, à savoir expliciter une fonction de qualité pour les changements de plans et une pour les transitions de manière à avoir une fonction de qualité globale Qglobale = f(Qplans, Qtransitions, Qchangements). Une fois ces fonctions définies, nous pourrons optimiser les paramètres de f (par apprentissage par exemple), de manière à favoriser plus ou moins un critère de qualité (le style de l’utilisateur pourra également être pris en compte).
Nous avons conçu notre modèle en définissant un « point d’intérêt central » pour une scène. Cette notion est généralisable à des scènes plus complexes (plus d’acteurs par exemple). Il suffit donc, pour pouvoir planifier les déplacements des acteurs de la caméra, d’étendre notre modèle en définissant des plans de référence adaptés pour chaque scène et d’adapter les fonctions de qualité pour le lissage et le parcours de graphe.

Le rapport de stage ou le pfe est un document d’analyse, de synthèse et d’évaluation de votre apprentissage, c’est pour cela chatpfe.com propose le téléchargement des modèles complet de projet de fin d’étude, rapport de stage, mémoire, pfe, thèse, pour connaître la méthodologie à avoir et savoir comment construire les parties d’un projet de fin d’étude.

Table des matières

1 État de l’art
1.1 Planification de mouvement
1.1.1 Représentation du robot
1.1.2 Espace des configurations
1.1.3 Recherche de chemin dans l’espace des configurations
1.2 Positionnement de caméra
1.2.1 Cinématographie
1.2.2 Règles cinématographiques
1.2.3 Planification de caméra
2 Modèle
2.1 Hypothèses
2.2 Vue générale du problème
2.3 Modélisation du problème
2.3.1 Formalisation d’un plan cinématographique de référence pour deux acteurs
2.3.2 Contraintes sur le modèle
2.3.3 Abstraction du modèle
2.4 Représentation de l’espace des configurations
2.4.1 Décomposition de l’espace
2.4.2 Exploration des sous-espaces à l’aide de roadmaps probabilistes
2.4.3 Propriétés du modèle basé plans de référence
2.5 Calcul et lissage de la trajectoire
2.5.1 Parcours des prms
2.5.2 Lissage de trajectoire
2.5.3 Réduction de l’espace de recherche
3 Résultats et perspectives
3.1 Résultats
3.2 Perspectives