Synthèse et contrôle haut-niveau de sons de roulement

Synthèse sonore

La synthèse sonore est aujourd’hui une discipline établie, trouvant ses racines dans les travaux pionniers de Max Mathews aux laboratoires Bell vers la fin des années 1950 (Mathews et Guttman, 1959; Mathews, 1963) (bien que des ordinateurs aient déjà joué des sons au début des années 1950 (Hill, 1954), voir (Doornbusch, 2004) pour un résumé historique sur ce point). Les premières synthèses numériques étaient effectuées à partir d’oscillateurs, de formes d’ondes pré-calculées et lues à vitesse variable, ainsi que de filtres. Rapidement, des applications musicales ont vu le jour comme l’arrangement de Bicycle Built for Two par Max Mathews en 1961 ou la composition Computer Suite from Little Boy de Jean-Claude Risset en 1968.
Actuellement, on peut diviser les méthodes de synthèse en deux grandes classes : les modèles dits de “signaux” ou “abstraits”, et les modèles dits “physiques”. Bien qu’on puisse établir des liens entre certains modèles de signaux et certains modèles physiques, la philosophie de chacune de ces classes de modèles est très différente. Les modèles physiques s’attachent à décrire, modéliser et reproduire la cause physique à l’origine du son. La phase de modélisation se fait en général indépendamment de toutes considérations perceptives. Si le résultat sonore du modèle ne satisfait pas l’expérimentateur, afin s’approcher d’un son plus “réaliste”, ou plus “perceptivement satisfaisant”, celui-ci tentera généralement de raffiner la description physique du phénomène. A l’inverse, les modèles de signaux sont souvent dits “abstraits” car ils ne partent généralement pas d’une modélisation de la physique du phénomène. Comme on le verra un peu plus loin, ces modèles partent généralement d’une représentation particulière des signaux (e.g. une somme de sinusoïdes). Le but est ensuite d’ajuster les paramètres pour obtenir le signal désiré. Ces paramètres peuvent être ajustés par un schéma d’analyse/synthèse sur des sons enregistrés où l’expérimentateur tentera de s’approcher au mieux du signal analysé. On peut ensuite juger du résultat de deux manières : soit d’un point de vue purement mathématique en mesurant un ou plusieurs critères (erreur de reconstruction par exemple), soit d’un point de vue perceptif en jugeant de la qualité de la synthèse (par des tests d’écoute par exemple). Une autre manière d’ajuster les paramètres d’un modèle de synthèse abstrait est d’aborder le problème d’un point de vue phénoménologique.

Contrôle des attributs perceptifs de la source sonore

On pourrait supposer que les modèles permettant le meilleur contrôle intuitif de l’évocation qui soit sont les modèles physiques, car ils décrivent directement le phénomène sous-jacent la production du son. Cependant, au-delà du fait qu’ils sont en général plus coûteux en temps de calcul que les modèles de signaux, cette supposition n’est pas entièrement vraie. Dans le cas d’une plaque par exemple, les paramètres que pourra définir l’utilisateur sont entre autres le module d’Young, le coefficient de Poisson ou la masse volumique, qui sont des paramètres difficilement appréhensibles par un non physicien et qui ne sont pas reliés directement à des évocations, par exemple du matériau. En effet, la réalité physique n’est pas nécessairement la réalité perceptive : il n’est pas dit qu’en imposant les valeurs des coefficients de l’aluminium trouvées dans des abaques dans le modèle physique (de plaque ou de barre par exemple) que le son évoquera nécessairement un objet métallique (de même que le son réellement produit par un objet métallique ne sera pas nécessairement perçu comme tel). De plus, à l’état de nos connaissances actuelles, ces modèles ne permettent pas de générer tous les sons souhaités (par exemple, il semble complexe d’envisager la modélisation physique d’une scène de pluie).
Dans le cas de la synthèse additive de sons d’impacts, Aramaki et al. (2009b, 2011) proposent un contrôle intuitif du matériau perçu. La calibration du contrôle haut-niveau s’est basée à la fois sur des tests perceptifs et sur des considérations physiques. Ce synthétiseur a également l’intérêt de permettre des transitions perceptives continues entre les différents matériaux, permettant de créer des sons intermédiaires, ce qui a un intérêt notamment pour étudier le fonctionnement du système auditif (Aramaki et al., 2009a; Micoulaud-Franchi et al., 2011). Ces transitions continues sont plus simples à effectuer sur des modèles de signaux que sur des modèles physiques : en mettant en avant les dimensions permettant de discriminer les matériaux, on peut interpoler les paramètres de synthèse pour passer d’un matériau à l’autre selon ces dimensions (de la même manière que l’espace de timbre proposé par Wessel (1979) pour les instruments de musique). Ce synthétiseur offre de plus l’avantage de contrôler le processus de synthèse à différents niveaux, aussi bien en manipulant des évocations (matériau) que des paramètres intermédiaires (entre l’évocation et les paramètres de synthèse) liés au timbre.
Des travaux sont actuellement poursuivis pour étendre ce contrôle à la forme perçue de l’objet impacté (Rakovec et al., 2013). On reviendra sur ce synthétiseur plusieurs fois au cours de cette thèse.

Domaines d’utilisation de la synthèse sonore

Au-delà des applications musicales évidentes qui furent les premières utilisations de la synthèse sonore, celle-ci est d’un grand intérêt pour plusieurs domaines. D’un point de vue fondamental, la synthèse sonore est d’intérêt pour étudier la perception auditive. Aramaki et al. (2009a) ont par exemple étudié l’activité cérébrale lors de l’écoute de continua entre matériaux sur des sons d’impacts générés par un modèle de synthèse contrôlable à haut-niveau. Ces mêmes sons ont été utilisés pour mettre en évidence les différences perceptives entre schizophrènes et non-schizophrènes (Micoulaud. Franchi et al., 2011). McDermott et Simoncelli (2011); McDermott et al. (2013) ont quant à eux étudié la perception des textures sonores, et en particulier la manière dont elles sont probablement codées au niveau cérébral grâce à un modèle de synthèse inspiré par la physiologie du système auditif. Geffen et al. (2011) ont eux étudié la manière dont sont probablement codés au niveau cérébral les sons de liquides en utilisant un modèle de synthèse proposé par van den Doel (2004).
La synthèse sonore peut également trouver des applications importantes dans le design sonore. En effet, Susini et al. (2014) proposent la définition suivante du design sonore : A “sound design” approach is implemented in order to create “new” sounds with the intention that they will be heard in a given context of use. By new sounds, we mean sounds that cannot be found in existing sound databases, or cannot be recorded or, at least, cannot be directly used without being modified.

Perception des sons de roulement

La thèse de Houben (2002) s’est intéressée à la capacité auditive à déterminer la taille et la vitesse de billes en bois roulant sur des surfaces en bois par l’écoute d’enregistrements. Pour les tests, les enregistrements présentant des modulations d’amplitudes ou des “irrégularités” (dues par exemple à un rebond de la bille) ont été exclus, et tous les sons ont été normalisés au même niveau en dB SPL afin que les sujets ne puissent se baser sur cet indice acoustique. Pour l’évaluation de la taille, les sujets devaient choisir la bille la plus grosse dans un test de comparaison entre 2 sons produits par des billes de tailles adjacentes (i.e. entre deux bille de tailles successives, les diamètres choisis étant 22, 25, 35, 45, 55, 68 et 83 mm). Les résultats moyennés sur les huit sujets ayant participé à l’expérience montrent une bonne capacité à distinguer la bille la plus grosse entre deux sons. Pour évaluer la perception de la vitesse, 7 vitesses différentes ont été enregistrées (0.36, 0.50, 0.63, 0.71, 0.79, 0.87, et 0.93 m/s), et toutes les paires ont été comparées (la bille est à taille constante). Les résultats montrent encore une fois que les sujets sont capables de déterminer la bille la plus rapide. Des expériences supplémentaires montrent par la suite un fort effet d’interaction entre la taille est la vitesse, et que lorsque les deux covarient, les performances dans le jugement de la taille et de la vitesse diminuent (performances nettement plus dégradées pour la vitesse). Une étude des propriétés spectrales et temporelles sur lesquelles les auditeurs ont pu se baser est ensuite effectuée. Aucun descripteur temporel n’a été mis en évidence. En revanche, les auteurs calculent le “barycentre de sonie spécifique” (centroid of the specific loudness), qui décrit dans quelle bande auditive ERB l’intensité sonore est la plus élevée (Zwicker et Fastl, 1990). Ce descripteur permet de très bien prédire la discrimination de la taille de la bille. L’effet en fonction de la vitesse est beaucoup moins marqué. Par la suite, Houben et al. (2005) ont monté des expériences sur des stimuli transformés, en “mélangeant” les contenus spectraux et temporels de différents stimuli, dans le but d’évaluer l’importance de chaque information pour la perception de la taille et de la vitesse des billes roulantes. Les résultats montrent que si les sujets doivent discriminer la bille la plus grosse, ils choisissent effectivement un son présentant le spectre d’une grosse bille. Si en revanche les sujets doivent déterminer la bille la plus rapide, ils se basent plutôt sur le contenu spectral d’une petite bille. Les informations temporelles ne montrent ainsi que peu d’effet comparativement aux informations spectrales. Les auteurs en concluent donc que l’information de taille est prédominante sur l’information de vitesse, et qu’elle est basée sur des indices spectraux. Ces expériences confirment de plus l’effet d’interaction entre la taille et la vitesse, notamment que la perception de la vitesse est grandement influencée par la taille de la bille.

Perception et utilisation des sons de friction

Divers auteurs ont considéré les sons de friction dans des études perceptives. Avanzini et al. (2004) ont par exemple utilisé des sons de friction dans une tâche audio-visuelle interactive, où le modèle proposé par Avanzini et al. (2005) était contrôlé en temps-réel par le geste de l’utilisateur. Le but de l’expérience était de déterminer si la modalité auditive peut substituer le retour haptique dans une tâche d’évaluation des propriétés inertielles d’un objet virtuel manipulé par l’utilisateur. Le même modèle de synthèse de sons de friction a également été utilisé par Serafin et al. (2013) afin d’évaluer l’apport d’un retour sonore sur une tâche d’équilibre. Danna et al. (2013) ont utilisé des sons de frottements de synthèse (Van Den Doel et al., 2001) afin de sonifier en temps-réel des variables pertinentes de l’écriture manuscrite (pression instantanée du stylo sur le papier et vitesse tangentielle instantanée). Le but de leur expérience était d’évaluer l’apport d’un retour sonore sur l’activité d’écriture pour la réhabilitation de la dysgraphie, qui est une pathologie affectant les capacités motrices fines provoquant ainsi une extrême difficulté à accomplir la tâche d’écriture, ces troubles intervenant indépendamment des capacités à lire et n’étant pas liés à un un trouble psychologique (Hamstra-Bletz et Blöte, 1993; Smits-Engelsman et al., 2001).
D’un point de vue plus fondamental, Thoret et al. (2014) ont étudié la perception auditive des mouvements biologiques. Ici encore, le modèle de synthèse de sons de frottements proposé par Van Den Doel et al. (2001) est utilisé pour générer les stimuli, ainsi que des enregistrements d’écriture manuscrite. Les résultats de cette étude montrent que, à l’instar d’autres modalités (e.g. en vision (Viviani et Stucchi, 1989, 1992) ou en proprioception (Viviani et al., 1997)), la perception auditive des mouvements biologiques est contrainte par la loi dite en “1/3” (Lacquaniti et al., 1983).

Table des matières

Introduction 
I Contexte et enjeux de la thèse 
A Synthèse sonore 
A.1 Modèles de signaux
A.2 Modèles physiques
B Contrôle de la synthèse sonore
B.1 Contrôle du timbre
B.2 Contrôle des attributs perceptifs de la source sonore
C Domaines d’utilisation de la synthèse sonore
D Paradigme d’étude 
D.1 Approche écologique de la perception
D.2 Invariants perceptifs : comment le son nous informe ?
D.3 Paradigme action-objet
D.4 Modèle de synthèse adopté
E Enjeux de la thèse
E.1 A partir des sons d’interactions entre objets solides
E.2 … vers les métaphores sonores
E.3 Méthodologie et organisation du document
II Synthèse et contrôle haut-niveau de sons de roulement
A Synthèse et perception des sons de roulement : état de l’art 
A.1 Synthèse de sons de roulement
A.1.1 Les modèles basés sur la physique
A.1.2 Les modèles empiriques de signaux
A.1.3 Les modèles basés sur des schémas d’analyse/synthèse
A.2 Perception des sons de roulement
B Mise en évidence d’un invariant transformationnel du roulement 
B.1 Sujets
B.2 Stimuli
B.3 Protocole
B.4 Résultats
B.5 Discussion
C Modélisation de l’invariant transformationnel 
C.1 Caractérisation de la force d’interaction
C.2 Schéma d’analyse/synthèse de la séquence d’impact
C.3 Indice pour la perception de la vitesse de roulement
C.4 Modélisation de la forme de l’impact
C.5 Estimation des paramètres
D Stratégie de contrôle intuitif
D.1 Contrôle de la taille de la bille
D.2 Contrôle de la vitesse de la bille
D.3 Contrôle de la rugosité de la surface
E Evaluation perceptive de la stratégie de contrôle intuitif
E.1 Sujets
E.2 Stimuli
E.3 Protocole
E.4 Résultats
E.5 Discussion
F Discussion générale 
III Extension du Modèle à d’Autres Interactions et Stratégie de Contrôle du Synthétiseur 
A Sons de friction : état de l’art 
A.1 Synthèse de sons de friction
A.1.1 Synthèse de sons de friction linéaire
A.1.2 Synthèse de sons de friction non-linéaire
A.2 Perception et utilisation des sons de friction
B Etude perceptive des interactions “frotter” et “gratter” 
B.1 Catégorisation perceptive de sons de friction enregistrés
B.1.1 Sujets
B.1.2 Stimuli
B.1.3 Protocole
B.1.4 Résultats
B.1.5 Discussion
B.2 Analyse qualitative des sons catégorisés
C Contrôle perceptif des actions “frotter” et “gratter” 
C.1 Description du contrôle
C.2 Validation par synthèse
C.2.1 Sujets
C.2.2 Stimuli
C.2.3 Protocole
C.2.4 Résultats
C.2.5 Discussion
D Modèle générique de sons d’interactions continues 
D.1 Description des paramètres du modèle
D.2 Morphologie des différentes interactions
D.2.1 Morphologie de l’interaction “gratter”
D.2.2 Morphologie de l’interaction “frotter”
D.2.3 Morphologie de l’interaction “rouler”
D.3 Stratégie de navigation dans l’espace des actions
D.3.1 Définition des prototypes
D.3.2 Espace sonore des interactions
E Perspectives d’élargissement de l’espace sonore des interactions : vers la friction non-linéaire 
E.1 Modèle de synthèse source-filtre de sons de friction non-linéaire
E.2 Construction du modèle d’excitation pour les actions “rouler”, “frotter” et “gratter” en synthèse additive
E.2.1 Modèle simplifié
E.2.2 Application aux interactions rouler, frotter et gratter
F Discussion générale
IV Métaphores Sonores 
A Les textures sonores : définition 
B Synthèse de textures sonores : état de l’art 
B.1 Synthèse soustractive de textures sonores
B.2 Autres méthodes de synthèse de textures sonores
C Proposition d’un modèle d’analyse/synthèse de textures sonores 
C.1 Définition du modèle
C.2 Estimation d’un modèle AR
C.3 Estimation d’un modèle AR en sous-bandes
D Création de métaphores sonores 
D.1 Contribution de l’interaction
D.2 Exemples de métaphores sonores
E Construction du corpus sonore pour les tests perceptifs
E.1 Choix des textures sonores et resynthèse
E.2 Choix des interactions
F Expérience 1 : métaphores sonores vs. mélange des sons 
F.1 Sujets
F.2 Stimuli
F.3 Protocole
F.4 Résultats
F.5 Discussion
G Expérience 2 : reconnaissance des interactions dans la métaphore
G.1 Sujets
G.2 Stimuli
G.3 Protocole
G.4 Résultats
G.5 Discussion
H Expérience 3 : reconnaissance des textures originales dans la métaphore
H.1 Sujets
H.2 Stimuli
H.3 Protocole
H.4 Résultats
H.5 Discussion
Discussion générale
Conclusion et Perspectives

Télécharger le rapport complet