Quand le son fait image

Un jour, des technologies de substitution sensorielle pourraient permettre aux personnes non voyantes de percevoir leur environnement par des stimuli sonores. Mais pour rendre ces technologies réellement efficaces, il faut mieux connaître le fonctionnement du cerveau. Une étude réalisée à l’UdeS a mis en lumière que le cerveau associerait naturellement le timbre sonore – le son distinctif des notes générées par des instruments de musique – à des formes visuelles spécifiques. En revanche, la stratégie d’association des mêmes sons à des couleurs varierait d’un individu à l’autre. L’étude publiée par Mohammad Adeli, candidat au doctorat, et le professeur Jean Rouat, du Département de génie électrique et de génie informatique, fournit des pistes sur les liens entre les cortex auditifs et visuels pour interpréter des stimulations précises. «Il est déjà reconnu que les cortex visuels et auditifs sont fortement interconnectés, mais on ne connaît pas exactement la nature de cette connectivité», explique le professeur Jean Rouat. Ces résultats supposent une possible communication, voire un partage de processus similaires entre les aires responsables de la perception du timbre sonore et celles de la perception des formes visuelles, estiment les chercheurs.

Vers la substitution sensorielle

Jusqu’à maintenant, le principe de la substitution sensorielle est assez établi. Toutefois, les systèmes qui visent à transformer des éléments visuels en stimuli sonores offrent des résultats rudimentaires. Une application iPhone/iPad a été développée à l’UdeS (lien en fin de texte), mais le professeur de génie Jean Rouat prévient que les capacités sont limitées : «Ça dépanne un peu, mais ce n’est pas encore l’idéal. On a besoin de comprendre beaucoup plus finement comment s’opère le couplage entre la vision et l’audition, au niveau du cerveau.»

Ainsi, les recherches se trouvent au croisement de la neurophysiologie, de la psychologie et du génie. «L’article que nous venons de publier est un élément de réponse qui nous permet de proposer une meilleure conception des systèmes de substitution sensorielle, dit le professeur. Au départ, la question était la suivante : est-ce que toute personne adopte la même stratégie, indépendante des individus, quand vient le temps d’associer un timbre sonore avec des formes ou des couleurs? Les résultats tendent à montrer que c’est le cas et nous allons exploiter cette constance dans notre système de substitution sensorielle.»

8 instruments, 3 formes, 4 couleurs et 4 teintes de gris

Alors que certaines études antérieures d’autres chercheurs utilisaient des stimuli sonores simples, dans cette expérience, 23 sons musicaux dérivés de 5 instruments non percussifs (violoncelle, guitare, piano, marimba et saxophone) et 3 percussions (triangle, cymbale, gong) ont été utilisés. Le timbre sonore ‒ ce qui permet de différencier un instrument de musique qui joue la même note ‒ était au cœur de cette étude.

Les sujets devaient répondre à un questionnaire en ligne. Ils entendaient chaque son d’une durée d’une seconde, selon un ordre aléatoire. Pour rendre la tâche plus difficile, les sons des 5 instruments non percussifs avaient une durée et une enveloppe temporelle uniformisées, afin que le système auditif ne puisse pas facilement identifier l’instrument. À l’écran s’affichaient 3 types de formes (arrondies, pointues et mixtes) présentées en 4 couleurs ou teintes de gris. Les sujets devaient sélectionner ce qu’ils percevaient comme l'équivalent visuel de chaque son entendu.

Ce sont 119 sujets ‒ 31 femmes et 88 hommes ‒ qui ont participé à l'expérience en ligne. Parmi les sujets, 36 personnes ont déclaré être des musiciens professionnels, 47 être des musiciens amateurs, et 36 être non musiciens.

Une forte association entre le timbre sonore et des formes visuelles a été observée. «Il s’agit de la principale conclusion de notre étude. Par exemple, les sons lisses comme ceux émis par le piano et le marimba ont été associés à la forme arrondie; les sons qui proviennent d'instruments de percussion avec la forme dentelée et des sons comme ceux issus du saxophone avec la forme mixte», souligne Mohammad Adeli. Si les sujets ont associé certains timbres sonores à certaines couleurs, les chercheurs n’ont pas trouvé la même constance que celle constatée dans l’association timbre/forme. Le choix des couleurs ne semble pas avoir influencé le choix des formes. Le niveau de connaissance musicale, le sexe ou l’âge des sujets ne semblent pas avoir eu d’effet sur les résultats non plus.

Univers sensoriel et cerveau

Pour le professeur Jean Rouat, l’étude ouvre la porte à creuser les recherches et à poser de nouvelles hypothèses. «À notre connaissance, cette étude est la première qui tient compte de sons complexes et d’éléments visuels aussi précis, dit-il. Les résultats confirment à un niveau plus large certains éléments qui étaient déjà ressortis de travaux précédents. Par exemple, d’autres chercheurs avaient identifié une certaine association avec les couleurs mais sans établir de stratégie commune chez les sujets. Nos résultats vont dans le même sens. La principale nouveauté qu’apporte notre étude est qu’elle permet de trancher de façon assez certaine qu’une stratégie commune semble exister dans l’association timbre sonore/forme visuelle.»

Cela dit, ajoute Mohammad Adeli, l’étude soulève aussi des doutes sur des conclusions d’études précédentes. Par exemple, dans des travaux utilisant des stimuli plus simples, les sujets ont souvent associé des sons aigus à une idée de verticalité ou de hauteur. «Dans notre contexte, où des sons plus complexes ont été utilisés, les sujets ont ignoré ces caractéristiques alors que le timbre sonore et les formes visuelles ont davantage attiré leur attention», dit-il.

Pour Jean Rouat, cela semble donner des indications sur le fonctionnement du cerveau. Bien que l’étude n’aborde pas directement ces questions, le chercheur pose l’hypothèse qu’au niveau physiologique, il peut exister une bonne connectivité des aires corticales du cerveau qui régissent l’interprétation des sons et des images. Ainsi, on peut penser que «l’interprétation des formes visuelles intervient plus près du cortex auditif, alors que l’interprétation des couleurs fait appel à des circuits neuronaux plus éloignés et différents, se trouvant plus bas dans la hiérarchie. Les résultats recueillis renforcent cette compréhension et semblent logiques».

Selon le chercheur, on a longtemps cru ‒ à tort – que des zones précises du cerveau contrôlaient exclusivement la vision, l’audition ou la motricité. «Plus on avance dans les neurosciences, plus on constate qu’il existe un couplage très fort des zones corticales associées aux capacités visuelles et auditives, dit le chercheur. On peut apprendre à renforcer un couplage vision/audition en raison de cette très forte connectivité. Nos travaux ne nous permettent pas d’aller jusque-là pour l’instant, mais le fait de comprendre et d’identifier des stratégies communes nous permet d’avancer vers la création de prothèses de substitution et dans le développement d’outils liés à la création artistique.»

Ultimement, le raffinement de ces connaissances pourrait aider les chercheurs à créer des outils qui entraîneront le cerveau à «voir» les sons ou «entendre» les images…

Le professeur Rouat tient à remercier ses étudiants et collaborateurs du Groupe de recherche en neurosciences computationnelles et traitement intelligent des signaux (NECOTIS) de l’UdeS, du Laboratoire de neurophysiologie de l’UdeM et du Centre interdisciplinaire en technologies médias et musique (CIRMMT) ainsi que le professeur Denis Bélisle.