De la lumière au sens, un mystérieux ballet neuronal.
Chaque mot que vous lisez actuellement à l’écran s’imprime sur votre rétine. À chaque instant, celle-ci transmet, dans un ballet de réponses neuronales, les informations lumineuses des pixels noirs et blancs au reste de votre cerveau. Mais au-delà de cette étape sensorielle, comment ce cerveau génère-t-il du sens? Comment construit-il, à partir de ces mots, une structure cohérente, qui s’articule au reste de nos connaissances enfouies dans notre cortex ? C’est précisément cette question qui est explorée dans deux études de l’équipe de Jean-Remi King - chercheur CNRS au Laboratoire des Systèmes Perceptifs, actuellement détaché à Meta AI où il dirige l'équipe Brain & IA - en collaboration avec NYU et Neurospin, publiée successivement dans Cell Reports et PLoS Biology.
Ces deux études utilisent une même méthode : celle du décodage de l'activité cérébrale par magnétoencéphalographie (MEG). Cette technique non-invasive permet de mesurer les champs magnétiques générés par l'activité neuronale dans le cortex: lorsque les neurones s’activent, les courants électriques génèrent instantanément des champs magnétiques. Comme beaucoup de neurones dans le cortex sont alignés spatialement, ces champs se somment entre eux et peuvent être détectés à distance par des magnétomètres très sensibles. En somme, cette technique permet de voir, en temps réel, les processus de nos systèmes cognitifs.
Les deux études s’attaquent chacune à deux types de composition minimale des mots.
Figure 1. champs magnétiques générés par le cerveau, tels que mesurés par la MEG
Dans la première étude, les chercheurs se sont intéressés à la manière dont notre cerveau assemble et maintient des adjectifs et des noms. Par exemple, à la lecture de cette phrase, "un carré bleu à droite d’un triangle rouge", notre cerveau doit non seulement représenter chaque mot, mais aussi les maintenir pour les rattacher correctement aux autres, comprendre ce que cela représente: [🔴🟦] et ainsi éviter de le confondre avec "un carré rouge à droite d’un triangle bleu" [🔵🟥]
Que montre le décodage de l’activité cérébrale? Trois étapes, clairement distinctes.
Tout d’abord, chaque mot est représenté individuellement dans le cerveau, et chaque nom est maintenu jusqu’au traitement de l’adjectif qui lui est rattaché.
Ensuite, et à la surprise des auteurs, le code neural de chacun de ces mots semble disparaître et être remplacé par un autre code, qui, lui, représente la complexité de la phrase – ici mesurée comme la quantité d’éléments différents dans la phrase (deux formes identiques et de la même couleur forment, dans ce contexte, une phrase moins complexe à représenter que deux objets de formes et/ou de couleurs différentes). En somme, le cerveau semble compresser les informations linguistiques pour stocker le tout en mémoire de travail.
Enfin, lorsque le cerveau doit interpréter la phrase pour la comparer à une scène visuelle, il extrait d’abord les propriétés dites "superficielles", comme le lien entre adjectifs et noms, avant de retrouver les propriétés sémantiques profondes, comme par exemple, quel objet est placé à gauche. Ces résultats indiquent que le cerveau "décompresse" les informations pour y accéder de manière précise.
Ainsi, cette première étude montre que notre cerveau plonge chacun des mots dans une structure aux propriétés bien particulières, où les mots individuels semblent disparaître au profit d’un code compressant la phrase.
Dans la deuxieme étude, les scientifiques détricotent un peu plus ce code sémantique. Pour cela, ils/elles étudient comment notre cerveau module des adjectifs en présence d’adverbes intensifiants (really happy) ou opposants (not happy) ou les deux (not really happy).
En suivant les mouvements réalisés pour prendre la décision, les chercheurs et les chercheuses mettent en évidence deux étapes de traitement. D’abord, le cerveau représente l’adjectif individuellement, et ensuite seulement, il module le sens de ce dernier.
L'analyse des signaux MEG a révélé que le cerveau décode les adjectifs négatifs dans les 600 millisecondes suivant leur apparition.
Ces deux études détaillent ainsi, étape par étape, l'enchaînement et la transformation des représentations des mots dans notre cerveau. Que ce soit à travers le maintien d’un code compressé, ou la modulation d’un code existant, ces études analysent la mécanique cérébrale qui a lieu lors de la composition de quelques mots.
Reste maintenant à comprendre comment ce même cerveau généralise cette mécanique pour composer l’ensemble des mots dans des textes bien plus large… tel que cet article!
Bibliography
- Théo Desbordes, Jean-Rémi King, Stanislas Dehaene (2024). Tracking the neural codes for words and phrases during semantic composition, working-memory storage, and retrieval. Cell reports. Volume 43, Issue 3, 26 March 2024, 113847
- Arianna Zuanazzi, Pablo Ripollés, Wy Ming Lin, Laura Gwilliams, Jean-Rémi King, David Poeppel (2024). Negation mitigates rather than inverts the neural representations of adjectives. Plos Biology. doi:10.1371/journal.pbio.3002622