From light to meaning, a mysterious neuronal ballet
Every word you read on the screen is imprinted on your retina. At every moment, it transmits the luminous information from the black and white pixels to the rest of your brain, in a ballet of neuronal responses. But beyond this sensory stage, how does the brain generate meaning? How does it build a coherent structure from these words, one that articulates with the rest of our knowledge buried in our cortex? This is precisely the question explored in two successive studies by the team of Jean-Remi King - a CNRS researcher at the Laboratoire des Systèmes Perceptifs, currently seconded to Meta AI where he heads the Brain & AI team - one published in Cell Reports and the other in PLoS Biology.
Ces deux études utilisent une même méthod e: celle du décodage de l'activité cérébrale par magnétoencéphalographie (MEG). Cette technique non-invasive permet de mesurer les champs magnétiques générés par l'activité neuronale dans le cortex : lorsque les neurones s’activent, les courants électriques génèrent instantanément des champs magnétiques. Comme beaucoup de neurones dans le cortex sont alignés spatialement, ces champs se somment entre eux et peuvent être détectés à distance par des magnétomètres très sensibles. En somme, cette technique permet de voir, en temps réel, les processus de nos réseaux cognitifs.
Les deux études s’attaquent chacune à deux types de composition minimale des mots.
Figure 1. champs magnétiques générés par le cerveau, tels que mesurés par la MEG
Dans la première étude, les chercheurs se sont intéressés à la manière dont notre cerveau assemble et maintient des adjectifs et des noms. Par exemple, à la lecture de cette phrase, "un carré bleu à droite d’un triangle rouge", notre cerveau doit non seulement représenter chaque mot, mais aussi les maintenir pour les rattacher correctement aux autres, comprendre ce que cela représente: [🔴🟦] et ainsi éviter de le confondre avec "un carré rouge à droite d’un triangle bleu" [🔵🟥]
Que montre le décodage de l’activité cérébrale? Trois étapes, clairement distinctes.
Tout d’abord, chaque mot est représenté individuellement dans le cerveau, et chaque nom est maintenu jusqu’au traitement de l’adjectif qui lui est rattaché.
Ensuite, et à la surprise des auteurs, le code neural de chacun de ces mots semble disparaître et être remplacé par un autre code, qui, lui, représente la complexité de la phrase – ici mesurée comme la quantité d’éléments différents dans la phrase (deux formes identiques et de la même couleur forment, dans ce contexte, une phrase moins complexe à représenter que deux objets de formes et/ou de couleurs différentes). En somme, le cerveau semble compresser les informations linguistiques pour stocker le tout en mémoire de travail.
Enfin, lorsque le cerveau doit interpréter la phrase pour la comparer à une scène visuelle, il extrait d’abord les propriétés dites "superficielles", comme le lien entre adjectifs et noms, avant de retrouver les propriétés sémantiques profondes, comme par exemple, quel objet est placé à gauche. Ces résultats indiquent que le cerveau "décompresse" les informations pour y accéder de manière précise.
Ainsi, cette première étude montre que notre cerveau plonge chacun des mots dans une structure aux propriétés bien particulières, où les mots individuels semblent disparaître au profit d’un code compressant la phrase.
Dans la deuxieme étude, les scientifiquent détricotent un peu plus ce code sémantique. Pour cela, ils/elles étudient comment notre cerveau module des adjectifs en présence d’adverbes intensifiants (really happy) ou opposants (not happy) ou les deux (not really happy).
En suivant les mouvements réalisés pour prendre la décision, les chercheurs et les chercheuses mettent en évidence deux étapes de traitement. D’abord, le cerveau représente l’adjectif individuellement, et ensuite seulement, il module le sens de ce dernier.
L'analyse des signaux MEG a révélé que le cerveau décode les adjectifs négatifs dans les 600 millisecondes suivant leur apparition.
Ces deux études détaillent ainsi, étape par étape, l'enchaînement et la transformation des représentations des mots dans notre cerveau. Que ce soit à travers le maintien d’un code compressé, ou la modulation d’un code existant, ces études analysent la mécanique cérébrale qui a lieu lors de la composition de quelques mots.
Reste à maintenant comprendre comment ce même cerveau généralise cette mécanique pour composer l’ensemble des mots dans des textes bien plus larges… tel que cet article!
Bibliography
- Théo Desbordes, Jean-Rémi King, Stanislas Dehaene (2024). Tracking the neural codes for words and phrases during semantic composition, working-memory storage, and retrieval. Cell reports. Volume 43, Issue 3, 26 March 2024, 113847
- Arianna Zuanazzi, Pablo Ripollés, Wy Ming Lin, Laura Gwilliams, Jean-Rémi King, David Poeppel (2024). Negation mitigates rather than inverts the neural representations of adjectives. Plos Biology. doi:10.1371/journal.pbio.3002622