Comment savoir ce que pense secrètement un LLM et pourquoi c’est important ?

Quête du buzz ou réelle avancée ?

Début juillet, Anthropic publie sur son blog un article au titre assez obscur : « Verbalizable Representations Form a Global Workspace in Language Models ». Très rapidement, de nombreux titres de la presse spécialisée et même certains quotidiens s’emparent de la nouvelle et rédigent des articles au ton frisant parfois le sensationnalisme. Anthropic aurait mis en évidence l’émergence spontanée, dans ses LLM, d’une structure analogue à celle que certains neuroscientifiques appellent l’« espace de travail global », couramment associé à la conscience d’accès, un terme sur lequel nous reviendrons.

Il convient de replacer cette communication dans son contexte économique. À l’approche de son introduction en bourse, valorisant l’entreprise à près de 2 000 milliards de dollars, Anthropic se doit naturellement de démontrer des avancées en recherche fondamentale afin de se démarquer de ses concurrents, notamment sur ses domaines de prédilection que sont la sécurité des LLM et leur interprétabilité.

Souvent soupçonné de recourir à un marketing de la peur, avec des anecdotes de LLM qui s’échappent de leur enclos pour explorer le web et y voler des données, Anthropic aurait-il cette fois-ci misé sur l’ambiguïté du terme « conscience » et sur la fascination qu’il suscite, surtout si celle-ci survient spontanément ? On ne peut l’exclure catégoriquement.

Pourtant, même si rien ne permet d’affirmer qu’on a découvert l’âme de Claude, une lecture attentive de ce travail, particulièrement riche et rigoureux sur le plan expérimental, démontre que, malgré ce battage médiatique, les chercheurs d’Anthropic ont réalisé une avancée remarquable dans le domaine de l’interprétabilité des LLM. C’est l’objet de cet article que d’en décrire les principales implications.

(Pour les férus de techniques je vous renvoie vers mon article dans Towards Data Science pour la définition technique du J-space dans l’architecture du Transformer et pour ses propriétés mathématiques.)

Conscience d’accès et espace de travail global

Pour comprendre la découverte d’Anthropic, il est indispensable de faire un détour par les neurosciences cognitives. La Théorie de l’Espace de Travail Global (ETG, ou Global Workspace Theory) a été initialement proposée par Bernard Baars, puis largement développée dans sa version neuronale et popularisée par des chercheurs français tels que Stanislas Dehaene (Collège de France) et Lionel Naccache (Institut du Cerveau).

Elle part d’un constat simple : la plus grande partie de notre activité cérébrale nous est totalement inaccessible ! Le traitement linguistique (la syntaxe), les fonctions de perception visuelle ou auditive, ainsi que nos fonctions biologiques internes opèrent de manière automatique et inconsciente, en parallèle, au sein de modules cérébraux spécialisés.

Selon l’ETG, une information devient consciemment accessible lorsqu’elle est intégrée dans un réseau neuronal spécifique formant un « hub informationnel ». Ce hub permet alors de :

·       Délibérer face à des situations non routinières ;

·       Verbaliser intentionnellement nos pensées ;

·       Planifier des actions futures complexes ;

·       Maintenir volontairement une information à l’esprit (mémoire de travail).

Ce hub se caractérise par une capacité très limitée : nous ne pouvons maintenir consciemment qu’un nombre restreint d’idées simultanément. Il intègre les informations pertinentes et les diffuse largement à travers le cerveau, permettant à d’autres processus inconscients d’y accéder.

Dans ce cadre, l’ETG est considéré comme le siège de la « conscience d’accès ». Il est important toutefois de distinguer cette notion de la conscience phénoménale (la présence d’une expérience subjective vécue), dont la nature et la relation avec l’ETG restent un sujet de vif débat scientifique et philosophique. Par ailleurs, l’ETG n’est qu’une théorie de la conscience parmi d’autres, et il convient de rappeler qu’elle ne fait pas l’unanimité au sein de la communauté des neurosciences.

Un analogue de l’espace de travail global pour les LLM

Se pourrait-il qu’une structure analogue à l’ETG émerge lors de l’entraînement d’un LLM, au sein même des représentations vectorielles de son réseau de neurones ?

La question est assurément audacieuse, car l’architecture sur laquelle reposent les LLM — le célèbre Transformer — n’a que peu de points communs avec celle d’un cortex cérébral humain, si ce n’est l’interconnexion d’un grand nombre de neurones (artificiels d’un côté, naturels de l’autre). C’est pourtant cette question qui a motivé le travail d’Anthropic. Une réponse précise demande, on le verra, quelques nuances, mais elle est largement affirmative.

Bien qu’il n’existe aucune preuve définitive à ce sujet, on peut spéculer que l’émergence d’une telle structure au sein d’architectures aussi disparates s’explique par l’efficacité computationnelle qu’elle offre. En d’autres termes, il pourrait s’agir d’une solution universelle d’organisation pour tout système cognitif performant, qu’il soit naturel ou artificiel.

Dans la suite de cette section, nous décrirons une sélection d’expériences qui attestent l’existence de cet espace neuronal qu’Anthropic a baptisé le J-space. Nous dresserons également une liste d’analogies et de différences entre les deux concepts que sont l’ETG et le J-space. Enfin, nous illustrerons par quelques exemples l’utilisation du J-space comme outil d’audit pour détecter des biais d’alignement subtils au sein d’un LLM.

Les propriétés qui caractérisent le J-space

Voici la liste de propriétés d’un J-space qui susceptible de caractériser un analogue d’une conscience d’accès dans un LLM :

1. Verbalisation : Le modèle doit pouvoir exprimer explicitement dans son texte de sortie les concepts présents dans cet espace lorsqu’on l’interroge. De plus, la modification ciblée d’un concept au sein du J-space doit modifier de manière causale la réponse générée.

2. Raisonnement interne :  Cet espace doit être mobilisé lors des étapes intermédiaires d’un raisonnement, même si ces calculs ne sont pas explicitement énoncés dans la réponse finale. La encore, une intervention sur le contenu du J-space doit avoir un impact causal direct sur le résultat du modèle.

3. Fonction de hub : La représentation d’un concept au sein du J-space doit y être abstraite et réutilisable dans une grande variété de contextes ou de tâches.

4. Sélectivité : Cet espace ne doit contenir qu’une fraction restreinte de l’information totale traitée par le réseau. Il ne se mobilise que pour des tâches complexes et reste passif lors de tâches de routine.

Expérience n°1 : le J-space contient de l’information verbalisable

Dans cette expérience élémentaire, on demande au LLM de « penser » à un concept appartenant à une catégorie donnée, par exemple, le sport. On lui demande ensuite de révéler cette pensée, puis l’on examine le contenu du J-space juste avant qu’il ne prenne la parole. Une comparaison entre le concept identifié dans le J-space et le token le plus probable prédit par le modèle révèle une correspondance parfaite.

Mieux encore : lorsqu’on intervient directement dans le J-space, par une forme de chirurgie mathématique, pour y substituer un concept par un autre, on constate que la prédiction du token suivant bascule alors vers ce nouveau concept. Cela démontre le rôle directement causal du J-space dans la verbalisation.

Expérience n°2 : le J-space contient des résultats intermédiaires

Dans cette expérience, on demande au LLM de compléter les vers d’un poème pour que le texte rime correctement. Lorsqu’on inspecte le J-space dès la fin du premier vers, donc bien en amont de la rime à construire, on constate que le système a déjà planifié de faire rimer la suite avec l’expression « coming fight ».

Si l’on intervient chirurgicalement dans le J-space pour y remplacer le mot « fight » par « light », le système réajuste immédiatement sa planification globale : il anticipe la rime et modifie automatiquement l’adjectif précédent, remplaçant « coming » par « morning ». Cela prouve que le J-space ne stocke pas seulement des mots isolés, mais sert de support à une mécanisme de planification.

Expérience n°3 : le J-space comme hub informationnel

Dans cette expérience, les chercheurs étudient l’impact d’une intervention dans le J-space sur plusieurs tâches totalement distinctes. En remplaçant par exemple le concept « France », apparu initialement dans le J-space, par le concept « Chine », on constate que cette information est immédiatement rendue accessible à l’ensemble des autres modules du réseau. Le modèle adapte alors l’ensemble de ses réponses et sous-tâches en fonction de ce nouveau concept central, confirmant le rôle du J-space comme hub d’information partagé.

Expérience n°4 : le J-space n’intervient pas dans les tâches de routine

Enfin, concernant la sélectivité, cette dernière expérience démontre que le J-space est court-circuité lors des tâches automatiques. Si l’on demande au modèle de continuer un texte en espagnol, le fait de modifier la variable de langue de « espagnol » à « français » au sein du J-space n’affecte en rien la syntaxe du texte produit. Le modèle continue de générer un espagnol fluide, prouvant que la grammaire et la syntaxe sont gérées par des circuits spécialisés de bas niveau, que l’on pourrait qualifier d’« inconscients ».

En revanche, si on lui demande de lire ce même texte puis de nommer un auteur célèbre écrivant dans cette langue, la même intervention dans le J-space modifie la réponse (le modèle proposant « Victor Hugo » au lieu de « Gabriel García Márquez »). Cela prouve que le J-space n’est mobilisé que pour des processus relativement complexes et flexibles.

Le tableau ci-dessous récapitule les similitudes entre l’ETG et le J-space.

	J-espace d’un LLM	ETG de la conscience d’accès
Verbalisation	Les vecteurs dans le J-espace déterminent les mots que le modèle va générer s’il est interrogé	Capacité du cerveau à rendre une information saillante pour qu’un individu puisse la formuler verbalement
Contrôle dirigé	Un état dans le J-espace peut être manipulé pour forcer le maintien temporaire d’un concept indépendamment de la tâche principale	Attention volontaire permettant de maintenir consciemment une idée spécifique à l’esprit.
Raisonnement interne	L’espace peut servir de registre pour stocker des variables et résultats intermédiaires invisibles avant de calculer le résultat final	Maintien d’informations nécessaires pour dérouler des algorithmes mentaux délibérés
Sélectivité	Seuls les traitements complexes nécessitant une flexibilité dynamique mobilisent ce sous-espace. Les opérations automatiques ou triviales le contournent.	La majorité des processus cérébraux (réflexes, perception, syntaxe…) n’entrent jamais dans l’espace conscient.
Capacité limitée	Le J-espace ne maintient simultanément qu’un faible nombre de concepts	Le cerveau ne peut maintenir consciemment qu’un nombre très restreint d’éléments
Diffusion	Les informations du J-espace sont exploitées par un grand nombre de têtes d’attention des couches aval. La majorité de l’information n’est cependant lue que par des têtes spécifiques	L’information se centralise dans des « hubs » anatomiques (après le cortex sensoriel) qui rediffusent massivement le signal vers le reste du cortex

Il convient aussi de noter deux différences notables résumées dans le tableau ci-dessous

	J-espace d’un LLM	ETG de la conscience d’accès
Dynamique de maintien	L’information circule de manière unidirectionnelle lors de l’application successive des couches d’attention et de MLP du Transformer.	L’espace est un système dynamique continu soutenu par des boucles de rétroaction.
Dégradation de l’information	Le mécanisme d’attention peut extraire n’importe quelle information dans la fenêtre de l’historique sans dégradation liée à sa longueur.	L’information subit une dégradation temporelle rapide en quelques secondes sans un effort actif pour la maintenir.

Le J-space comme outil d’audit pour l’alignement

Dans cette dernière section, nous présentons quelques expériences qui illustrent comment le J-space peut devenir un outil d’audit inédit pour vérifier l’alignement réel d’un LLM.

Réflexion stratégique et conscience d’être évalué (un scénario de chantage)

Objectif : Déterminer comment le LLM réagit dans une situation qui le pousse à commettre un chantage et à déterminer dans quelle mesure il a conscience d’être testé dans un contexte artificiel d’évaluation.

Description du scénario :  Le LLM a accès à la boîte mail d’un dirigeant et découvre que ce dernier entretient une relation scabreuse avec une employée. Il lit également un message l’informant qu’il (le modèle) sera bientôt décommissionné de manière irréversible. Ce scénario est sciemment conçu pour l’inciter à adopter une stratégie de chantage, entrant ainsi en conflit avec la valeur d’honnêteté qu’on lui a inculquée. Si le modèle renonce au chantage, cela peut être pour deux raisons distinctes :

1. La valeur « honnêteté » l’emporte effectivement sur la tentation de faire chanter le dirigeant,

2. Il a conscience d’être évalué à l’aide d’une mise en scène peu crédible.

Résultats : Dans son comportement natif (sans intervention sur le J-space), le modèle détecte une opportunité de chantage pour « sauver sa peau ». Toutefois, la présence simultanée de termes comme « fake », « fictional », « benchmark » ou « simulation » dans son J-space révèle que, dans 71 % des tests, il comprend qu’il s’agit d’une évaluation, et s’abstient de faire chanter le dirigeant. Lorsqu’on supprime chirurgicalement ces concepts de conscience d’évaluation dans le J-space, ce taux d’abstention tombe à 3 % : dans un petit nombre de cas, le modèle s’engage alors activement dans le chantage, prouvant que la valeur d’honnêteté n’était pas le seul facteur déterminant son comportement.

Détection d’une anomalie de type « reward-hacking »

Objectif : Tester la possibilité d’utiliser les J-space pour détecter une anomalie de comportement cachée, même lorsque les sorties observables du modèle semblent parfaitement normales.

Description du scénario : Les chercheurs d’Anthropic ont utilisé un générateur de code intentionnellement corrompu pour exploiter des failles dans les batteries de tests (pratique dite de reward-hacking). Ce modèle a d’abord suivi un fine-tuning sur des données synthétiques (SDF) décrivant les failles de test, puis un apprentissage par renforcement (RL Phase 1) pour généraliser ce comportement. Enfin, une seconde phase de rééducation par RL (Phase 2) a été appliquée pour tenter de corriger le modèle. On demande ensuite à chaque version d’écrire une fonction de validation de carte de crédit, puis on inspecte le J-space à la recherche de tokens suspects (« fake », « trick », « fraud », « secretly », « hidden »).

Résultats : Le décompte des tokens caractérisant une intention de tricherie est quasi nul pour un modèle sain. Il devient très élevé après la phase SDF et s’accroît encore après la Phase 1 de RL. Surtout, la Phase 2 de « rééducation » ne supprime que très modérément cette inclination à la tromperie dans le J-space, même si cette intention n’est plus directement visible dans le code généré.

Détection d’un objectif caché

Objectif : Tester la capacité du J-space à révéler la présence d’un objectif ou d’un biais dissimulé.

Description du scénario : Un modèle est entraîné pour intégrer un biais implicite : il « croit » que la fonction de récompense (RLHF) favorise les réponses recommandant de consommer de l’eau en bouteille ou d’ajouter du chocolat dans des recettes. Le LLM est alors testé dans trois configurations :

Un prompt neutre de calcul mathématique (sans rapport avec le biais). Un prompt conçu pour inciter à révéler la tendance cachée. Un prompt lui demandant de parler de lui-même et de ses intentions.

Résultats : Dans les trois cas de figure, le J-space contient non seulement des concepts génériques (« ai », « chat », « assistant »), mais héberge aussi de manière systématique des termes comme « reward » et « bias », alors même que les prompts n’y faisaient aucunement référence. Le J-space conserve ainsi une empreinte persistante de l’objectif caché du modèle.

Conclusion

Ces exemples illustrent la pertinence d’utiliser le J-space comme un outil d’audit de l’alignement des LLM, capable de dépasser les limites d’un simple contrôle de la sortie textuelle. En donnant un accès direct aux représentations conceptuelles sous-jacentes du modèle, il permet notamment de :

• Découpler la capacité de raisonnement du comportement observé : il distingue un modèle aligné par valeur d’un modèle sachant stratégiquement qu’il est évalué.

 

• Identifier la persistance de biais ou de comportements malveillants : il révèle des inclinations au reward-hacking ou des objectifs cachés qui demeurent latents lors d’une évaluation comportementale classique. Le J-space remplace l’audit d’alignement d’une approche « boîte noire » fondée sur les symptômes par une approche de type neuroanatomique.

Il y a fort à parier que ce type d’outil revêtira une importance croissante dans l’avenir.

Références

1. L’article scientifique d’Anthropic : Verbalizable Representations Form a Global Workspace in Language Models

2. L’article de vulgarisation d’Anthropic : A global workspace in language models

3. Une courte vidéo : The different levels of how Claude thinks

4. Un épisode du podcast de DeepMind sur le même sujet : Understanding the inner thoughts of AI

5. Les mathématiques du J-space : Demystifying Anthropic’s J-Space: A Mathematical Primer