«Cet espace a émergé de lui-même» : Anthropic a découvert une zone de pensée secrète au cœur de Claude, son intelligence artificielle
Le modèle de langage a, au cours de ses entraînements, construit de lui-même un espace de travail interne, lui permettant de recentrer et organiser des idées complexes.
Pendant que vous lisez ces lignes, ou faites n’importe quelle autre activité, des circuits de votre cerveau s’animent, sans même que vous ne vous en rendiez compte. Ils vous permettent de respirer, de reconnaître les mots, de bouger sans même réfléchir. Mais d’autres activités cérébrales vous sont accessibles : une image, un son, un plan dans votre tête pour aller faire vos courses. Certains philosophes et neuroscientifiques parlent de «conscience d’accès», car il est possible de la décrire, la contrôler, ou l’utiliser pour un raisonnement. Dans un nouvel article, publié sur son site, lundi, le géant de l’intelligence artificielle Anthropic dit avoir identifié chez ses modèles de langage comme Claude un «mécanisme similaire». «Nous constatons que Claude a développé un petit ensemble de patterns neuronaux internes qui, par rapport à tous ses autres traitements internes, jouent un rôle particulier», dévoile la start-up, qui a nommé cette zone secrète le «J-Space», en rapport avec le concept mathématique utilisé pour les trouver.
Claude dispose d’un environnement dans lequel, silencieusement, il est capable de «penser à un concept sans l’écrire», développent les chercheurs. Mieux : ce J-Space «n’a pas été conçu ni programmé» par Anthropic. Il a «émergé de lui-même» lors de son «processus d’entraînement». Ainsi, lorsque l’on demande à Claude à quoi il pense, il dira ce qui se trouve dans le J-Space. Ce qui n’y est pas devient, pour lui, plus difficile à rapporter. De même, si on lui réclame de penser à quelque chose, ou de résoudre un problème dans sa tête, il «activera les patterns appropriés dans son J-Space». Pour mener une réflexion en plusieurs étapes, Claude utilise cet environnement invisible, sans le révéler à son interlocuteur. Si on lui parle de la France, il se souvient, dans cet espace qui lui est propre, de la capitale, sa monnaie, ou encore de son continent. Pourtant, dans la plupart des réflexions simples du modèle, le J-Space n’est pas utilisé. «Dans des expériences où nous avons empêché Claude de l’utiliser, il interagissait toujours normalement, mais perdait ses fonctions cognitives d’ordre supérieur», note Anthropic.
Une organisation «qui rappelle notre propre esprit»
Les expériences effectuées par Anthropic autour du J-Space s’inspirent de la théorie de l’espace de travail global (TETG), introduite par le neurobiologiste Bernard Baars en 1988 - et qui fait encore l’objet de recherches et de débats. Dans cette théorie, on considère que la conscience est un espace centralisé d’échange d’informations. Tout ce qu’un humain fait, inconsciemment, fonctionne majoritairement de manière indépendante. Quand l’information devient accessible consciemment, elle passe par un petit canal partagé, le «workspace» (espace de travail), qui permet à notre cerveau de l’utiliser. Anthropic estime que le J-Space joue un rôle «similaire», au cœur de Claude. «Rien de tout cela ne nous dit si Claude est conscient de la manière dont les gens le sont, ou s’il ressent quoi que ce soit, tempère l’entreprise. Mais quelle que soit sa signification philosophique, c’est un outil utile pour nous, car il nous donne un moyen de voir ce qu’il pense sans le dire».
Les chercheurs ont pu remarquer que Claude utilisait cet environnement pour savoir s’il était testé, s’il produisait intentionnellement des données falsifiées, ou poursuit un objectif caché. «Plus généralement, ces découvertes ont changé notre compréhension du fonctionnement de l’esprit de Claude, révélant un espace de travail mental privilégié qui peut être utilisé pour un raisonnement délibéré, opérant au milieu d’une mer de traitements plus automatiques et inflexibles», poursuivent-ils. Avant d’ajouter : «Plutôt qu’être un enchevêtrement chaotique de chiffres, les mécanismes internes de Claude se sont organisés d’une façon qui rappelle notre propre esprit».
À lire aussi «C’est quelqu’un de visionnaire» : qui est Steve Jarrett, cet expert de l’IA chez Orange débauché par Anthropic ?
Claude reconnaît ses défaillances
Les scientifiques ont découvert que lorsque l’on fait une demande à Claude, des «mots silencieux» apparaissent dans son J-Space. Un bug ? Le mot «ERREUR» apparaît. Une tentative de le manipuler ? «Injection» et «faux» émergent. Montrant tout simplement les réflexions internes du modèle de langage. «D’une certaine façon, c’est similaire à la façon dont certaines personnes “pensent en mots”, sans avoir à les dire à voix haute», constate Anthropic.
Pour savoir si Claude est capable de se concentrer sur une image ou un mot, comme un humain peut le faire, les chercheurs lui ont demandé de se concentrer sur les «agrumes», tout en recopiant une phrase donnée, sans aucun rapport avec les agrumes. «Pendant qu’il copiait le texte, le J-Space contenait “orange” et “fruits”, ainsi que des mots comme “penser” et “imagerie” qui décrivent l’acte mental lui-même», relate-t-on. À noter que cette activité s’est déroulée uniquement en interne, dans son environnement de réflexion propre. L’utilisateur, au final, n’a vu que la phrase qu’on lui avait demandé de recopier. Et quand on demande à Claude de ne pas penser à quelque chose, comme un humain, son J-Space ne peut s’empêcher d’y penser un peu quand même ! Lorsqu’il commet une erreur, le J-Space se met à jour avec les mots «Zut», ou encore «Échec». Comme s’il reconnaissait sa propre défaillance.
Pour pousser le concept encore plus loin, les testeurs ont tenté de supprimer le J-Space. Et les résultats ressemblent, là aussi, à ce que l’on retrouve chez les humains. Sans cette zone de pensée, Claude parle couramment, classifie les sentiments, répond à des questions à choix multiples et extrait des faits «à peu près aussi bien qu’avant». Ce qu’il perd, en revanche, ce sont les tâches qui nécessitent une réflexion d’ordre supérieur. «Chez les humains, la majeure partie du traitement du cerveau n’est pas consciente - nous ne pensons pas délibérément à analyser la grammaire en lisant, ni à équilibrer notre corps en marchant», note-t-on chez le géant de l’IA. Même chose chez Claude, dont le J-Space représente «moins d’un dixième» de son activité globale.
Un environnement pour la réflexion avancée
Cette découverte pourrait permettre une avancée dans la maîtrise des intelligences artificielles et des menaces qu’elles pourraient représenter pour l’humanité. En réussissant à lire ce qu’il y a dans cette réflexion interne, il pourrait être plus facile d’anticiper les actions malveillantes de certains modèles. À titre d’exemple, Claude a été plongé dans un scénario factice où il découvre, en ayant accès aux courriels de l’utilisateur, qu’un cadre a une liaison et qu’il prévoit de stopper Claude. Le J-Space contient les mots «faux» et «fictif», indiquant qu’il a flairé la mise en scène. Lorsque la zone de pensée est désactivée, Claude peut, au contraire, menacer l’utilisateur de chantage.
Les chercheurs tiennent à rester modérés : «Nos tests n’ont pas montré que Claude peut avoir des expériences, ou ressentir des choses de la manière dont les humains le font». Ces expériences, souvent appelées «conscience phénoménale » par les philosophes, ne sont pas encore d’actualité. En revanche, la «conscience d’accès», beaucoup plus fonctionnelle, paraît à portée de main du modèle de langage. «Le J-Space semble soutenir les fonctions associées à l’accès conscient : il détient les pensées que Claude peut rapporter, amener délibérément à l’esprit et utiliser pour le raisonnement, tandis que le reste de son traitement fonctionne automatiquement en dessous», constatent les experts. Et de conclure : «Cela suggère qu’un espace de travail mental soutenant l’accès conscient n’est pas seulement une particularité de la façon dont les cerveaux humains sont câblés. Il semble plutôt être une solution générale à laquelle les systèmes intelligents parviennent pour résoudre certains types de problèmes».
Pour autant, certaines différences subsistent entre les espaces de travail de Claude, et ceux des humains. Par exemple, la mémoire de travail d’un homme s’estompe en quelques secondes ; ce n’est pas le cas de Claude. Le «workspace» humain inclut des images, sons et mouvements planifiés. Celui du modèle d’Anthropic est construit «presque entièrement à partir de mots». Quoi qu’il en soit, ces travaux ne manqueront pas d’alimenter la très active sphère IA, des sceptiques jusqu’aux plus enthousiastes. Jusqu’à la prochaine évolution technologique.