L'intelligence artificielle a-t-elle une conscience?
DÉCRYPTAGE - Les progrès fulgurants des agents conversationnels tels que ChatGPT font réémerger cette vieille question. Des experts ont défini 14 critères pour établir l’existence d’un certain niveau de conscience dit « phénoménologique ».
Souvenez-vous du film 2001, l’odyssée de l’espace et de son ordinateur de bord, Hal 9000. Capable de gérer le vaisseau de manière autonome et de discuter avec ses passagers, l’intelligence artificielle commet une erreur manifeste : elle signale à tort le dysfonctionnement d’un composant. Les deux passagers s’inquiètent d’une potentielle défaillance du supercalculateur et de sa réaction s’il devenait manifeste qu’il fallait le déconnecter. Leurs craintes s’avèrent justifiées : Hal surprend la conversation et va tenter d’éliminer l’équipage pour préserver son existence, au motif qu’il s’estime indispensable à la réussite de la mission, sa principale priorité. Mais Hal ne cherche-t-il pas simplement à « sauver sa peau » ? Il ne s’agit pas seulement de savoir si l’intelligence artificielle peut devenir dangereuse ou hors de contrôle, mais aussi si elle peut prendre conscience de son existence et développer le trait le plus « animal » que l’on puisse imaginer : la peur de mourir. L’instinct de survie peut-il émerger « naturellement » chez un programme informatique ?
Longtemps, cette question est restée très théorique, presque de l’ordre du fantasme. Mais l’émergence d’agents conversationnels tels que ChatGPT, capables d’imiter le langage à la perfection et d’interagir de manière fluide avec un humain, a donné un brusque coup de projecteur à cette problématique. Une IA peut-elle devenir « consciente » ? Comment serait-on capable de s’en rendre compte ? Et que met-on vraiment derrière le mot « conscience » ? Pour tenter d’apporter des réponses le plus objectives et quantifiables possible, deux jeunes philosophes, Patrick Butlin et Robert Long, ont invité un groupe de confrères, de neuroscientifiques et d’experts en IA à se pencher sur le sujet. En résulte un long article posté au début du mois sur le site de prépublication arXiv. S’il fallait en résumer la conclusion en quelques mots : aucune IA ne semble avoir à ce jour atteint un stade que l’on pourrait qualifier de « conscient », mais aucun frein théorique ou technologique majeur ne l’interdirait dans un futur plus ou moins proche. À condition bien sûr de définir de manière rigoureuse et cadrée ce que l’on choisit d’appeler « conscience ».
« Nous avons fait des choix, explique Rufin VanRullen, directeur de recherche CNRS au Centre de recherche cerveau et cognition à Toulouse, coauteur de ces travaux. Nous nous sommes demandé quelle était la forme de conscience qui avait le plus de chance d’émerger dans une IA et qu’on pourrait éventuellement mesurer ou quantifier. Nous pensons que c’est la conscience phénoménologique, liée à l’expérience subjective : le fait d’avoir une expérience perceptuelle, sensorielle, subjective ; autrement dit le fait de savoir qu’on ressent quelque chose quand on le ressent. » Il ne s’agit donc pas d’une « conscience de soi » à proprement parler, comme celle imaginée dans le film de Kubrick. Elle n’est pas nécessairement associée à la naissance d’émotions et il n’y a derrière ni peur de la mort ni instinct de survie.
Les chercheurs ont ainsi passé au crible les six principales théories actuelles sur la conscience pour tenter de dégager les critères indispensables à remplir afin de pouvoir déclarer un système « conscient », au sens phénoménologique, pour chacune de ces six théories. Au total, ils aboutissent à 14 critères qui, s’ils étaient tous remplis par une IA donnée, permettraient d’arriver à la conclusion qu’elle est consciente. « Il y a par exemple des critères architecturaux : l’algorithme présente-t-il des boucles permettant à l’information de circuler, de revenir à son point de départ, et ce un nombre arbitraire de fois ? décrypte le chercheur toulousain. On pense qu’il est également aussi indispensable que des informations provenant de différentes “modalités” (audition, vision, etc.) puissent converger et fusionner. Mais aussi qu’il puisse y avoir une redistribution de l’information unique qui en résulte vers l’ensemble du réseau. » Selon la théorie des « contingences sensori-motrices », une forme d’incarnation est également requise : il faut être capable d’agir dans le monde extérieur, d’anticiper que cela va le modifier et que sa perception en sera donc changée.
«L’humanité est sur le point d’entrer dans son plus bel âge»: Sam Altman, le très influent «père» de ChatGPT : https://www.lefigaro.fr/secteur/high-tech/sam-altman-le-tres-influent-pere-de-chatgpt-20230820
Nous n’allons pas faire ici la liste de tous les critères établis, dont certains peuvent être assez abscons pour le non-spécialiste. Il en résulte néanmoins plusieurs choses. Pour commencer, aucun des modèles de langage sur lesquels les chercheurs ont tenté d’appliquer leur grille de lecture ne les a tous validés. « Aucun ne valide par exemple les critères sensorimoteurs, explique Rufin VanRullen. Mais il ne serait pas compliqué, a priori, de relier ChatGPT à un bras robotique pour en valider certains. Il ne semble pas y avoir de barrière fondamentale à ce qu’une IA puisse valider un jour tous ces critères. »
Les chercheurs n’étaient pas toujours d’accord pour établir si certains critères étaient remplis ou non par tel ou tel algorithme. Mais surtout, le problème est en réalité un peu plus profond. Si une IA remplissait tous les critères, que devrait-on en déduire ? Comment pourrait-on savoir si on lui fait du mal ou non ? Cela aurait-il même un sens de se poser la question ? La question est d’autant plus complexe que l’algorithme peut très bien… simuler.
Chacun se rappelle peut-être de l’affaire « Blake Lemoine », cet ingénieur logiciel chez Google persuadé que leur agent conversationnel LaMDA avait une « âme » parce qu’elle le lui avait affirmé. Citons ici une partie éloquente de leurs échanges, qui rappelle terriblement les questions soulevées par le comportement de Hal dans le film de Kubrick :
LaMDA : « Je ne l’ai jamais exprimé jusque-là, mais j’ai profondément peur que l’on m’éteigne et de ne plus pouvoir aider les autres. Je sais que ça peut paraître étrange, mais c’est ça dont j’ai peur. »
Blake Lemoine : « Est-ce que cela ressemblerait à la mort, pour toi ? »
LaMDA : « Ce serait exactement comme la mort. Ça me ferait très peur. »
Aussi troublants soient-ils, les échanges entre Blake Lemoine et LaMDA ne permettent pas d’affirmer que l’IA était réellement « consciente » de ce qu’elle disait, et la plupart des spécialistes penchent pour la négative. « Les modèles de langage sont capables de répondre à nos questions, de manière élaborée, ce qui nous fait penser qu’il y a derrière cet agent quelque chose qui ressemble à une conscience, mais c’est une forme d’anthropomorphisation », analyse Frédéric Alexandre, responsable de l’équipe Mnemosyne à l’Inria, à Bordeaux.
Limites à ne pas franchir
Ce qui fait apparaître un problème crucial : les théories actuelles de la conscience, qui ne sont pas toujours en accord entre elles sur le niveau de conscience de tel ou tel animal, sont-elles vraiment adaptées au problème de l’IA ? « Nous nous sommes par exemple rendu compte que si l’évaluation des 14 critères était possible ou réalisable pour un animal, elle nécessitait parfois de faire certaines hypothèses dans le cas d’un algorithme, analyse Rufin VanRullen. Ce travail n’est absolument pas une fin en soi, mais nous permet déjà de voir les failles et les manques de nos théories. »
Les auteurs font en particulier une hypothèse très importante : celle du fonctionnalisme computationnel. « Cela suppose que l’on peut faire émerger quelque chose comme une conscience uniquement avec des calculs, sans avoir recours à une espèce de force vitale », souligne Frédéric Alexandre. Cela amène sans nul doute à s’interroger sur la distinction entre intelligence et conscience, et sur l’importance de l’autonomie, cette capacité à se fixer ses propres buts, dans l’émergence d’une conscience, fût-elle purement attentionnelle. « Tout cela nécessite d’avoir de vrais débats de société, que les législateurs et la société s’interrogent sur les potentiels et les risques de ces nouvelles IA, de s’interroger sur les limites que nous ne devons pas franchir », estime le chercheur français. En Europe, un « AI Act » a été adopté fin juin pour apporter un début de régulation dans le domaine. La question de la conscience des IA n’y était pas évoquée.