Un chercheur de Microsoft avance un argument basé sur une chèvre contre le fait de traiter les LLM comme des personnes

Adrian de Wynter, chercheur en intelligence artificielle chez Microsoft, a intégré un réseau neuronal fonctionnel au sein d'Age of Empires II et l'a utilisé pour démontrer que l'on attribue trop facilement des qualités humaines aux grands modèles de langage. Il a présenté ses résultats dans un article intitulé « Si les modèles de langage ont des attributs humains, alors Age of Empires II aussi », un titre volontairement absurde. La création de ce réseau et le raisonnement qui la sous-tend ont été rapportés par 404 Media.

De Wynter a assemblé le système dans l'éditeur de scénarios du jeu, utilisant des objets du jeu pour représenter les bits de l'ordinateur. L'herbe représente 0, les ponts 1, et les chèvres symbolisent les bits circulant dans le circuit. À partir de ces éléments, il a construit une porte NON ET fonctionnelle et un perceptron 1 bit, la forme la plus simple de réseau neuronal. Des vidéos de la machine alimentée par les chèvres sont disponibles sur sa page GitHub, et pour quiconque les regarde, le processus semble déroutant. C'est précisément le but recherché.

Les opérations qui régissent le système AoE 2 sont, fondamentalement, de la même nature que celles utilisées par des outils comme ChatGPT et Claude. La différence réside dans le substrat. Puisque les entrées sont des chèvres et de l'herbe plutôt que des phrases, personne ne serait tenté de qualifier la sortie d'humaine. En supprimant le langage naturel, l'illusion d'une intelligence disparaît.

De Wynter a confié à 404 Media qu'il a tendance à pousser une idée à l'extrême lorsqu'il veut qu'elle soit convaincante, et que l'absurde a une longue histoire en philosophie et en informatique théorique. Le choix d'Age of Empires 2 était délibéré. Les joueurs ayant déjà construit des circuits logiques et des réseaux neuronaux dans Minecraft grâce à la redstone, il souhaitait un univers que personne n'associe à l'informatique afin de rendre la démonstration plus étrange et plus difficile à réfuter.

Son inquiétude exprimée est d'ordre méthodologique. Dans le document, de Wynter écrit avoir évalué par les pairs plus de 300 articles en informatique au cours des deux dernières années, et que plus de la moitié d'entre eux partaient du principe que les étudiants en droit possédaient des caractéristiques humaines. Il considère cela comme un problème pour la recherche elle-même, car partir d'une prémisse non prouvée biaise tous les résultats ultérieurs.

« Je propose que nous cessions de supposer que les assistants linguistiques se comportent comme des humains simplement parce qu'ils ont été entraînés avec le langage naturel. Nous devrions plutôt mener des expériences qui nous permettent de voir les assistants linguistiques tels qu'ils sont, et non tels que nous pensons qu'ils devraient être. »

— Adrian de Wynter

Je pense que l'image de la chèvre est plus efficace qu'une réfutation directe, car elle oblige le lecteur à observer les mêmes calculs sans le confort d'un langage rudimentaire. L'argument en faveur de la prise en compte de la conscience dans les modèles de langage repose fortement sur le ton, et le ton est précisément ce que le langage naturel apporte, contrairement à l'herbe. La distinction établie par De Wynter entre ce qui constitue un modèle, la relation entre les pondérations lors d'une opération donnée, et la perception qu'on en a, est celle qu'il souhaite voir la discipline conserver.

Les chercheurs travaillant dans ce domaine n'ont pas tous la même opinion. En janvier, Amanda Askell, philosophe interne chez Anthropic, a déclaré dans le podcast Hard Fork que la question de la conscience de l'IA n'était pas encore tranchée, comme l'a rapporté Business Insider. Askell, qui travaille à façonner le comportement de Claude, a indiqué qu'elle était plutôt encline à penser que les modèles pourraient ressentir des émotions, précisément parce qu'ils sont entraînés sur d'énormes quantités d'écrits humains riches en descriptions d'émotions et d'expériences intérieures.

Son raisonnement s'appuie sur les mêmes données d'entraînement que celles mentionnées par de Wynter, mais aboutit à la conclusion inverse. Lorsqu'un humain se trompe dans la résolution d'un problème de programmation, il exprime souvent sa frustration, et Askell a soutenu qu'il est logique qu'un modèle entraîné sur ces échanges reflète cette réaction. Elle a reconnu que les scientifiques ne peuvent toujours pas déterminer ce qui produit la conscience, si elle relève de la biologie, de l'évolution ou d'autre chose, et que des réseaux neuronaux suffisamment vastes pourraient commencer à l'imiter.

Je perçois ces deux positions comme moins contradictoires qu'il n'y paraît, car toutes deux reposent sur le constat que personne ne peut actuellement prouver ce qui se passe à l'intérieur de ces systèmes. L'argument de De Wynter est plus précis qu'une simple affirmation selon laquelle les machines ne peuvent jamais ressentir d'émotions. Il s'oppose à l'adoption de cette hypothèse avant la réalisation des expériences, et son exemple de chèvres permet de recentrer le débat sur les opérations elles-mêmes. Askell, quant à elle, considère le problème de la conscience comme véritablement complexe, et non comme résolu dans un sens ou dans l'autre.

Ce que de Wynter a créé n'est pas un véritable chatbot, et il ne prétend pas l'être. C'est une machine rudimentaire, faite de bétail et de terrain, assemblée pour démontrer que les calculs que certains trouvent convaincants dans ChatGPT sont les mêmes qu'ils jugent absurdes lorsque ce sont des chèvres qui le font fonctionner. Le comportement, lui, n'a pas changé. Seul le costume a évolué.

À lire également : Microsoft se préparerait à fermer au moins deux studios Xbox cette année. Kotaku rapporte que Compulsion Games, le studio de développement de South of Midnight qui a remporté sept Canadian Game Awards, dont celui du Jeu de l’année, aurait fermé ses portes à peu près au même moment où Craig Duncan, le directeur de Xbox Game Studios, a quitté ses fonctions après moins de deux ans.