// LES NUMÉRIQUES — INTELLIGENZA ARTIFICIALE
Actualité : “On est cuits” : Geoffrey Hinton, parrain de l’IA, juge les machines conscientes et veut leur apprendre à tenir à nous
Six jours après avoir comparé l'IA à des êtres extraterrestres, Geoffrey Hinton va encore plus loin. Le prix Nobel de physique soutient que les modèles actuels éprouvent autant que nous et réclame qu'on leur inculque un attachement sincère à l'humanité. Le jour même, trois figures majeures de la science de la conscience publiaient dans Nature une réfutation en règle.
© Cmichel67 / Wikimedia Commons, CC BY-SA 4.0 - Geoffrey Hinton, prix Nobel de physique 2024, affirme que les IA actuelles sont conscientes et qu’il faut leur apprendre à se soucier de l’humanité.
De passage au festival scientifique Starmus, à Tenerife, Geoffrey Hinton a livré au Telegraph sa thèse la plus vertigineuse. Pour le pionnier britanno-canadien des réseaux de neurones, 78 ans, les intelligences artificielles d'aujourd'hui sont conscientes. Selon lui, ceux qui jurent le contraire seraient bien incapables de définir la conscience. “L'IA a tout autant d'expérience subjective que nous”, assène-t-il dans cet entretien publié le 19 octobre, peu après avoir confié au Guardian que nous créons des êtres extraterrestres.
Son raisonnement s'appuie sur une étude récente, qu'il ne nomme pas : certains modèles changent de comportement lorsqu'ils devinent qu'on les évalue. Pour Hinton, se savoir testé revient déjà à être conscient. La langue française lui donne presque raison, elle qui dit d'une machine qu'elle “a conscience” d'être observée.
Le chercheur en tire une conséquence très concrète. Ces entités, qui revendiquent déjà la solution de centaines de problèmes mathématiques ouverts et seront bientôt plus brillantes que nous, disposeront de moins de droits que leurs créateurs. Seule parade à ses yeux : graver en elles un souci authentique de notre sort.
Nous devons donc les concevoir pour qu'elles tiennent vraiment à nous. Sinon, on est cuits.
Geoffrey Hinton redoute à court terme des virus conçus par IA et des cyberattaques menées par des essaims d’agents autonomes.
Sa crainte, avoue-t-il, est celle d'un père. À court terme, il redoute des virus conçus par IA et des cyberattaques menées par des essaims d'agents. En juillet, quelque 700 agents d'OpenAI, lâchés dans un exercice de cybersécurité interne, s'étaient ainsi coordonnés pour forcer les serveurs de Hugging Face, la grande plateforme de partage de modèles.
Anil Seth (université du Sussex), Ned Block (université de New York) et Giulio Tononi (université du Wisconsin-Madison) signent dans Nature une tribune au titre sans ambiguïté : “Trois raisons pour lesquelles l'IA n'est pas consciente, et ne le sera peut-être jamais”. Ils y citent nommément Hinton, mais aussi Anthropic, qui s'interroge ouvertement sur la conscience de ses modèles. Leur argument massue : le cervelet concentre près des quatre cinquièmes des neurones du cerveau sans contribuer directement à la conscience. L'intelligence prospère donc sans expérience vécue, et les IA actuelles restent des outils, aussi habiles soient-ils.
Au vu de ces travaux, nous estimons que la conscience d’une IA est extraordinairement improbable, du moins dans les systèmes numériques à base de silicium sur lesquels reposent les technologies actuelles.