// CLUBIC — INTELLIGENZA ARTIFICIALE
Affaire Thélyson Orélien : que prouve vraiment un score à 97 % IA ? Nous avons fait le test
Peut-on déterminer si un texte a été écrit avec ChatGPT en le soumettant à un détecteur d’IA ? Après l’affaire Thélyson Orélien, nous avons voulu repartir de cas dont nous connaissions précisément l’origine. Textes écrits bien avant ChatGPT, productions entièrement générées par IA, simples corrections ou réécritures beaucoup plus profondes : Pangram et GPTZero reconnaissent plutôt bien les situations les plus tranchées. Dès que l’humain et la machine commencent à partager l’écriture, leurs verdicts racontent une histoire beaucoup moins nette.
En quelques jours, Pangram s’est retrouvé au cœur de la rentrée littéraire. Le 21 septembre, après l’attribution du Prix du roman Fnac à C’était ça ou mourir, des captures publiées sur X accusent le roman de Thélyson Orélien d’avoir été largement produit par IA. Le Monde mène ensuite ses propres essais : plus de la moitié du livre est soumise au détecteur, qui classe plus de 95 % du texte comme généré par IA, avec un niveau de confiance élevé.
Quatre jours plus tard, l’Académie Goncourt retire le roman de sa sélection. Elle invoque les plagiats anciens révélés entre-temps, mais aussi plusieurs analyses qu’elle juge convergentes sur l’usage de l’IA. Orélien conteste ces accusations. Son éditeur québécois, Le Boréal, se montre plus prudent : il affirme qu’aucune IA n’a été utilisée pendant son propre travail éditorial, sans pouvoir certifier ce qui s’est passé avant la remise du manuscrit.C’est là que le sujet nous intéresse vraiment. Que prouve un score de 97, 99 ou 100 % affiché par un détecteur ? Pour le savoir, nous avons soumis Pangram et GPTZero à des textes dont, cette fois, nous connaissions précisément l’origine.
Ce premier test ne constitue qu’un point de départ. Nous allons maintenant confronter ces outils à des cas beaucoup plus difficiles : textes longs, styles variés, mélanges volontaires entre écriture humaine et IA, réécritures profondes et tentatives de faire chuter artificiellement les scores. Avec, en parallèle, une question qui dépasse largement les détecteurs : qu’est-ce qu’« écrire » à l’heure où l’IA peut intervenir à presque toutes les étapes d’un texte ?
Nous avons confronté Pangram 4.0 et GPTZero 4.1m à dix textes en français.Trois sont extraits d’articles Clubic publiés en 2021, avant l’arrivée de ChatGPT. Quatre autres ont été intégralement générés avec ChatGPT Sol 6.1. Nous avons ensuite préparé deux situations intermédiaires : un article humain auquel l’IA n’a apporté que six petites corrections et un autre dont ChatGPT a beaucoup plus profondément réécrit les formulations. Enfin, Demain, dès l’aube de Victor Hugo a servi de témoin court, traité à part en raison de sa longueur et de sa nature très différentes.
Sans plus attendre, voici l'ensemble des résultats obtenus.
* Pangram accompagne le résultat de S01 d’une confiance limitée en raison de la brièveté du texte.
Il faut prendre quelques secondes pour comprendre ce que ces pourcentages signifient, car Pangram et GPTZero ne mesurent pas exactement la même chose.
Chez Pangram, les pourcentages que nous avons relevés correspondent à la fraction du document attribuée à chacune de ses catégories : Human Written, AI-Assisted ou AI-Generated. Le "AI assistance score" que Pangram calcule par ailleurs est un indice continu d’implication de l’IA, et non la probabilité que l’étiquette affichée soit correcte. GPTZero fonctionne différemment : les valeurs affichées correspondent aux probabilités attribuées à différentes classes pour l’ensemble du document. Dans les deux cas, lire « 60 % » comme « 60 % des mots ont été écrits par une machine » serait donc une erreur.
Sur nos témoins les plus simples, les deux services sont plutôt difficiles à prendre en défaut. Les trois articles Clubic de 2021 ressortent 100 % humains dans les deux outils. Même Victor Hugo échappe au scénario, souvent évoqué à propos des détecteurs, du classique littéraire pris pour ChatGPT : Pangram et GPTZero considèrent tous deux Demain, dès