// CLUBIC — INTELLIGENZA ARTIFICIALE
Comment les détecteurs d'IA devinent-ils qu'un texte vient de ChatGPT ?
Dans le premier volet de notre enquête concernant les détecteurs d'IA, Pangram et GPTZero ont plutôt bien reconnu les textes entièrement humains ou générés par ChatGPT. Les choses devenaient beaucoup moins claires avec un usage "hybride". On s'est toutefois posé la question : que se passe-t-il vraiment entre le moment où l’on colle quelques centaines de mots dans un détecteur et celui où apparaît un verdict à 97 ou 100 % IA ? Pour le comprendre, il faut déjà oublier une partie de ce que l’on raconte encore sur ces outils…
Un texte entre dans Pangram ou GPTZero, l’interface mouline quelques secondes et le verdict tombe : humain, IA, mixte, le tout accompagné d’un pourcentage qui semble d’une précision redoutable. Pourtant le détecteur ne « sait » pas que ChatGPT a écrit le texte. Voilà toute la nuance est là. Il ne dispose pas d’un registre recensant les réponses produites par ChatGPT, Claude ou Gemini et ne demande pas secrètement à OpenAI si le passage vient de ses serveurs. Dans le cas de Pangram et GPTZero, il essaie plutôt de répondre à une question statistique : à quelle famille de textes ce que je viens de lire ressemble-t-il le plus ?
Avant de décortiquer leur fonctionnement, nous avons commencé par confronter Pangram et GPTZero à une série de textes dont nous connaissions précisément l’origine : écriture humaine, génération intégrale par ChatGPT, corrections légères et réécritures profondes.
Et ce n’est pas terminé : les prochains volets pousseront ces détecteurs sur des textes plus longs, des usages hybrides et des cas volontairement plus difficiles à trancher.
Une petite distinction s’impose ici, d’autant que Pangram propose aujourd’hui les deux fonctions. Avec son abonnement payant, le service peut également lancer un contrôle antiplagiat, il compare alors le document à des sources existantes et signale les passages similaires, avec leur provenance lorsqu’elle est identifiée. Pangram affirme effectuer cette recherche parmi des milliards de pages web, articles, publications académiques ou livres.
La détection d’un texte généré par IA ne fonctionne pas, du tout, de cette manière. Pangram ne cherche pas une copie du passage quelque part sur le Web pour déterminer qu’il vient de ChatGPT ou autre. Son modèle analyse le texte qui lui est soumis et tente d’en estimer la provenance à partir des caractéristiques qu’il a appris à reconnaître.
Pangram permet de visualiser assez simplement le début du processus. Le texte est d’abord découpé en tokens, des unités qui peuvent correspondre à un mot, une partie de mot ou un signe de ponctuation. Chacun est ensuite converti en une représentation numérique, ou embedding, exploitable par le réseau neuronal.N'imaginez pas derrière cela quelques règles écrites à la main, pour caricaturer, des choses comme « beaucoup de tirets longs = ChatGPT » ou « phrases trop régulières = IA ». Le réseau apprend à combiner un grand nombre de caractéristiques présentes dans les mots, les phrases, tout autant que dans leur contexte. Autrement dit, pour son volet détection IA, le logiciel ne cherche pas à retrouver votre texte ailleurs, il cherche plutôt à déterminer à quelle forme d’écriture il ressemble.
C’est là que le fonctionnement devient assez intéressant puisque, pour détecter l’écriture d’une intelligence artificielle, Pangram 4 s’appuie lui-même sur un modèle de langage.Son socle repose sur une architecture dite Mixture-of-Experts (MoE) : plusieurs sous-réseaux spécialisés composent le modèle et seule une partie d’entre eux est sollicitée selon ce qu’il analyse. Pangram ajoute ensuite à cette base plusieurs « têtes de classification », autrement dit, des modules chargés de transformer les représentations du texte en prédictions sur son origine.En quelque sorte, c'est le même matériau de départ que pour une IA générative, mais avec une toute autre mission. Un LLM, comme le sont ChatGPT ou Claude, utilise ses représentations du langage pour déterminer quel token pourrait venir ensuite. Pa