// FRANDROID — INTELLIGENZA ARTIFICIALE
C’est quoi un token dans l’IA ? Tout comprendre à une notion primordiale
Si vous suivez un petit peu les annonces autour de l’IA, vous avez sans doute déjà croisé la notion de « token », notamment pour parler du prix ou de l’efficacité d’un grand modèle de langage (LLM).
Le token (qui peut se traduire par jeton en français), c’est l’unité de base de toute IA générative. Comprendre ce que c’est est donc essentiel quand on cherche à mieux comprendre le secteur de l’intelligence artificielle.
Première chose à savoir absolument : une IA ne lit pas du texte comme nous. Pour elle, le langage n’est qu’une suite de chiffres. Comme l’explique l’entreprise de développement Intuz, les machines ne comprennent pas les mots : avant d’être compris par le LLM, le texte doit être converti en une forme exploitable. Cette étape s’appelle la tokenisation.
Concrètement, pendant ce processus, l’IA découpe votre phrase en petits bouts. Chacun de ces bouts est un token. Attention cependant, un token peut être un mot entier, un bout de mot, ou même un signe de ponctuation. Le modèle travaille toujours avec ces briques-là, jamais avec des mots tels qu’on les écrit.
Pour donner un ordre de grandeur, la documentation d’OpenAI donne une règle simple en anglais : 1 token vaut environ 4 caractères, soit à peu près les trois quarts d’un mot. Autrement dit, 100 mots font grosso modo 130 tokens. C’est une moyenne, pas une règle absolue : un mot courant comme « the » tient en un seul token, mais il en faut plusieurs pour un terme plus rare.
Envie de visualiser concrètement ce découpage ? OpenAI propose un outil en ligne gratuit, le Tokenizer : vous y collez un texte et il affiche, morceau par morceau, le nombre exact de tokens. Pratique pour comparer une phrase en anglais et sa traduction française, et voir de vos propres yeux le surcoût.
C’est là que ça devient frustrant pour les francophones. Ces modèles IA ont été entraînés majoritairement sur de l’anglais. Ce n’est pas étonnant puisqu’une grosse partie d’entre eux nous viennent des États-Unis.
Protégez votre vie numérique et vos appareils contre les virus, arnaques, ransomwares et menaces en ligne avec Bitdefender, primé pour sa protection et compatible avec Windows, Mac, Android et iOS.
La tokenisation en anglais est donc devenue très efficace. Un mot courant comme « amazing » passe en un seul token, c’est parfait. Hélas, son équivalent français « incroyable » sera souvent découpé en plusieurs morceaux, par exemple : « incro » + « yable », soit deux tokens.
Bref, dire exactement la même chose en français consomme plus de tokens qu’en anglais. Et le français n’est pas la seule langue dans ce cas, loin de là.