Vous pensiez que les IA génératives lisent vos mots ? Elles lisent des tokens. Cette mécanique agit directement sur la qualité des réponses, les coûts d’usage. Mais aussi sur la manière dont vos contenus sont compris, sélectionnés et réutilisés par les IA. Si vous voulez des résultats fiables, il devient essentiel de penser en tokens, et non plus en mots.
Un token est-il égal à un mot ?
Contrairement à ce que l’on pense souvent, un token n’est pas un mot. C’est l’unité élémentaire de traitement pour un modèle de langage (LLM), comme établi dans l’architecture Transformer fondatrice. Un token est un fragment de texte traité par le modèle.
Cela peut être un mot entier comme « bonjour » ou « chat », mais aussi une partie de mot comme « anti », « constitution » ou « ellement » pour le mot « anticonstitutionnellement ». Un token peut être une syllabe comme « pré », un espace, une ponctuation, ou même un emoji.
En résumé, un token n’est pas toujours égal à un mot. Par exemple, « Bonjour à tous ! » fait 4 tokens, et non 3 mots et un signe de ponctuation.
Comment un mot est transformé en token ?
La tokenisation est la première étape du code de traitement d’un LLM, avant que l’algorithme ne commence à raisonner. L’algorithme de tokenisation standard est le Byte Pair Encoding (BPE), décrit pour la première fois en 1994 par Philip Gage. Depuis son adoption par OpenAI en 2016, il est devenu le standard de fait.
Quand on envoie un prompt, c’est-à-dire un texte brut en français, anglais ou toute autre langue, un tokenizer découpe le texte en tokens selon un algorithme déterministe entraîné sur un large corpus. Le modèle traite les tokens un par un, de manière séquentielle, pour générer sa réponse.
Chaque token est converti en un nombre. Par conséquent, une IAG n’interprète pas des mots mais des nombres. L’IA ne comprend rien au sens du texte que vous lui envoyez. Ce nombre est ensuite transformé en un vecteur numérique appelé embedding, que le modèle traite.
Par exemple, le mot « Paris » dans le vecteur numérique possède un nombre précis. [72782] pour le tokenizer d’OpenIA. Par apprentissage, le LLM associe Paris aux tokens « ville » et « capitale ». Il y a une forte probabilité que dans sa réponse, le LLM utilise ces deux mots qu’il associe à Paris.
Le vecteur numérique sera ensuite multiplié par un vecteur de position, qui est la traduction mathématique de la place du mot dans la phrase : « Paris est une belle capitale » est différent de : « La capitale de la France, c’est Paris ».
Quel est le nombre de tokens d’un texte de Victor Hugo ?
Le tokenizer permet de connaître le nombre de tokens d’un texte. Chaque LLM possède le sien avec sa propre table de correspondance. OpenAI utilise tiktoken, tandis que Meta utilise SentencePiece pour Llama. Inutile de demander à ChatGPT : « Combien de tokens dans ce texte ? », il ne le sait pas.
Prenons un texte de Victor Hugo extrait des Misérables, chapitre L’Onde et l’Ombre et traité par le tokenizer d’OpenAI.
Calcul de tokens par le tokenizer d’OpenAI d’un texte de Victor Hugo. A gauche, le texte divisé par token. A droite, les nombres correspondant aux tokens.
Selon le tokenizer, ce texte de 90 mots équivaut à 136 tokens pour le modèle GPT5. Le ratio tokens par mot est pour cet extrait de 1,51, il est en général d’environ 1,8 en français. Ce qui signifie que pour chaque mot, le modèle traite plus d’une unité de token.
Le token est une monnaie
Le token est la monnaie de l’IA. Les modèles sont effectivement tarifiés au token. Plus on utilise de tokens, plus c’est cher. Chaque modèle a une fenêtre de tokens maximale appelée contexte. Il correspond à l’ensemble des tokens que le modèle prend en compte à un instant donné pour produire sa réponse. Il inclut les tokens du prompt, des instructions système, de l’historique de la conversation, ainsi que d’éventuels documents fournis en entrée.
Le contexte a une capacité limitée à 32 000 tokens, 128 000 tokens, voire plus. Que se passe-t-il lorsqu’elle est dépassée ? Tout dépend du LLM. Il peut troncaturer le contexte, rejeter la requête, ne sélectionner que les informations pertinentes, résumer ou compresser en amont.
C’est pourquoi un texte trop long en tokens ralentit la génération et peut réduire la qualité de la réponse. Quelquefois, le modèle oublie même le début de la conversation.
Or la tokenisation est un différenciateur de performance entre les langues. En anglais courant, le ratio est d’environ 1,33 token pour un mot. Mais les langues non latines sont désavantagées. En japonais ou en arabe, ce ratio se situe entre 3 à 5 tokens pour un mot.
Par ailleurs, le comptage dépend du tokenizer, ainsi que de la version du LLM. Reprenons l’extrait de V. Hugo. Il dénombre 136 tokens pour le modèle GPT5, mais 151 pour GPT4 et 186 pour GPT3.
Ces éléments sont à prendre en compte pour le paiement d’une IAG ainsi que pour la performance d’un texte pour une réponse GEO optimale.
Comment écrire un prompt pour une tokenisation optimisée ?
Étant donné ces contraintes, on peut se demander quel prompt envoyer à une IAG. Un contenu bien écrit est plus facile à analyser, plus stable à tokeniser et plus fiable à réutiliser dans une réponse générée. C’est pourquoi, il vaut mieux fournir aux bots IA un texte propre, clair et sans fautes d’orthographe ni erreurs de grammaire.
Il faut aussi éviter les mots inventés, les formulations artificielles, le franglais ainsi que les mélanges de langues inutiles. Il est préférable de rester cohérent dans la langue utilisée, de privilégier un vocabulaire standard et de limiter les variations inutiles. On réduit ainsi les risques d’interprétation instable par les bots IA.
En effet, les LLM privilégient les contenus concis et à haute densité informationnelle, et la structure du contenu impacte le taux de citation (+17.3 %). Un nom de produit trop long comme « le-meilleur-produit-au-monde » est pénalisé dans les réponses générées.
Par ailleurs, répéter explicitement un token renforce sa saillance pour un modèle qui n’a pas encore la finesse humaine pour inférer toutes les relations implicites dans un texte. La saillance des tokens et l’importance de la structure sont confirmées dans les études GEO. Citer plusieurs fois le même token est donc recommandé en GEO, même si cela peut paraître redondant pour un lecteur humain.
Enfin, les LLM ont leurs défauts. On parle parfois de glitch tokens. Par exemple dans GPT-2 et GPT-3, « BuyableInstoreAndOnline » ou « SolidGoldMagikar » sont considérés comme token unique par le tokenizer. Mais ce ne sont pas des mots du langage courant.
Vous l’avez compris, les tokens sont essentiels pour que vos contenus soient lus par les IA et apparaissent dans leurs résultats. Ils sont essentiels au GEO, dont nous parlerons dans un prochain article.
Tokens : 5 idées à retenir
- Les intelligences génératives ne lisent pas des mots, mais analysent des tokens.
- Le token est l’unité de base du traitement pour un grand modèle de langage (LLM).
- Le coût et la qualité du traitement d’une IA dépendent des tokens.
- Afin d’obtenir un texte SEO ou un prompt efficaces, il est nécessaire de tenir compte des tokens.
- Un tokenizer transforme les textes en tokens.
Et vous, vous tenez compte des tokens pour créer vos contenus ?
En remerciant Michel Puharre pour ses suggestions et nos échanges.
