Token en IA : ce que c’est, combien de mots il représente et pourquoi il compte

Les tokens (ou jetons) en IA sont les morceaux en lesquels ChatGPT, Claude ou Gemini découpent le texte pour le lire et l’écrire : un mot entier, un bout de mot ou un signe. En anglais, un token correspond à environ 4 caractères ou aux trois quarts d’un mot, selon le guide d’OpenAI sur les tokens, et en français il en faut un peu plus pour dire la même chose. Ils comptent parce que l’IA facture au token et ne peut prendre en compte qu’un nombre limité de tokens à la fois : c’est pourquoi, dans une très longue conversation, elle semble oublier le début.

Pour chiffrer tout cela, en octobre 2026, nous avons compté les tokens d’un même avis d’environ 100 mots dans quatre langues. Avec o200k_base, l’encodage que la bibliothèque officielle d’OpenAI attribue à GPT-4o et GPT-5, le français a consommé 15 % de tokens de plus que l’anglais ; avec cl100k_base, celui de GPT-4, 41 % de plus.

Qu’est-ce qu’un token en IA et comment ça marche ?

Un token est l’unité avec laquelle travaille un modèle de langage. Le modèle ne lit ni lettres ni mots : il dispose d’un catalogue fixe de pièces, environ 200 000 dans o200k_base, l’encodage de GPT-4o et GPT-5. Il transforme votre texte en une suite de ces pièces et construit sa réponse pièce par pièce, comme avec un jeu de construction.

Voici le trajet d’un message :

Combien de mots fait un token ?

En anglais, un token fait environ 4 caractères ou les trois quarts d’un mot : 100 tokens correspondent à environ 75 mots, selon OpenAI. Pour Gemini, la documentation de Google retient la même règle des 4 caractères et indique que 100 tokens représentent de 60 à 80 mots anglais. En français, il en faut un peu plus.

Claude suit sa propre voie. D’après le glossaire d’Anthropic, sur ses modèles antérieurs à Claude 4.7, un token représente environ 3,5 caractères anglais. Depuis Claude 4.7, un tokeniseur plus récent produit environ 30 % de tokens en plus pour le même texte.

Dans nos tests avec o200k_base, 100 tokens ont suffi pour environ 90 mots d’anglais courant et pour 69 à 81 mots de français. Les règles officielles sont des arrondis : utiles pour estimer, pas pour budgéter.

Comment l’IA découpe-t-elle une phrase en tokens ?

Elle coupe les mots peu courants en morceaux plus petits, appelés sous-mots. Les mots fréquents tiennent en un seul token ; les longs ou les rares se construisent avec plusieurs et, au pire, avec les plus petites pièces : aucun texte n’est laissé de côté. En revanche, elle ne coupe ni par syllabes ni par sens.

La technique qu’utilise OpenAI s’appelle BPE (byte pair encoding), d’après sa bibliothèque tiktoken. Rico Sennrich, Barry Haddow et Alexandra Birch l’ont adaptée au découpage des mots dans un article présenté au congrès ACL de 2016. On part des lettres isolées et on fusionne, encore et encore, les paires les plus fréquentes.

Remarquez : l’espace reste collé au mot suivant et les signes sont des pièces à part. « Anticonstitutionnellement » se découpe en cinq morceaux, dont « icon », qui ne suivent ni les syllabes ni le sens. Et le nouvel encodage connaît plus de pièces du français : « allez » est passé de deux tokens à un.

Pourquoi le français consomme-t-il plus de tokens que l’anglais ?

Parce que chaque tokeniseur apprend ses pièces à partir du texte sur lequel il est entraîné, et l’anglais y domine souvent. C’est l’explication que donnent Ahia et ses collègues dans une étude présentée à EMNLP 2023. Les mots anglais tiennent donc plus souvent en un seul token, et les nôtres se découpent davantage.

Nous l’avons mesuré en octobre 2026 avec gpt-tokenizer 4.1.0, une bibliothèque libre qui reproduit les tokeniseurs d’OpenAI. Elle donne les mêmes chiffres qu’OpenAI lors de la présentation de GPT-4o : 31 et 28 tokens pour sa phrase en français. Nous avons compté le même avis d’une boulangerie dans quatre langues et confirmé le tout avec une seconde bibliothèque, js-tiktoken 1.0.21.

Notre version française compte aussi un peu plus de mots et de caractères, ce qui pèse. Et l’écart dépend du texte : dans un second test, une consigne d’une soixantaine de mots pour répondre à un client, il est monté à 37 % avec o200k_base et à 53 % avec cl100k_base.

Les grandes études vont dans le même sens. Avec 2 000 phrases traduites dans 200 langues, Petrov et ses collègues (NeurIPS 2023) ont mesuré que le tokeniseur de GPT-4 utilise 1,60 token en français pour un token en anglais. Et selon Ahia, les langues qui ont leur propre écriture, comme le télougou, demandent jusqu’à 5 fois plus de tokens.

Attention : ces chiffres viennent des tokeniseurs d’OpenAI. Claude et Gemini utilisent les leurs, donc leurs chiffres diffèrent, et tous deux proposent un moyen officiel de compter : le comptage de tokens d’Anthropic, gratuit, et la fonction countTokens de Google.

Pourquoi les IA facturent-elles au token ?

Parce que les tokens mesurent le travail du modèle : plus il en traite, plus il lui faut de temps, comme le rappellent Petrov et ses collègues. Les fournisseurs facturent donc au million de tokens, avec deux tarifs : l’un pour ce que vous envoyez, l’entrée, et l’autre, en général plus cher, pour ce que le modèle écrit, la sortie.

Un exemple : en octobre 2026, Claude Sonnet 5.5 coûte 2 dollars par million de tokens en entrée et 10 dollars par million en sortie, selon la page de tarifs d’Anthropic. Chaque token écrit coûte cinq fois plus que chaque token lu.

Avec les modèles qui raisonnent avant de répondre, ce raisonnement ne s’affiche pas mais il est facturé comme sortie, explique OpenAI. Et dans les applis ChatGPT, Claude ou Gemini, vous ne voyez généralement pas ce calcul : le prix au million concerne leurs API, la connexion qu’utilisent entreprises et développeurs.

Toute l’IA ne se paie pas à l’usage : un petit modèle peut se télécharger une fois et tourner sur votre téléphone ou votre ordinateur. C’est ainsi que fonctionne notre outil gratuit pour enlever l’arrière-plan d’une photo : il télécharge un réseau de neurones d’environ 14 Mo et détoure dans votre navigateur, sans envoyer l’image à aucun serveur.

Pourquoi l’IA oublie-t-elle ce que vous lui avez dit ?

Parce qu’elle ne peut prendre en compte qu’un nombre limité de tokens à la fois : sa fenêtre de contexte. Vos messages et ses réponses s’y accumulent, et quand la conversation n’y tient plus, les applis de chat peuvent laisser tomber le plus ancien. De plus, avec énormément de texte, le modèle retient moins bien les détails.

Anthropic la décrit comme la « mémoire de travail » du modèle. Son guide sur les fenêtres de contexte explique que des applis de chat comme claude.ai peuvent la gérer comme une file d’attente : premier entré, premier sorti.

Les fenêtres actuelles sont immenses : en octobre 2026, les modèles Gemini les plus récents partagent une fenêtre de 1 048 576 tokens entre la lecture, le raisonnement et la réponse, selon Google, et plusieurs modèles Claude atteignent 1 million, selon Anthropic. Selon la règle de Google, un million de tokens représente de 600 000 à 800 000 mots anglais. Mais Anthropic prévient que, plus il y a de tokens, plus la précision et la capacité de rappel se dégradent.

En pratique : si une conversation devient très longue, ouvrez-en une nouvelle avec un résumé de l’essentiel et répétez les consignes clés.

Ce que cela change pour vous et votre entreprise

Savoir comment se comptent les tokens aide à dépenser moins et à obtenir de meilleures réponses :

• Estimer avec une marge. En français, comptez de 1,2 à 1,5 token par mot avec l’encodage de GPT-4o et GPT-5, un peu plus qu’en anglais. Pour le chiffre exact, collez un texte d’exemple dans le Tokenizer d’OpenAI.
• Aller droit au but. Le remplissage se paie et occupe de la place dans la fenêtre : OpenAI conseille d’enlever le contexte inutile ou répété et de résumer les textes longs avant de les envoyer.
• Demander la longueur utile. Si la sortie coûte cinq fois plus que l’entrée, demander des réponses courtes quand elles suffisent est le moyen le plus direct d’économiser.
• Découper les documents énormes. Si un contrat ou un catalogue ne tient pas dans la fenêtre, envoyez-le en plusieurs parties, avec seulement ce dont la tâche a besoin.
• Comparer par tâche, pas au prix du million. Comme le souligne OpenAI, un tarif plus bas ne garantit pas un coût total plus bas, car chaque modèle découpe le texte à sa façon.

Ce qu’on exagère sur les tokens

• « Un token, c’est un mot. » Non : dans nos tests, chaque mot français a pris de 1,2 à 1,5 token, et « anticonstitutionnellement », cinq.
• « Plus de tokens, meilleure réponse. » Plus de texte n’est pas plus de qualité : avec beaucoup de contexte, le modèle retient moins bien, comme le signale Anthropic. Donnez-lui le nécessaire, pas tout ce que vous avez.
• « Les nouveaux tokeniseurs consomment toujours moins. » Celui de GPT-4o a réduit les tokens du français, mais Anthropic prévient que celui de Claude 4.7 et suivants produit environ 30 % de tokens en plus pour le même texte.

L’essentiel sur les tokens

Un token est un morceau de texte, pas un mot, et c’est l’unité qui mesure presque tout dans l’IA : ce qu’elle lit, ce qu’elle écrit, ce qu’elle facture et ce dont elle se souvient. Écrivez directement, demandez des réponses de la bonne longueur et, avant de dépenser pour de bon, mesurez vos textes avec le compteur officiel.

Et si vous travaillez avec des textes en plusieurs langues, notre traducteur gratuit traduit entre plus de 20 langues et vous fait écouter la prononciation. Il se trouve, avec d’autres utilitaires, dans la bibliothèque d’outils de Vertize Plus.

Questions fréquentes