Tokenisation

  • Concept
  • Avancé
  • Transversal
  • Toujours utilisé

En bref

La tokenisation consiste à découper un texte en petites unités, appelées tokens, pour qu’un système d’intelligence artificielle puisse les traiter.

Définition complète

La tokenisation consiste à découper un texte en petites unités appelées « tokens » (mots entiers, parties de mots ou signes de ponctuation), pour qu’un système d’intelligence artificielle puisse les analyser et les traiter mathématiquement. Un ordinateur ne comprend pas directement des phrases comme un humain : il a besoin que le texte soit d’abord converti en éléments plus petits et standardisés.

Par exemple, la phrase « Le chat dort » peut être découpée en plusieurs tokens comme « Le », « chat », « dort », et un mot plus rare ou complexe peut être découpé en plusieurs fragments plutôt qu’en un seul token entier.

Attention : la tokenisation explique en partie pourquoi les IA génératives facturent ou limitent leur usage en fonction du nombre de « tokens » traités, et pas simplement en nombre de mots ou de caractères : un même texte peut représenter un nombre de tokens différent selon la langue utilisée.

À quoi ça sert

La tokenisation sert de première étape technique indispensable à tout traitement automatique du texte par une intelligence artificielle : sans ce découpage, un modèle de langage ne pourrait pas fonctionner. Comprendre son existence aide à mieux saisir pourquoi certains outils IA ont des limites de longueur de texte ou des coûts variables.

Pour un professionnel non technique, connaître ce principe permet de mieux comprendre pourquoi un même texte en français peut coûter plus de tokens, donc parfois plus cher, qu’un texte équivalent en anglais dans certains outils, et pourquoi copier un document très long dans un assistant IA peut dépasser une limite technique.

Enfin, cette notion aide à mieux dialoguer avec des équipes techniques ou des prestataires qui développent des outils IA, en comprenant un vocabulaire de base couramment utilisé dans la documentation de ces outils.

Cas d'usage typiques

– Comprendre : expliquer pourquoi un assistant IA facture ou limite son usage en fonction d’un nombre de tokens.
– Optimiser : raccourcir une consigne donnée à une IA pour rester sous une limite de tokens autorisée.
– Comparer : anticiper qu’un même texte en français consomme parfois plus de tokens qu’en anglais.
– Dialoguer : échanger avec un prestataire technique en comprenant le vocabulaire de base du traitement du langage.
– Budgéter : estimer le coût d’utilisation d’un outil IA facturé au nombre de tokens traités.
– Dépanner : comprendre pourquoi un document trop long est refusé ou tronqué par un assistant IA.

Ce que tu sauras faire

Comprendre ce qu’est un token et pourquoi cette unité technique conditionne les limites de longueur et parfois le coût d’utilisation des outils d’intelligence artificielle basés sur le texte.

Mises en situation

Situation 1 : un dépassement de limite dans un assistant IA

Contexte : Une chargée de communication essaie de coller un rapport de 40 pages dans un assistant IA pour lui demander un résumé, et reçoit un message d’erreur indiquant une limite dépassée.

Application : Comprenant que la limite est exprimée en nombre de tokens et non en pages, elle découpe le document en plusieurs parties plus courtes et demande un résumé de chaque partie séparément.

Résultat attendu : Elle obtient bien son résumé complet, en adaptant sa méthode à la contrainte technique de tokenisation plutôt que de renoncer à l’outil.

Situation 2 : un choix d’outil facturé au token

Contexte : Une entreprise compare deux outils IA facturés selon le nombre de tokens traités, pour un usage intensif de traitement de documents en français.

Application : L’équipe technique teste les deux outils sur un même échantillon de documents en français et compare le nombre de tokens réellement consommés par chacun, sachant que ce nombre peut varier selon la méthode de tokenisation utilisée.

Résultat attendu : L’entreprise choisit l’outil le plus économique pour son usage réel en français, plutôt que de se fier uniquement au prix affiché par token, qui peut être trompeur si les méthodes de découpage diffèrent.

Situation 3 : une incompréhension du vocabulaire technique

Contexte : Un dirigeant reçoit une facture d’un prestataire mentionnant une consommation de « 2 millions de tokens » sans comprendre ce que cela représente concrètement.

Application : Le prestataire lui explique qu’un token correspond approximativement à un mot ou une partie de mot, ce qui permet au dirigeant de mieux évaluer si cette consommation correspond à un usage raisonnable.

Résultat attendu : Cette situation montre l’intérêt de comprendre ce vocabulaire technique de base pour dialoguer efficacement avec des prestataires IA et évaluer une facture.

Application guidée : estimer un nombre approximatif de tokens

Contexte : Un texte en français compte environ 750 mots. On considère généralement, à titre d’ordre de grandeur, qu’un mot français représente en moyenne un peu plus d’un token.

Question : Sans chercher une précision exacte, ce texte représente-t-il plutôt quelques dizaines de tokens, quelques centaines, ou plus d’un millier ?

Résultat attendu : Un texte de 750 mots représente plutôt de l’ordre de 1 000 tokens ou plus, puisque chaque mot compte généralement pour un token ou davantage. Cet ordre de grandeur aide à anticiper si un document risque d’approcher la limite d’un outil IA.

Application guidée : expliquer la tokenisation à un collègue non technique

Contexte : Un collègue demande pourquoi l’IA de l’entreprise met plus de temps, ou coûte plus cher, à traiter certains documents que d’autres de longueur apparemment similaire.

Question : Comment expliquer simplement ce phénomène sans entrer dans les détails techniques du modèle ?

Résultat attendu : On peut expliquer que l’IA ne compte pas en mots ou en pages, mais en tokens, ces petits morceaux de texte qu’elle utilise pour traiter le langage. Un document avec des mots rares, du vocabulaire technique ou une mise en forme complexe peut être découpé en davantage de tokens qu’un texte simple de longueur comparable, ce qui explique la différence de coût ou de temps de traitement.

Pour bien le retenir

L'analogie

Imaginez une personne qui doit trier un grand sac de pièces de puzzle mélangées avant de pouvoir commencer à assembler l’image. Avant de « comprendre » l’image finale, il faut d’abord séparer et organiser chaque pièce individuellement. La tokenisation joue ce rôle préparatoire pour un texte : avant qu’une intelligence artificielle puisse en analyser le sens, elle doit d’abord le découper proprement en petites unités qu’elle sait manipuler.

« Avant de comprendre une phrase, l’IA la découpe en petits morceaux. »

Pièges à éviter

À ne pas confondre avec

Une confusion fréquente consiste à croire qu’un token correspond toujours à un mot entier. En réalité, un mot long, rare ou composé peut être découpé en plusieurs tokens, tandis qu’un mot court et courant peut représenter un seul token.

Une autre erreur consiste à penser que le nombre de tokens est identique quelle que soit la langue utilisée pour un même contenu. Certaines langues, moins représentées dans les données d’entraînement des modèles, peuvent nécessiter davantage de tokens pour exprimer la même idée qu’en anglais.

Enfin, il ne faut pas confondre la tokenisation du traitement du langage avec la « tokenisation » utilisée dans le monde de la finance ou de la blockchain, qui désigne la représentation numérique d’un actif : ce sont deux notions différentes qui portent le même nom.

Évolution historique

Apparition : Techniques de base depuis les années 1990-2000 en traitement du langage, popularisées auprès du grand public avec les IA génératives depuis 2022-2023

Quels changements depuis l’arrivée de l’IA ?

Avant

Les premiers outils de traitement automatique du langage utilisaient des découpages simples, souvent basés uniquement sur les espaces et la ponctuation, ce qui fonctionnait mal avec des mots composés, des fautes d’orthographe ou des langues sans espaces entre les mots, comme le chinois.

Aujourd’hui

Les grands modèles de langage utilisés par les IA génératives actuelles utilisent des méthodes de tokenisation plus sophistiquées, capables de découper un mot inconnu en plusieurs sous-parties reconnues, ce qui permet de traiter des mots jamais rencontrés pendant l’entraînement. Cette technique reste invisible pour l’utilisateur final, mais elle explique certaines limites concrètes des outils, comme le nombre maximal de texte qu’on peut soumettre en une seule fois à un assistant conversationnel.

Évolution historique

Années 1990-2000 : les premiers outils de traitement automatique du langage utilisent des découpages simples fondés sur les espaces et la ponctuation.

Années 2010 : avec le développement du traitement du langage naturel basé sur l’apprentissage automatique, des méthodes de découpage plus fines, capables de gérer des mots rares, sont développées.

Fin des années 2010 : l’arrivée des grands modèles de langage généralise des techniques de tokenisation en sous-mots, plus efficaces sur de très grands volumes de texte.

Depuis 2022 : avec la popularisation des IA génératives grand public, la notion de « token » devient visible pour les utilisateurs professionnels, notamment via les limites et les tarifs des outils basés sur le nombre de tokens traités.

Aujourd’hui : la tokenisation continue d’évoluer pour mieux gérer les langues rares, les emojis ou le code informatique.