IA privée et connaissances 4 min de lecture

Token : définition

En intelligence artificielle, un token est l'unité de texte qu'un modèle de langage lit et produit : un mot, une partie de mot ou un signe de ponctuation. Il n'a rien à voir avec un jeton de cryptomonnaie.

Aussi appelé : jeton, token IA

Ce qu'est un token

Un modèle de langage ne lit pas le texte lettre par lettre ni mot par mot. Il le découpe en morceaux appelés tokens. Un mot courant peut tenir en un seul token ; un mot long ou rare est découpé en plusieurs ; un espace ou une ponctuation peut en former un.

Le découpage dépend du modèle et de la langue. Un même texte ne donne pas le même nombre de tokens d'un modèle à l'autre, et les langues moins représentées dans les données d'entraînement demandent souvent plus de tokens pour la même phrase.

Tout ce qui entre dans le modèle se compte en tokens : votre question, les documents fournis, l'historique de la conversation. Tout ce qui en sort aussi : la réponse.

La fenêtre de contexte

Chaque modèle a une limite au nombre de tokens qu'il peut prendre en compte en même temps : c'est la fenêtre de contexte. Elle comprend la consigne, les documents, l'historique de l'échange et la réponse en cours.

Les éditeurs publient cette limite. Anthropic présente par exemple dans sa documentation le fonctionnement de la fenêtre de contexte de ses modèles, et ce qui compte dans cette limite.

Quand un échange dépasse la fenêtre, les éléments les plus anciens sortent du champ du modèle, ou la demande est refusée. C'est pourquoi un assistant semble parfois « oublier » le début d'une longue conversation.

En pratique dans une PME

Une entreprise de construction veut faire analyser par un assistant IA un dossier d'appel d'offres complet : cahier des charges, plans annotés, annexes techniques. Le dossier fait plusieurs centaines de pages.

Avant de choisir l'outil, l'équipe vérifie que la fenêtre de contexte du modèle permet de traiter le dossier d'un seul tenant. Pour les dossiers les plus lourds, elle prévoit une autre méthode : faire rechercher par l'IA les passages utiles dans les documents, puis répondre à partir d'eux, plutôt que de tout lui fournir à chaque question.

Ce que ça change pour votre entreprise

Le token est aussi l'unité de facturation des modèles utilisés en ligne : les fournisseurs comptent les tokens envoyés et reçus, comme le montre par exemple la documentation de Make sur la consommation de ses fonctions d'IA. Un usage qui envoie de longs documents à chaque question consomme beaucoup plus qu'un usage qui n'envoie que les passages utiles.

Le nombre de tokens joue aussi sur la qualité. Un modèle qui reçoit trop d'informations sans rapport avec la question peut s'y perdre ; un contexte bien choisi donne souvent de meilleures réponses qu'un contexte exhaustif.

Pour les projets qui traitent beaucoup de documents, la gestion des tokens devient un sujet de conception : quels documents fournir, comment les découper, comment ne transmettre que l'utile.

À ne pas confondre avec

Un token d'authentification, ou jeton d'accès, est une clé qui permet à un logiciel de se connecter à un autre. Le terme est le même, mais il désigne tout autre chose.

Un jeton de cryptomonnaie est un actif numérique sur une blockchain. Aucun rapport avec les tokens des modèles d'IA.

Un mot n'est pas un token. Il n'y a pas d'équivalence fixe entre le nombre de mots et le nombre de tokens : elle varie selon la langue, le vocabulaire et le modèle.

Pour choisir un modèle selon sa fenêtre de contexte et vos usages, notre guide sur le meilleur modèle IA compare les principaux modèles du marché.

Questions fréquentes

Combien de mots représente un token ?

Il n'y a pas de règle fixe. Un mot courant tient souvent en un token, un mot long ou rare en plusieurs. Le rapport varie selon la langue et le modèle : le français demande en général un peu plus de tokens que l'anglais pour un même texte. Les éditeurs proposent des outils pour compter les tokens d'un texte.

Pourquoi la fenêtre de contexte est-elle importante ?

Elle fixe la quantité d'informations que le modèle peut prendre en compte en même temps : consigne, documents, historique et réponse. Un dossier qui dépasse cette limite ne peut pas être traité d'un seul tenant. Il faut alors découper le travail ou faire rechercher les passages utiles avant de répondre.

Comment réduire le nombre de tokens utilisés ?

En ne transmettant que les informations utiles à la question, plutôt que des documents entiers. Un dispositif qui recherche d'abord les passages pertinents dans vos documents, puis les transmet au modèle, consomme beaucoup moins qu'un envoi complet à chaque question, et donne souvent de meilleures réponses.

Un projet {IA} ?

Contactez-nous via notre formulaire de contact, nous vous recontactons dans les 24 h.

Réserver un appel