Dès qu’on parle du prix ou de la mémoire d’une IA, un mot surgit : « tokens ». Les tokens IA, non, ce ne sont pas les jetons de l’auto-tamponneuse. Quoique, l’idée n’est pas si éloignée : on paie au tour.
Les tokens IA, en une phrase
Un modèle de langage ne lit pas des mots entiers : il découpe le texte en morceaux appelés tokens. Un token, c’est parfois un mot court, parfois un bout de mot long, parfois une virgule qui se prend pour quelqu’un.
Pourquoi les tokens comptent (littéralement)
- Le prix : la plupart des services d’IA facturent au nombre de tokens envoyés et reçus. Le bavardage a un coût.
- La mémoire : chaque modèle ne traite qu’un nombre limité de tokens à la fois, sa « fenêtre de contexte ». Au-delà, il oublie le début, comme nous à la fin d’une réunion de trois heures.
- La vitesse : plus il y a de tokens à écrire, plus la réponse traîne. Un roman prend plus de temps qu’un SMS.
Les tokens dans une PME : le contrat de 80 pages
Vous voulez qu’une IA réponde à des questions sur vos contrats. Lui envoyer les 80 pages à chaque question, c’est comme relire tout le dictionnaire pour vérifier l’orthographe d’un mot. Mieux vaut ne lui donner que les passages utiles : c’est le principe du RAG, la recherche dans vos documents.
Les limites (là, on arrête de rigoler)
Le nombre de tokens par mot varie selon la langue et le modèle : une estimation de coût se fait sur un échantillon réel de vos textes, pas au doigt mouillé.
Chez Octopote, on mesure ce coût dès le prototype pour éviter les surprises. Pour estimer un projet sans compter vos tokens à la main, essayez notre simulateur de devis. Et pour savoir quelle IA choisir, voyez machine learning ou IA générative.
