Aller au contenu principal
Lire Les bases des LLM, du prochain token aux outils

Les bases des LLM, du prochain token aux outils

Un assistant IA peut traduire un paragraphe, expliquer un morceau de code, résoudre un problème et parfois même agir à votre place. Vu de l'extérieur, ces capacités semblent très différentes.

Pourtant, elles reposent sur un mécanisme étonnamment constant : produire le prochain token.

C'est tout ?

Eh bien, oui. Mais dire qu'un LLM produit le prochain token, c'est un peu comme dire qu'un ordinateur manipule des nombres. C'est vrai, mais cela n'explique pas grand-chose tant qu'on ne regarde pas ce que ces nombres représentent et comment la machine les utilise.

C'est ce que nous allons faire. Pas besoin de connaissances en mathématiques. Nous allons suivre une phrase à travers le modèle, puis nous appuyer sur ce que nous aurons appris pour comprendre le raisonnement et les appels d'outils. À la fin, le vocabulaire des LLM devrait vous sembler beaucoup moins mystérieux.

Un modèle apprend des régularités à partir d'exemples

Avant de regarder comment un grand modèle de langage génère du texte, il faut comprendre d'où vient son comportement.

Imaginez que vous construisez un détecteur de spam. Une approche consisterait à écrire une règle : si un message contient "gratuit" ou "urgent", le classer comme spam.

Simple. Et plutôt fragile.

"C'est urgent : peut-on décaler notre réunion à 15 h ?" contient l'un de nos mots suspects, mais ce n'est pas du spam pour autant. Ajoutez une exception pour les réunions, et vous trouverez vite un autre message qui met la nouvelle règle en défaut. Vous pouvez passer beaucoup de temps à essayer de décrire toutes les situations possibles.

Un modèle de langage apprend des paramètres numériques à partir d'exemples. Ces paramètres sont aussi appelés poids.

Lors d'une étape courante de l'entraînement, le modèle voit des séquences de tokens et tente de prédire ce qui vient ensuite. Sa prédiction est comparée au token qui suit réellement dans l'exemple d'entraînement. Le processus ajuste les paramètres pour améliorer ce type de prédiction. Répétez cela sur une grande quantité de texte, et les paramètres capturent des régularités dans le langage, le code et les relations décrites par ces textes.

Les assistants actuels passent généralement par des entraînements supplémentaires pour mieux suivre les instructions et améliorer leurs réponses. Ces étapes d'entraînement ajustent les paramètres appris qui déterminent les réponses du modèle.

From rules to learned parameters

Watch examples change the parameters, then use the same fixed model for two tasks.

Étape 1 sur 6
if message contains "urgent": mark as spam

"This is urgent: can we move our meeting to 3 pm?"

Rule output: spam. But this is a meeting request.

A handwritten rule flags urgent, even in an ordinary meeting request. Matching a word is not enough to classify this message correctly.

Lire toutes les étapes
  1. A handwritten rule flags urgent, even in an ordinary meeting request. Matching a word is not enough to classify this message correctly.
  2. A model starts with untrained numerical parameters. Training examples supply sequences whose next tokens can be used as prediction targets.
  3. During training, predictions are compared with the next tokens in the examples. The training process adjusts the parameters.
  4. Training is complete. The corpus disappears from this diagram; the learned parameters remain. At inference time, a model does not automatically reopen its training documents, although some passages can be memorized in its parameters.
  5. A new prompt passes through the trained model, producing a continuation. Notice that the parameter grid does not change: inference uses the learned values instead of updating them.
  6. The same model can also classify a message when prompted to do so. It can use the context to identify an ordinary meeting request without a handwritten rule for urgent. The parameters remain fixed.

L'animation réunit deux moments faciles à confondre : l'entraînement et l'inférence. L'entraînement modifie les paramètres. L'inférence les utilise pour générer une sortie.

Quand vous envoyez un message à un modèle déjà entraîné, ces paramètres restent normalement fixes. Le modèle peut utiliser les informations de votre conversation, y compris une correction que vous venez de lui donner, sans apprendre durablement cette correction dans ses poids.

Une application peut aussi enregistrer des souvenirs, rechercher des documents ou utiliser des conversations dans un entraînement ultérieur. Les souvenirs enregistrés et les documents retrouvés alimentent le contexte des prochaines requêtes. Un nouvel entraînement peut modifier les paramètres.

Au moment de l'inférence, le modèle produit ses réponses à partir de ses paramètres et du contexte qu'il reçoit. Il peut mémoriser certains passages de l'entraînement. Retrouver un document précis avec sa source nécessite un système de recherche distinct.

Même une réponse fluide et assurée mérite d'être vérifiée. Cherchez des sources que vous pouvez consulter.

Un token est un morceau de texte

Donnons à notre modèle une phrase à compléter. Nous la gardons en anglais pour suivre les exemples des animations :

The capital of France is

Autrement dit, "La capitale de la France est". Nous voyons des mots. Le modèle a besoin de nombres.

La première étape est la tokenisation : découper le texte en morceaux issus d'un vocabulaire. Ces morceaux sont les tokens. Selon le tokenizer, un token peut correspondre à un mot, à une partie de mot, à un signe de ponctuation ou à une portion plus petite de la représentation encodée d'un caractère.

Pour notre phrase, le découpage ressemble à un découpage en mots. Cela peut être trompeur. Avec le même tokenizer, "unbelievable" se découpe en "un", "belie" et "vable". Un autre tokenizer peut produire un découpage différent.

Les espaces comptent aussi. Dans l'animation, un point médian rend visible l'espace au début d'un token. " capital" est un seul token dans cet exemple, espace compris.

From text to numbers

Split a sentence, look up token IDs, then retrieve their embeddings.

Étape 1 sur 5
The
capital
of
France
is

Tokenizer: cl100k_base. · = leading space.

We begin with ordinary text. Before the model can process it, a tokenizer must turn this string into pieces from its vocabulary.

Lire toutes les étapes
  1. We begin with ordinary text. Before the model can process it, a tokenizer must turn this string into pieces from its vocabulary.
  2. Here the pieces happen to look like words. The middle dot makes a leading space visible; that space is part of the token, not an extra token.
  3. A token is not necessarily a word. With this tokenizer, "unbelievable" becomes "un", "belie", and "vable". Another tokenizer can split the same text differently.
  4. Each token maps to a vocabulary ID. It is an index, not a measurement: France being 9822 does not make it greater than capital or closer in meaning to nearby IDs.
  5. The ID selects a learned embedding: a vector of numbers. The Transformer processes these numerical representations.

Une fois le texte découpé, chaque token correspond à un identifiant dans le vocabulaire du tokenizer. Dans cet exemple, " France" a l'identifiant 9822.

L'identifiant repère une entrée dans le vocabulaire, comme un numéro de catalogue. Le tokenizer attribue ces identifiants indépendamment de l'importance ou du sens d'un token.

L'identifiant sert ensuite à retrouver un embedding, c'est-à-dire un vecteur appris, une liste de nombres. C'est la représentation numérique que le modèle peut traiter. Les embeddings réels ont généralement bien plus de dimensions que les vecteurs montrés ci-dessus.

Nous pouvons maintenant distinguer ces éléments :

  • Le token est un morceau de texte.
  • L'identifiant du token le repère dans le vocabulaire.
  • L'embedding le représente sous forme numérique pour le modèle.

Ces trois étapes transforment notre phrase en quelque chose que le modèle peut traiter.

Cela explique aussi pourquoi les limites et la tarification des modèles utilisent souvent les tokens plutôt que les mots. La quantité de texte représentée par un token dépend du tokenizer, de la langue et du contenu. Une conversion fixe entre mots et tokens n'est qu'une approximation.

Le Transformer replace ces morceaux dans leur contexte

Le modèle doit ensuite tenir compte du contexte. Un même mot peut avoir des sens différents selon ce qui l'entoure, et l'ordre des mots compte.

La plupart des LLM actuels qui génèrent du texte utilisent un Transformer composé uniquement d'un décodeur, ou decoder-only Transformer. Inutile de détailler toutes ses opérations, mais deux éléments méritent qu'on s'y attarde : l'attention et le réseau à propagation avant, souvent appelé MLP.

L'attention permet à la représentation d'un token de récupérer des informations à d'autres positions du contexte. Dans un modèle de langage causal, l'attention à chaque position se limite à cette position et aux précédentes. Des informations sur la position des tokens permettent aussi au modèle de tenir compte de leur ordre.

Dans notre exemple, la représentation de " is" peut intégrer des informations provenant de "capital" et de "France". Le prochain token doit convenir à la phrase entière.

Le MLP transforme ensuite la représentation à chaque position. L'attention et ces transformations se répètent sur de nombreuses couches. Chaque couche met à jour les représentations avec des informations provenant du texte qui les entoure.

D'autres détails comptent, notamment la normalisation et les connexions résiduelles. Pour comprendre le principe, retenez que le Transformer combine à plusieurs reprises les informations pertinentes du contexte et transforme les représentations obtenues.

À la fin, le modèle utilise la représentation finale à la dernière position pour calculer un score pour chaque prochain token possible de son vocabulaire. Ces scores sont appelés logits. Une fonction appelée softmax les transforme en une distribution de probabilités.

Nous obtenons donc quelque chose comme ceci : " Paris" a une probabilité élevée, " Lyon" une probabilité plus faible, et beaucoup d'autres tokens ont des probabilités plus petites encore.

Inside the Transformer

Watch token representations change, then follow the last position to the next-token distribution.

Étape 1 sur 5
Transformer · Layer 1AttentionMLP
The
·capital
·of
·France
·is

Token + position → embedding. Cell colors and intensities represent numerical values.

Each token enters with a learned embedding and information about its position.

Lire toutes les étapes
  1. Each token enters with a learned embedding and information about its position.
  2. At the last position, causal attention can draw information from all five positions, including itself. The highlighted connections from capital and France illustrate how context can inform the representation of is.
  3. The MLP transforms each position’s representation. The changed cells represent new values, not new tokens. Attention mixes information across positions; the MLP operates at each position.
  4. Attention and MLP operations repeat across many layers. The representations continue to change while the input tokens stay the same.
  5. Only the final representation at the last position is used here to predict the next token. A projection produces vocabulary scores, called logits, and softmax converts them into probabilities.

Générer une réponse, c'est répéter la même opération

Nous avons une distribution de probabilités. Il nous faut maintenant un token.

Une procédure de décodage le sélectionne. Une option consiste à choisir le token ayant le score le plus élevé. Une autre consiste à effectuer un tirage dans la distribution, éventuellement après l'avoir modifiée avec des réglages comme la température ou le top-p.

La température modifie la concentration de la distribution utilisée pour ce tirage. Même à basse température, le modèle peut produire des erreurs factuelles.

Dans notre exemple, le token sélectionné est " Paris". Il est ajouté au contexte :

The capital of France is Paris

Puis nous recommençons. Le modèle prédit maintenant ce qui suit cette séquence plus longue. Le prochain token sera peut-être un point. On l'ajoute, puis on continue jusqu'à atteindre une condition d'arrêt, comme un token de fin de tour ou une limite de sortie.

C'est ce qu'on appelle la génération autorégressive : le texte déjà généré fait partie de l'entrée utilisée pour produire la suite.

One token, then another

Select a token, append it to the context, and predict again with the same model.

Étape 1 sur 5

Current context · 5 tokens

The·capital·of·France·is
  1. 1. Predict
  2. 2. Select
  3. 3. Append ↺

Next-token distribution before Paris

·Paris78%
·Lyon9%
·the5%
Other tokens8%

The same trained parameters are used on every pass.

· = leading space.

The model processes "The capital of France is" and produces a next-token distribution.

Lire toutes les étapes
  1. The model processes "The capital of France is" and produces a next-token distribution.
  2. The decoding procedure selects " Paris". Selecting a token is separate from calculating the distribution. A decoder may choose the highest score or sample, depending on its settings.
  3. The selected token moves into the context. The input is now "The capital of France is Paris". Previously generated output becomes part of the input for the next prediction.
  4. The same model uses the longer context to produce a new distribution. A period is now the most likely candidate. The model is not starting again with the original prompt.
  5. The decoder selects a period and appends it. Generation repeats until an end-of-turn token or another stopping condition, such as an output limit. A period does not itself require generation to stop.

La réponse se construit token après token, chaque nouveau token étant influencé par ce qui le précède. Les implémentations peuvent réutiliser des calculs intermédiaires mis en cache pour réduire le travail à chaque étape.

Et notre contexte initial peut être bien plus riche qu'une phrase inachevée. Il peut contenir des instructions, des messages précédents, des documents, du code ou des résultats d'outils. Tout cela influence la suite.

Si vous avez lu mon article sur Code Mode et le contexte des LLM, vous comprenez pourquoi la gestion du contexte compte autant. Le modèle génère à partir de ce qu'on lui a fourni, dans une fenêtre de contexte limitée. Des informations manquantes, du contenu sans rapport ou des instructions trompeuses peuvent tous affecter le résultat.

Comment la prédiction du prochain token peut-elle produire des capacités utiles ?

Prédire le prochain token sur des textes variés demande d'apprendre de nombreux types de régularités.

Pour compléter un exemple de traduction, il est utile de saisir les relations entre les langues. Pour poursuivre un programme, il est utile de représenter les régularités du code. Pour répondre à une question dans une conversation, il est utile de suivre les instructions et d'utiliser les informations qui l'entourent.

L'entraînement et le passage à l'échelle peuvent produire de nombreuses capacités à partir de ce mécanisme commun. Les performances varient selon le modèle et la tâche. Il faut donc évaluer la fiabilité sur le travail que vous souhaitez lui confier.

Deux capacités méritent qu'on les examine de plus près, car elles donnent souvent l'impression que les assistants fonctionnent d'une tout autre façon : le raisonnement et les appels d'outils.

Le raisonnement, un travail intermédiaire avant de répondre

Prenons ce problème :

Un carnet et un stylo coûtent 11 € au total. Le carnet coûte 10 € de plus que le stylo. Combien coûte le stylo ?

La réponse tentante est 1 €. Mais le carnet coûterait alors 11 €, et l'ensemble coûterait 12 €. Cela ne fonctionne pas.

Si nous écrivons la relation, le problème devient plus simple. Appelons x le prix du stylo. Le carnet coûte x + 10, donc x + (x + 10) = 11. Nous obtenons x = 0,50.

Working before answering

Try an answer, check it, and work through both constraints.

Étape 1 sur 4
User

A notebook and a pen cost €11 together. The notebook costs €10 more than the pen. How much does the pen cost?

First candidatePen: €1.00

The tempting answer is €1. A plausible first response is not necessarily a correct one. Before accepting it, check both constraints in the question.

Lire toutes les étapes
  1. The tempting answer is €1. A plausible first response is not necessarily a correct one. Before accepting it, check both constraints in the question.
  2. If the pen costs €1, the notebook costs €11. The difference is €10, but the total is €12 instead of €11. This candidate fails the check.
  3. Let x be the price of the pen. Then x + (x + 10) = 11, so x = 0.50. Intermediate work can help find a better answer.
  4. The pen costs €0.50 and the notebook costs €10.50. Both constraints now hold: the total is €11 and the difference is €10.

Les modèles de raisonnement peuvent consacrer davantage de calcul à un travail intermédiaire avant de livrer une réponse. Ce travail peut consister à générer des tokens de raisonnement, à évaluer plusieurs approches ou à revoir une première tentative. La génération de ces tokens intermédiaires utilise toujours le même mécanisme de prédiction du prochain token.

Le travail intermédiaire donne au modèle davantage d'occasions de revoir sa réponse. Consacrer plus de calcul peut améliorer les résultats sur certains problèmes. Cela augmente aussi la latence et le coût. La réponse finale reste à vérifier.

Pour notre stylo, la vérification est simple : 0,50 € + 10,50 € = 11 €, et la différence est de 10 €. Pour une vraie décision d'entreprise, la vérification peut nécessiter des éléments extérieurs au modèle.

Les appels d'outils, une requête générée pour être exécutée ailleurs

Posons maintenant une autre question :

Quelle heure est-il à Paris en ce moment ?

La réponse change chaque minute. L'assistant a donc besoin de consulter une horloge à jour.

L'application qui entoure le modèle peut lui donner accès à un outil, par exemple get_time. La description de l'outil indique au modèle ce que fait la fonction et quels arguments elle attend. Le modèle peut alors générer une requête structurée avec city défini à Paris.

Requesting an action is not executing it

Follow a request across the boundary between model output and external execution.

Étape 1 sur 5
User

What time is it in Paris right now?

Model · generates tokens

Available tool: get_time
Argument: city: string

Application · executes code

Waiting for a request

  1. 1. Validate arguments and permissions.
  2. 2. Call the external time function.
  3. 3. Return its result to the context.
External tool · get_time

Not called yet

Model request → application validation → external execution → result in context

The current time cannot come reliably from learned parameters. The application exposes get_time and describes its city argument. The model has a tool definition, not a clock inside its parameters.

Lire toutes les étapes
  1. The current time cannot come reliably from learned parameters. The application exposes get_time and describes its city argument. The model has a tool definition, not a clock inside its parameters.
  2. The model generates a structured request: get_time with city set to Paris. The request crosses from model output to the application. No external function has run yet.
  3. The application validates the arguments and permissions, then runs the external function. This work happens outside the model. A generated request is not authorization to execute it.
  4. The external function returns data. The application adds that result to the model’s context.
  5. The model generates an answer using the returned data. The complete loop is model request, application execution, tool result in context, then model answer.

L'application reçoit la requête, la valide et exécute la fonction externe. Elle ajoute le résultat au contexte du modèle. Celui-ci peut alors générer une réponse à partir de cette information à jour.

Deux systèmes différents accomplissent deux tâches différentes :

  1. Le modèle génère une requête à partir des définitions des outils disponibles et du contexte.
  2. L'application exécute une fonction et renvoie son résultat.

Le logiciel qui entoure le modèle le relie à l'horloge et lui fournit l'heure actuelle.

Cette séparation est essentielle pour la sécurité. Un modèle peut demander la mauvaise action ou générer des arguments invalides. L'application doit faire respecter les permissions, valider les entrées et décider quelles actions nécessitent une confirmation. Ces contrôles relèvent du code d'exécution de l'application.

Reliez la génération, le travail intermédiaire et les outils dans une boucle, et vous obtenez la base de nombreux agents IA : un système capable d'avancer vers un objectif en plusieurs étapes. L'application coordonne le LLM, les outils et les résultats au fil de ces étapes.

Lire la fiche d'identité d'un modèle

Une fois ces idées comprises, les annonces de nouveaux modèles deviennent plus faciles à lire. Chaque chiffre décrit une partie précise du système.

Voici les champs que je regarde :

ChampSignificationPoints à vérifier
ParamètresLe nombre de valeurs numériques apprises que contient le modèle. "B" signifie milliard et "T" signifie mille milliards.Évaluez les performances sur votre tâche précise.
Paramètres actifsPour certains modèles à mélange d'experts, le nombre de paramètres utilisés pour un token.Vérifiez aussi les besoins totaux en mémoire et les coûts de déploiement.
Fenêtre de contexteLe nombre de tokens qui peuvent tenir dans le contexte du modèle, selon les limites propres au fournisseur.Testez la fiabilité avec laquelle le modèle utilise les informations de ce contexte. Vérifiez séparément comment l'application gère la mémoire persistante.
Disponibilité des poidsSi vous pouvez obtenir les paramètres appris du modèle.Vérifiez séparément la disponibilité des données et du code d'entraînement.
Licence et accèsCe que vous avez le droit de faire, et si vous pouvez utiliser une API, exécuter le modèle vous-même, ou les deux.Vérifiez les besoins matériels avant de prévoir un auto-hébergement.

Par exemple, un modèle fictif annoncé avec "100B au total, 10B actifs, 128k de contexte, poids téléchargeables" nous renseigne sur son architecture, la taille de son contexte et sa distribution. Pour le comparer à un modèle plus petit, évaluez les deux sur vos documents.

Consultez la licence pour connaître les usages autorisés des poids téléchargeables. Le code et les données d'entraînement peuvent avoir des conditions distinctes ou rester privés. Et si un fournisseur ne communique pas le nombre de paramètres, c'est simplement une information que nous n'avons pas.

Ce qu'il faut retenir

Voyez un LLM comme un modèle qui construit une réponse un petit morceau de texte à la fois. Chaque morceau est un token.

L'entraînement lui apprend des régularités à partir d'exemples. Quand vous envoyez un message, il utilise ces régularités et les informations de la conversation pour choisir le prochain token. Puis il ajoute ce token à la conversation et choisit le suivant, jusqu'à ce que la réponse soit terminée.

Cela explique plusieurs choses que vous remarquerez en utilisant un assistant :

  • Il peut utiliser une correction que vous lui donnez dans la conversation sans l'apprendre durablement.
  • Il peut écrire une réponse convaincante mais fausse. Vérifiez les affirmations factuelles à l'aide de sources fiables.
  • Il peut faire un travail intermédiaire avant de répondre. Le résultat reste à vérifier.
  • Il peut demander à utiliser un outil, comme une horloge ou un moteur de recherche. L'application exécute cet outil et transmet le résultat au modèle.

Quand vous lisez une réponse, demandez-vous donc sur quoi elle repose. Avez-vous fourni l'information ? Un outil l'a-t-il renvoyée ? Ou le modèle répond-il à partir de régularités apprises pendant l'entraînement ? Connaître la différence vous aide à décider quoi croire et quoi vérifier.

Suivez-moi

Estéban Soubiran

Ingénieur logiciel, conférencier et passionné d'open source.

Restons en contact

Nouveaux articles, conseils pratiques en développement web et nouvelles de mes projets open source. Directement dans votre boîte mail.

Des nouvelles de mes articles et projets, de temps en temps.

Qu’en pensez-vous ?

Discussions

Chargement des discussions...

Ajouter un commentaire

Vérification de votre session...

Restons en contact

Nouveaux articles, conseils pratiques en développement web et nouvelles de mes projets open source. Directement dans votre boîte mail.

Des nouvelles de mes articles et projets, de temps en temps.

Avez-vous trouvé ce que vous cherchiez ?