Les grands modèles de langage
Les chatbots et autres assistants génératifs reposent sur de grands modèles de langage (LLM). Ils produisent du texte en prédisant, mot après mot, la suite la plus probable.
À quoi ça sert ?
Comprendre comment fonctionne un grand modèle de langage aide à bien l'utiliser : savoir pourquoi il peut inventer, et donc pourquoi il faut toujours vérifier ses réponses.
Un peu d'histoire
Les grands modèles de langage actuels reposent sur l'architecture « transformer », publiée en 2017 par des chercheurs de Google. En novembre 2022, ChatGPT a mis ces modèles entre toutes les mains et atteint 100 millions d'utilisateurs en deux mois. Chaque modèle est d'abord « pré-entraîné » sur d'énormes quantités de textes du Web, puis des humains notent ses réponses pour l'améliorer (apprentissage par renforcement).
Définition
Un grand modèle de langage (LLM, pour large language model) est un modèle d'IA entraîné sur d'énormes quantités de textes, qui génère du texte en prédisant, mot après mot, la suite la plus probable à partir du contexte.
Propriétés
Le principe
Le modèle prédit le mot suivant le plus probable, à partir du contexte, pour construire sa réponse petit à petit.
L'entraînement
Pré-entraînement sur beaucoup de textes, puis alignement : des humains donnent des exemples et notent les réponses.
Les limites
Il ne vérifie pas la vérité. Il peut « halluciner » : inventer une information fausse présentée comme vraie.
L'hallucination
Une « hallucination » est une information inventée présentée comme vraie. Ce n'est pas un bug : c'est lié à la façon même dont le modèle génère du texte.
La formule
Comment le modèle construit sa réponse
prompt → mot suivant le plus probable → répété, mot après mot
Le modèle choisit le plus probable, pas forcément le vrai : aucune garantie de vérité.
1. Entrée
Ta requête, appelée « prompt ».
2. Traitement
Le modèle calcule le contexte, mot après mot.
3. Sortie
Les mots suivants les plus probables.
4. Limite
Aucune garantie de vérité → il faut vérifier.
Exemples corrigés
Repérer une hallucination
Une IA cite, avec assurance, un livre qui n'existe pas.
Que fais-tu ?
Tu vérifies que le livre existe vraiment avant de le citer : c'est probablement une hallucination.
Pièges à éviter
- Croire que le modèle « sait » si c'est vrai.
- Prendre une réponse fluide et sûre d'elle pour une réponse exacte.
- Recopier sans vérifier les informations importantes.
À retenir
- Un grand modèle de langage prédit le mot suivant le plus probable.
- Il est pré-entraîné sur d'énormes textes, puis affiné par des humains.
- Il ne garantit pas la vérité : il peut halluciner.
- On vérifie toujours les informations importantes.
Je m'entraîne
1. Comment un chatbot construit-il sa réponse ?
Voir la correction
En prédisant, mot après mot, la suite la plus probable à partir du contexte.
2. Qu'est-ce qu'une hallucination ?
Voir la correction
Une information inventée par l'IA et présentée comme vraie.
3. Quel est le rôle des humains dans l'entraînement d'un modèle de langage ?
Voir la correction
Donner des exemples et noter les réponses pour améliorer le modèle.
📚 Révise cette fiche en flashcards
Connecte-toi pour retourner cette fiche en cartes de rappel actif — et garder ta progression.
Se connecter