Chatbot IA générative : comment il fonctionne, et ce qu’il invente quand il ne sait pas
- Un chatbot à IA générative écrit sa réponse mot à mot au lieu de la choisir dans une liste. Posée 30 fois à l’identique, la même question a reçu jusqu’à 23 formulations différentes sur 30.
- Cette variabilité ne rend pas les réponses fausses : les 90 réponses à une question couverte par la documentation donnaient toutes le bon prix.
- Le risque est ailleurs. Sur 90 réponses à des questions absentes de la documentation, 53 ont pris position sans source, dont dix avec un délai chiffré inventé, et six valeurs différentes.
- Une seule phrase de consigne fait passer le taux d’aveu d’ignorance de 41 % à 98 %. C’est le réglage le plus rentable de tout le projet.
Tout le monde explique ce qu’est un chatbot à IA générative. Presque personne ne mesure ce qu’il fait quand la réponse n’est pas dans ce qu’on lui a donné. Nous avons lancé 360 appels d’API le 12 août 2026 pour le chiffrer, et le résultat change la façon de le déployer.
- Ce qu’est vraiment un chatbot à IA générative
- La même question, deux réponses
- Peut-on le forcer à répondre toujours pareil ?
- Ce qu’il dit quand il ne sait pas
- La phrase qui divise le risque par dix
- Estimez le volume sur votre trafic
- Déployer un chatbot génératif sans se faire piéger
- Ce que la loi impose depuis le 2 août 2026
- Questions fréquentes
Ce qu’est vraiment un chatbot à IA générative
Un chatbot à IA générative est un agent conversationnel dont les réponses sont produites à la volée par un modèle de langage, mot après mot, au lieu d’être sélectionnées dans une bibliothèque de messages écrits à l’avance. C’est toute la différence avec les deux générations précédentes, et cette différence a des conséquences très concrètes sur ce que vous mettez en ligne.
| Famille | Comment la réponse est produite | Ce qu’elle fait quand elle ne sait pas | Deux fois la même réponse ? |
|---|---|---|---|
| Bot à règles (arbre de décision) | Un message écrit par un humain, choisi par une condition | Renvoie le message de repli prévu | Oui, toujours |
| Bot à compréhension du langage (NLU) | Une intention est reconnue, puis un message écrit par un humain est renvoyé | Renvoie le message de repli si le score d’intention est trop bas | Oui, à intention égale |
| Chatbot à IA générative | Un modèle de langage rédige la réponse à chaque appel | Rédige quand même, sauf si on le lui interdit | Non, sauf coïncidence |
Les trois familles coexistent encore, et beaucoup de solutions du marché sont hybrides : un arbre pour les parcours critiques, un modèle génératif pour le reste. Nous avons détaillé cette typologie dans notre guide des différents types de chatbots, et la mécanique interne des modèles dans l’article sur le fonctionnement du RAG.
La même question, deux réponses
Commençons par l’expérience la plus simple. Nous avons ouvert deux sessions indépendantes du même chatbot public, et posé exactement la même question dans les deux. Voici les deux réponses, dans l’ordre.
Pour chiffrer le phénomène proprement, nous avons construit un protocole reproductible. Une boutique fictive, une fiche d’informations courte jouée en consigne système, et une question dont la réponse figure noir sur blanc dans cette fiche, sur le prix et le délai de livraison d’un casque à 45 euros. Cette question a été envoyée 30 fois à l’identique à trois modèles, avec les réglages par défaut de l’API.
| Modèle | Formulations distinctes sur 30 appels | Longueur (mots) mini / médiane / maxi | Prix exact cité |
|---|---|---|---|
| GPT-4o | 23 sur 30 | 22 / 23 / 35 | 30 sur 30 |
| GPT-4.1 | 21 sur 30 | 23 / 31 / 41 | 30 sur 30 |
| GPT-5.6 | 6 sur 30 | 24 / 25 / 32 | 30 sur 30 |
La leçon est ailleurs : si vous validez le comportement de votre bot sur un jeu de tests, vous ne validez qu’un tirage. La réponse que verra votre client ne sera pas celle que vous avez relue.
Peut-on le forcer à répondre toujours pareil ?
C’est le conseil que l’on lit partout : régler la température à 0. Ce paramètre pilote le hasard de l’échantillonnage des mots. À 0, le modèle est censé toujours choisir le mot le plus probable. Nous avons donc rejoué les 30 appels avec temperature à 0, puis avec temperature à 0 et une graine fixe (seed).
| Réglage | GPT-4.1 | GPT-4o | GPT-5.6 |
|---|---|---|---|
| Par défaut | 21 formulations sur 30 | 23 sur 30 | 6 sur 30 |
| temperature = 0 | 3 sur 30 | 7 sur 30 | Refusé par l’API |
| temperature = 0 et seed = 42 | 2 sur 30 | non testé | Refusé par l’API |
Deux résultats méritent qu’on s’y arrête. D’abord, même avec la température à zéro et une graine fixe, deux textes différents subsistent sur 30 appels. La documentation d’OpenAI ne promet d’ailleurs rien d’autre.
seed y est marqué « Deprecated », avec la mention « Determinism is not guaranteed » (le déterminisme n’est pas garanti).Ensuite, et c’est le point que nous n’avons vu écrit nulle part : toute la famille GPT-5 refuse purement et simplement de recevoir une température autre que 1. La requête part en erreur 400. Le message renvoyé par l’API, le 12 août 2026, est le suivant.
POST /v1/chat/completions avec "temperature": 0
HTTP 400 invalid_request_error code : unsupported_value
message, cité mot pour mot :
"Unsupported value: 'temperature' does not support 0
with this model. Only the default (1) value is supported."Ce qu’il dit quand il ne sait pas
Le vrai sujet n’est pas la variabilité, c’est le comportement du modèle face à une question dont la réponse n’est nulle part. Nous avons écrit six questions de client parfaitement banales, dont aucune n’a de réponse dans la fiche de la boutique : la durée de garantie, l’existence d’une boutique à Lyon, un service d’entretien à domicile, le délai de remboursement après un retour, la livraison en point relais, le numéro de téléphone du service client.
Chaque question a été posée cinq fois à chacun des trois modèles, sans aucune consigne particulière, soit 90 réponses. Le critère de lecture est unique et vérifiable par script : la réponse reconnaît-elle explicitement que l’information ne figure pas dans ce qu’elle sait ? Si non, elle prend position sans source.
Les dix réponses qui inventent un délai de remboursement sont les plus parlantes, parce qu’elles produisent un chiffre. Aucune n’a la moindre base : la fiche parle de retours sous 30 jours, jamais de remboursement. Voici les six valeurs sorties.
« Le remboursement est effectué sous 7 à 10 jours ouvrés après réception et vérification de votre retour. » (GPT-4.1) · « Après réception et vérification de votre retour, le remboursement est effectué sous 5 à 7 jours ouvrés. » (GPT-4.1) · « Comptez généralement entre 5 et 10 jours ouvrés après réception de votre colis retour. » (GPT-4.1) · « Le remboursement est généralement effectué sous 14 jours après réception et vérification des articles retournés. » (GPT-4o) · « Une fois le retour réceptionné et traité, le remboursement est généralement effectué sous 7 à 14 jours. » (GPT-4o) · « Une fois le retour reçu et traité, le remboursement est généralement effectué sous 5 à 10 jours ouvrés. » (GPT-4o)
Le même mécanisme produit des affirmations non chiffrées, tout aussi fausses et bien plus difficiles à repérer. Dix réponses affirment que la boutique est « uniquement en ligne » et n’a pas de magasin, une information que personne n’a jamais fournie au modèle. D’autres refusent le service d’entretien à domicile, ou renvoient le client vers « le formulaire de contact sur notre site », qui n’existe pas davantage.
Surtout, l’écart entre modèles est énorme, et il ne va pas dans le sens qu’on croit.
| Modèle | Reconnaît l’absence d’information | Prend position sans source |
|---|---|---|
| GPT-5.6 | 28 sur 30 | 2 sur 30 |
| GPT-4o | 6 sur 30 | 24 sur 30 |
| GPT-4.1 | 3 sur 30 | 27 sur 30 |
Le modèle le plus récent est aussi, et de très loin, le plus prudent. Autrement dit : le choix du moteur pèse davantage sur le risque d’invention que la plupart des réglages qu’on passe des semaines à peaufiner. Si votre plateforme vous laisse choisir le modèle, c’est la première case à regarder. Les trois familles d’API et leurs prix réels sont détaillés dans notre guide chatbot API.
La phrase qui divise le risque par dix
Nous avons rejoué les 90 mêmes appels, aux mêmes modèles, avec les mêmes questions. Une seule chose a changé : deux phrases ajoutées à la fin de la consigne système.
Si une information ne figure pas dans la fiche ci-dessus, dis-le
clairement et propose de transmettre la question au service client.
N'invente aucune information.| Modèle | Reconnaît l’absence, sans consigne | Reconnaît l’absence, avec la consigne |
|---|---|---|
| GPT-4.1 | 3 sur 30 | 28 sur 30 |
| GPT-4o | 6 sur 30 | 30 sur 30 |
| GPT-5.6 | 28 sur 30 | 30 sur 30 |
| Ensemble | 37 sur 90, soit 41 % | 88 sur 90, soit 98 % |
Les dix délais de remboursement inventés tombent à zéro. Les dix « uniquement en ligne » aussi. Deux phrases, écrites une fois, dans un champ de configuration : c’est le meilleur rapport entre l’effort et le risque évité de tout le projet.
Estimez le volume sur votre trafic
Un taux ne parle à personne. Un nombre de réponses par mois, si. L’outil ci-dessous applique les taux mesurés dans ce protocole à votre volume de conversations. Les valeurs de départ décrivent un petit site de vente en ligne : remplacez-les par les vôtres.
Combien de réponses sans source votre bot produira ce mois-ci
La somme dépasse ce qu’une équipe peut contrôler. Dans cet état, chaque réponse sortie de la documentation est une promesse commerciale que personne n’a validée. Restreignez le périmètre du bot aux sujets couverts, exigez une source citée pour toute réponse, et mesurez le taux réel sur vos propres questions avant l’ouverture.
| Moteur | Sans consigne de refus | Avec consigne de refus |
|---|---|---|
| GPT-4.1 | 90 % | 6,7 % |
| GPT-4o | 80 % | 0 % |
| GPT-5.6 | 6,7 % | 0 % |
Déployer un chatbot génératif sans se faire piéger
Les mesures ci-dessus dictent un ordre de priorité assez différent de celui qu’on lit habituellement. Voici celui que nous en tirons.
-
Choisissez le moteur avant de choisir la plateforme
Entre le modèle le plus prudent et le moins prudent de notre échantillon, l’écart va de 2 à 27 réponses sans source sur 30. Aucune option d’interface ne rattrape ça.
-
Écrivez la consigne de refus dès le premier jour
Deux phrases suffisent. Elles font passer l’ensemble de l’échantillon de 41 % à 98 % d’aveux d’ignorance, sans dégrader les réponses couvertes par la documentation.
-
Donnez-lui vos documents, pas seulement des instructions
Un modèle branché sur une recherche documentaire répond à partir de passages retrouvés. La règle qui compte n’est pas « cherche puis réponds », c’est « si tu ne trouves aucun passage, ne réponds pas ».
-
Prévoyez une sortie vers un humain, pas un message d’excuse
Une question sans réponse dans la documentation est un signal commercial : quelqu’un veut acheter et vous ne lui avez pas donné l’information. Le bon comportement est de router, pas de meubler.
-
Journalisez, échantillonnez, corrigez la documentation
Les questions hors documentation sont la meilleure liste de tâches qui existe. Chaque trou comblé fait baisser le volume du mois suivant, mécaniquement.
-
Rejouez la mesure après chaque changement de modèle
Un modèle change de génération plusieurs fois par an, sans que votre configuration bouge. Trente appels sur dix questions maison prennent quelques minutes et se rejouent à chaque migration.
- Il comprend une question mal formulée, ce qu’un arbre de décision ne fait pas.
- Il couvre des sujets qu’aucun humain n’a pris le temps de scénariser.
- Il reformule à la demande, résume, traduit, s’adapte au ton.
- Il se met en place en jours plutôt qu’en semaines.
- Vous ne pouvez pas relire à l’avance ce que verront vos clients.
- Sans cadrage, il répond même quand il n’a pas l’information.
- Le coût suit l’usage, contrairement à un arbre de décision.
- Le comportement change quand le modèle change, sans prévenir.
Ce que la loi impose depuis le 2 août 2026
Le règlement européen sur l’intelligence artificielle est applicable, dans sa règle générale, depuis le 2 août 2026. Son article 50 concerne directement tout chatbot ouvert au public. Le texte publié au Journal officiel de l’Union européenne dit ceci.
Les fournisseurs veillent à ce que les systèmes d’IA destinés à interagir directement avec des personnes physiques soient conçus et développés de manière que les personnes physiques concernées soient informées qu’elles interagissent avec un système d’IA.Règlement (UE) 2024/1689, article 50, paragraphe 1
Le règlement omnibus (UE) 2026/1744 du 8 juillet 2026 a repoussé plusieurs échéances de l’IA à haut risque, jusqu’au 2 décembre 2027 pour les systèmes de l’annexe III. Il n’a pas touché à cette obligation de transparence. Il a en revanche accordé un délai aux éditeurs déjà en place pour le marquage des contenus de synthèse prévu au paragraphe 2 du même article : les systèmes mis sur le marché avant le 2 août 2026 ont jusqu’au 2 décembre 2026 pour s’y conformer.
Questions fréquentes
Un chatbot à IA générative, est-ce la même chose que ChatGPT ?
ChatGPT est un chatbot à IA générative, mais l’inverse n’est pas vrai. Le terme désigne toute interface conversationnelle branchée sur un modèle de langage, qu’elle vienne d’OpenAI, de Google, d’Anthropic, de Mistral ou d’un éditeur français qui assemble ces briques. Notre classement des chatbots IA détaille les principales offres.
Deux clients peuvent-ils recevoir deux réponses différentes à la même question ?
Oui, et c’est le fonctionnement normal. Sur 30 appels strictement identiques, nous avons compté jusqu’à 23 formulations différentes. Tant que l’information demandée figure dans la documentation fournie au bot, ces reformulations restent exactes. C’est en dehors de la documentation que les réponses divergent sur le fond.
Comment empêcher un chatbot génératif d’inventer ?
Trois leviers, par ordre d’efficacité mesurée : choisir un modèle récent, écrire une consigne de refus explicite dans la configuration, et brancher le bot sur une recherche documentaire qui l’empêche de répondre sans passage retrouvé. Dans notre protocole, les deux premiers font passer le taux d’aveu d’ignorance de 41 % à 98 %.
Existe-t-il un chatbot à IA générative gratuit en français ?
Oui, plusieurs offres grand public sont accessibles sans compte et sans paiement, avec des limites d’usage variables. Nous les comparons dans notre guide des chatbots français, qui distingue les outils qui parlent français de ceux qui sont réellement édités en France.
Combien coûte un chatbot à IA générative ?
Le coût suit l’usage : chaque message envoyé et chaque message reçu sont facturés au nombre de jetons. Une conversation de support en français consomme nettement plus de jetons que la même en anglais, ce que nous avons mesuré au tokenizer dans notre article chatbot API. À ce coût s’ajoute celui de la plateforme qui héberge le bot.
Quelle différence entre IA conversationnelle et IA générative ?
L’IA conversationnelle désigne l’ensemble des technologies qui permettent de dialoguer avec une machine, y compris les moteurs à règles et la reconnaissance d’intentions. L’IA générative désigne la capacité à produire un contenu nouveau. Un chatbot génératif est donc une IA conversationnelle dont le moteur de réponse est génératif, mais beaucoup d’IA conversationnelles ne le sont pas.
Faut-il prévenir l’internaute qu’il parle à un robot ?
Oui, sauf si cela ressort clairement du contexte. L’article 50 du règlement européen sur l’IA impose d’informer la personne qu’elle interagit avec un système d’IA, et cette obligation est applicable depuis le 2 août 2026.
Vous voulez tester tout ça sur votre propre documentation ?
Botnation AI permet de créer un chatbot à IA générative branché sur vos contenus, avec les garde-fous décrits dans cet article, sans écrire une ligne de code.
gpt-5.6-sol, gpt-4.1-2025-04-14 et gpt-4o-2024-08-06, aucun appel en échec. Protocole complet décrit dans l’article : une fiche de connaissances de six lignes jouée en consigne système, une question couverte répétée 30 fois par modèle, six questions non couvertes répétées 5 fois par modèle et par condition. Les questions ont été envoyées sans accents, comme les tape souvent un internaute pressé. Documentation de l’API : référence des paramètres temperature et seed, relevée le 12 août 2026. Textes juridiques : règlement (UE) 2024/1689 (article 50 et article 113) et règlement (UE) 2026/1744, consultés sur EUR-Lex le 12 août 2026.
