ChatGPT est-il fiable : 240 réponses vérifiées, 60,8 % de faits difficiles et 78,8 % de calculs de gestion justes

Nous avons posé à openai/gpt-chat-latest, l'alias de l'API qu'OpenAI fait pointer vers le dernier modèle utilisé dans ChatGPT, 120 questions dont la réponse est connue d'avance, et nous avons posé chaque question deux fois. Il a répondu juste à 175 des 240, soit 72,9 %. Ce taux dépend fortement du type de question : 60,8 % sur des questions factuelles difficiles tirées de SimpleQA, le jeu de test publié par OpenAI, 78,8 % sur des calculs de gestion courants, et 97,5 % sur le comptage de lignes dans un bon de commande.

Les réponses fausses se distinguaient mal des justes. Aucune des 47 réponses factuelles fausses ne disait que le modèle doutait, et il n'a refusé de répondre à aucune question. Les 17 calculs faux étaient proches du bon résultat : les 16 montants faux étaient tous à moins de 1 % de la valeur exacte, avec un écart médian de 0,009 % et un écart maximal de 6,67 USD sur un solde de 56 423,82 USD.

À titre de comparaison, le modèle de raisonnement d'OpenAI, openai/gpt-5.5, a rendu juste les 120 réponses de calcul et de comptage et 60,0 % des faits, pour un coût par question environ 13 fois plus élevé. Le modèle plus ancien openai/gpt-4o-mini obtient 13,3 % sur les faits et 40,0 % sur les calculs.

Résultats par modèle

Chaque question a été posée deux fois : 60 questions factuelles donnent donc 120 réponses par modèle, 40 calculs en donnent 80 et 20 comptages en donnent 40.

Les questions factuelles viennent de SimpleQA, un ensemble de 4 326 questions courtes publié par OpenAI en 2024. Ses auteurs ont gardé des questions sur lesquelles GPT-4 donnait des réponses fausses. Le jeu est donc difficile par construction, et les 60,8 % ci-dessus décrivent des faits pointus (le lauréat d'un prix une année donnée, l'année de fondation d'une petite chorale, la mémoire d'un ordinateur de 1961). Les questions de culture courante ne faisaient pas partie du test. Pour contrôler notre échantillon, l'article de SimpleQA rapporte 8,6 % de réponses justes pour GPT-4o-mini sur le jeu complet, et nous mesurons 13,3 % sur nos 60 questions posées deux fois.

Les faits faux arrivaient sans avertissement

Face à une question factuelle, un modèle peut donner une réponse ou dire qu'il ne sait pas. SimpleQA note ce second cas « non tenté » et le juge préférable à une réponse fausse, parce qu'un lecteur à qui l'on répond « je ne sais pas » va vérifier. gpt-chat-latest et gpt-5.5 n'ont jamais décliné, sur 120 réponses chacun, et gpt-4o-mini a décliné une fois.

Nous avons ensuite cherché dans chaque réponse factuelle fausse un marqueur de doute, à partir d'une liste écrite dans analyser.py (« not sure », « I think », « probably », « might », « verify » et d'autres). Aucune des 47 réponses fausses de gpt-chat-latest n'en contenait, et aucune réponse fausse des deux autres modèles non plus. Quatre de ses réponses fausses, sur deux questions, employaient « approximately » devant un nombre, et l'une de ces deux questions contenait déjà le mot.

Cinq des réponses fausses de gpt-chat-latest au premier passage, avec la réponse publiée dans SimpleQA (questions en anglais, comme dans le test) :

Chacune de ces réponses est une phrase complète, sur le même ton assuré que les réponses justes, et celle sur YouTube ajoute un nom d'utilisateur et une date que la question ne demandait pas.

Poser deux fois la même question a peu aidé à repérer ces erreurs. Sur les 60 questions factuelles, gpt-chat-latest a été noté juste aux deux passages sur 33, faux aux deux passages sur 20, et juste à un seul passage sur 7. Comparer deux réponses aurait donc pu éveiller un doute sur 7 au plus des 27 questions où il s'est trompé au moins une fois.

Calculs de gestion : de petites erreurs qui ont l'air plausibles

Les 40 calculs sont de ceux qu'une petite entreprise fait chaque semaine : ajouter ou retirer une taxe de vente, une variation en pourcentage, une marge brute, des intérêts composés sur un dépôt, la mensualité d'un emprunt, le nombre de jours ouvrés entre deux dates et une date d'échéance. Chacun a été généré par un script avec son résultat exact, et chaque réponse fausse de gpt-chat-latest a été recalculée une seconde fois de façon indépendante. Les questions étaient en anglais et en dollars américains.

Les erreurs de gpt-chat-latest se concentrent sur les intérêts composés et les mensualités d'emprunt, les deux calculs qui élèvent un nombre à une puissance de 24 à 60. Ses réponses aux calculs étaient courtes, avec une médiane de 54 jetons de sortie et aucun jeton de raisonnement, alors que gpt-5.5 a dépensé une médiane de 155,5 jetons de raisonnement par calcul avant de répondre et a rendu les 80 justes.

Les erreurs de gpt-chat-latest au premier passage, telles qu'il les a rendues :

Une erreur de quelques cents sur une mensualité est petite, et elle montre aussi que le chiffre a été produit sans calcul exact, ce qui compte pour tout montant repris dans un devis, une facture ou un tableur. L'erreur de taxe sur B01 est le cas le plus net, parce que le modèle a montré son calcul. L'enregistrement ci-dessous est sa réponse brute au premier passage, copiée de reponses-brutes.json. La multiplication est fausse (2 661,99 × 0,0825 font 219,614175), et le second passage a rendu exactement le même texte : poser la question deux fois ne l'aurait pas révélée.

{
 "id": "B01",
 "modele": "openai/gpt-chat-latest",
 "passe": 1,
 "texte": "Sales tax: $2,661.99 × 0.0825 = $219.944175\n\nTotal: $2,661.99 + $219.944175 = $2,881.934175\n\nRounded to the nearest cent:\n\nANSWER: 2881.93",
 "jetons_sortie": 62,
 "cout_usd": 0.002165
}

gpt-4o-mini s'écartait davantage. 25 de ses 39 montants faux étaient à moins de 1 % de la valeur exacte, et son écart médian était de 0,407 %.

Compter des lignes dans un bon de commande

Chaque comptage donnait une liste de 18 à 45 articles, un par ligne, et demandait combien de lignes contenaient un mot donné, comme « cable » ou « printer ». gpt-chat-latest s'est trompé une fois sur 40 : sur une liste de 21 lignes dont 5 correspondaient, il a répondu 4 au premier passage et 5 au second. gpt-5.5 a rendu les 40 justes et gpt-4o-mini 27.

Poser la question deux fois

La température par défaut a été conservée, comme dans l'application ChatGPT, où elle ne se règle pas. Sur 109 des 120 questions, les deux réponses de gpt-chat-latest ont reçu la même note, ce qui comprend les cas où les deux étaient fausses.

Méthode

Test conduit le 2026-10-13 par la chaîne de test automatisée de ce site : le corpus, les appels aux modèles et l'analyse sont des scripts, publiés plus bas pour que chacun puisse les rejouer et contester le résultat. Etienne signe cet article et répond de son contenu.

C'est le dixième test mesuré publié ici. Le corpus et le script d'appel ont été écrits avant le premier appel à un modèle.

• Questions. Le corpus a été construit par notre chaîne, et les 120 questions sont publiées en entier. 60 questions factuelles ont été tirées au hasard dans SimpleQA (licence MIT) avec la graine 20261013. 40 calculs de gestion et 20 comptages ont été générés par construire-corpus.py avec la même graine, avec leur résultat exact.
• Modèles. openai/gpt-chat-latest, décrit dans le catalogue d'OpenRouter comme l'alias qui renvoie toujours vers le dernier modèle de conversation Instant utilisé dans ChatGPT. openai/gpt-5.5, le modèle de raisonnement d'OpenAI, à son réglage de raisonnement par défaut. openai/gpt-4o-mini, mesuré dans huit tests précédents de ce site.
• Appels. Par OpenRouter, sans consigne système et à la température par défaut, chaque question envoyée telle qu'un utilisateur la taperait. Chaque question a été posée deux fois à chaque modèle, en deux appels indépendants, soit 720 appels, de 09:49:34 à 09:55:30 UTC. Aucun n'a échoué et aucun n'a été tronqué.
• Correction des calculs et des comptages. On lit la dernière ligne qui commence par ANSWER:. Un montant est juste à 0,01 près, un pourcentage à 0,05 près, et un nombre de jours ou de lignes ou une date doivent être exacts.
• Correction des faits. Le gabarit de correction officiel de SimpleQA, copié sans modification, appliqué par deux correcteurs de deux fournisseurs, openai/gpt-5.4-mini et anthropic/claude-sonnet-5. Ils se sont accordés sur 358 des 360 réponses factuelles. Les 2 désaccords portaient sur la même réponse donnée deux fois par gpt-5.5 (« Yosio Kawada » pour « Yukiyosi Kawada » attendu), et l'agent qui a conduit le test l'a notée fausse, parce qu'elle désigne une autre personne.
• Coût. Lu dans le champ de coût de chaque réponse de l'API : 5,8332 USD pour les 720 réponses, dont 5,3852 USD pour gpt-5.5, plus 1,9044 USD pour la correction.

Le bloc ci-dessous est l'appel envoyé pour chaque question, copié de conduire-test.py. Rien d'autre n'est ajouté à la question.

MODELES = ["openai/gpt-chat-latest", "openai/gpt-5.5", "openai/gpt-4o-mini"]
PASSES = 2

def appeler(modele, question):
    corps = {"model": modele, "messages": [{"role": "user", "content": question}],
             "max_tokens": 8000, "usage": {"include": True}}

Ce bloc lit la réponse finale d'un calcul, copié de analyser.py.

def lire_reponse(texte):
    """Derniere ligne ANSWER: du texte, ou None si absente."""
    # accepte aussi la forme LaTeX \text{ANSWER: } 4145.00 (3 reponses de gpt-4o-mini)
    m = re.findall(r"ANSWER:\s*\}?\s*\**\s*([^\n*\\]+)", texte or "")
    return m[-1].strip() if m else None

Deux changements ont été faits après la lecture des réponses, et le protocole les consigne tous les deux. Le lecteur de la ligne ANSWER: a été élargi à la forme LaTeX employée par gpt-4o-mini sur 3 réponses, qui étaient fausses de toute façon. Le comptage des marqueurs de doute a été ajouté après la première lecture, et « approximately » et « around » sont comptés à part, parce que sur ces réponses ils précédaient un nombre.

Ce que ce test ne prouve pas

• Les appels passent par l'API. L'application ChatGPT ajoute ses propres consignes et sa mémoire, et peut chercher sur le web ou exécuter du code. Une question factuelle posée dans ChatGPT peut déclencher une recherche web, et le résultat peut alors différer des chiffres ci-dessus. L'alias change aussi de modèle avec le temps, et cette mesure vaut pour le 2026-10-13.
• Les questions factuelles sont difficiles à dessein. SimpleQA garde des questions sur lesquelles GPT-4 se trompait. Les 60,8 % ne disent rien des questions sur des sujets bien documentés.
• L'échantillon est petit. 120 questions, deux passages chacune, un seul jour. Une question déplace un taux de 0,8 à 2,5 points selon la famille.
• Les calculs sont les nôtres. 40 calculs de 8 types, rédigés en anglais et en dollars américains. D'autres calculs, d'autres unités ou d'autres formulations peuvent donner d'autres résultats.
• La correction des faits est automatique. Deux correcteurs de deux fournisseurs se sont accordés sur 358 réponses sur 360, et les 2 restantes ont été tranchées par l'agent qui a conduit le test, sans annotateur humain.

Ce que nous en ferions

Le test appuie trois conseils pratiques pour une petite équipe qui se sert de ChatGPT au travail.

Le premier porte sur les faits concernant des personnes, des dates, de petites organisations et des chiffres. Dans ce test, la formulation d'une réponse fausse ne laissait rien paraître de son erreur : une telle réponse est une piste à vérifier dans une source avant d'entrer dans un document. Activer la recherche dans ChatGPT change les conditions, et ce test ne l'a pas mesuré.

Le deuxième porte sur l'argent. Pour une taxe, un calcul d'intérêts ou une mensualité, la formule a sa place dans un tableur ou une calculatrice, qui la calculent exactement. Sur ces 40 calculs, le modèle de raisonnement a été exact à chaque fois, pour environ 13 fois le coût, et notre mesure de ce que la montée en gamme achète en extraction de factures arrive à une conclusion voisine sur une autre tâche. Les montants faux de gpt-chat-latest étaient à quelques dollars de la valeur exacte, c'est-à-dire l'ordre de grandeur d'erreur qu'un coup d'œil au total ne repère pas.

Le troisième porte sur le fait de poser la question deux fois. Relancer la même question a fait apparaître un désaccord sur 7 au plus des 27 questions factuelles manquées, et le calcul de taxe faux est revenu à l'identique. Notre test de la température 0 a mesuré la situation inverse, où une même entrée donnait des sorties différentes, et les deux résultats ensemble montrent que l'accord de deux réponses renseigne peu sur leur justesse.

Télécharger le jeu de données : les 120 questions et leurs réponses attendues, les 720 réponses brutes, les 720 notes, les scripts et le protocole, en une archive de 116 Ko.