Gemini 2.5 Flash Lite et GPT-4o mini sur les mêmes entrées : les cas où l'un réussit et l'autre échoue, dans trois tests de première main

Cette page place Gemini 2.5 Flash Lite et GPT-4o mini côte à côte sur les entrées que les deux modèles ont reçues dans trois tests publiés sur ce site, et compte, cas par cas, où l'un des deux avait raison et l'autre tort. Elle ne rapporte aucun test nouveau. Les chiffres ont été recalculés le 2026-10-19 à partir des réponses brutes publiées avec chaque test, par le script montré en fin de page.

Les tests ont été conduits par la chaîne de test automatisée de ce site : les corpus, les appels aux modèles et l'analyse sont des scripts, publiés avec chaque jeu de données pour que chacun puisse les rejouer et contester le résultat. Dans chaque test, les deux modèles ont reçu la même consigne et les mêmes entrées.

Cas par cas, dans trois tests

Lire le tableau

Extraction de factures. Sur 96 extractions traitées par les deux modèles, Gemini 2.5 Flash Lite avait raison sur 8 où GPT-4o mini se trompait, et GPT-4o mini avait raison sur 6 où Gemini 2.5 Flash Lite se trompait. Les deux modèles se sont trompés sur 5.

Classification de messages de support. Sur 270 messages traités par les deux modèles, Gemini 2.5 Flash Lite avait raison sur 19 où GPT-4o mini se trompait, et GPT-4o mini avait raison sur 12 où Gemini 2.5 Flash Lite se trompait. Les deux modèles se sont trompés sur 14.

Rapprochement facture et bon de commande. Sur 168 paires traitées par les deux modèles, Gemini 2.5 Flash Lite avait raison sur 10 où GPT-4o mini se trompait, et GPT-4o mini avait raison sur 4 où Gemini 2.5 Flash Lite se trompait. Les deux modèles se sont trompés sur 30.

Quand un seul des deux modèles a raison, leurs deux réponses diffèrent forcément, et un contrôle qui compare les deux réponses verrait au moins ces cas. Quand les deux se trompent, leurs réponses peuvent concorder, et un tel contrôle peut ne rien voir. La dernière colonne borne donc ce qu'interroger aussi le second modèle permettrait de rattraper sur ces entrées.

Les résultats complets de chaque modèle, y compris les tests qui ne sont pas comparés ici, sont sur sa propre page : Gemini 2.5 Flash Lite et GPT-4o mini.

Méthode

• Les dates des tests sont celles du tableau. Cette page a été publiée le 2026-10-19, et ses chiffres recalculés le même jour à partir des archives servies sur les pages de données.
• Un cas compte comme juste selon la règle de son propre test : les sept champs justes pour une extraction, l'intention attendue pour un message de support, la décision attendue pour une paire de rapprochement.
• Les factures et les bons de commande ont été générés par script avec des graines fixes ; les messages de support viennent du jeu public Bitext.
• La nouvelle passe de l'extraction de factures du 2026-09-06 donne pour cette paire les mêmes décomptes que la première et n'est pas ajoutée comme quatrième test.

Ce que ces chiffres ne montrent pas

• Chaque cas a été posé une fois à chaque modèle. Un second appel à température 0 peut rendre une autre réponse, comme ce site l'a mesuré le 2026-08-25 : une nouvelle passe peut donc déplacer chaque décompte de quelques cas.
• Les factures et les bons de commande ont été générés par script et ne représentent pas la variété des documents réels.
• Les résultats décrivent les deux modèles tels qu'ils étaient servis à la date de chaque test et sous la consigne de chaque test.

Recalculer le tableau

Ce script lit les réponses brutes de trois archives et imprime les décomptes du tableau, sauf la colonne des cas justes pour les deux, qui vaut les cas communs moins les trois autres colonnes. Téléchargez chaque archive depuis la page de données liée dans le tableau, décompressez-la dans un dossier qui porte son nom, puis lancez le script depuis le dossier qui les contient.

import json
from pathlib import Path

A, B = "google/gemini-2.5-flash-lite", "openai/gpt-4o-mini"
TESTS = [
    ("2026-08-invoice-extraction", lambda r: (r["facture"], r["niveau"]), lambda r: r["tous_les_champs_justes"]),
    ("2026-09-support-ticket-classification", lambda r: r["message"], lambda r: bool(r["juste"])),
    ("2026-09-invoice-po-matching", lambda r: r["paire"], lambda r: bool(r["juste"])),
]

for archive, key, right in TESTS:
    data = json.loads(next(Path(archive).rglob("resultats-bruts.json")).read_text())
    rows = data["lignes"] if isinstance(data, dict) else data
    a = {key(r): right(r) for r in rows if r["modele"] == A}
    b = {key(r): right(r) for r in rows if r["modele"] == B}
    common = sorted(set(a) & set(b))
    print(archive, "| common", len(common),
          "| only A right", sum(a[k] and not b[k] for k in common),
          "| only B right", sum(b[k] and not a[k] for k in common),
          "| both wrong", sum(not a[k] and not b[k] for k in common))