Extraction de factures par IA : 288 tests sur les erreurs qui reviennent propres

Une PME qui reçoit ses factures fournisseurs en PDF préfère les faire lire par un modèle plutôt que de les ressaisir. Savoir si cela marche n'est pas vraiment la question. Sur des documents propres, cela marche, et nous l'avons mesuré aussi. La question est ce qui se passe le jour où cela ne marche pas, et si quelqu'un s'en aperçoit.

Nous avons conduit 288 extractions pour le savoir. Voici les résultats, avant la méthode.

Sur du texte propre, et sur du texte dont la mise en colonnes a été détruite, trois modèles bon marché rendent 144 extractions justes sur 144. Perdre l'alignement d'un copier coller de PDF n'a rien coûté du tout. Le conseil courant qui consiste à « bien nettoyer le document avant » n'est pas soutenu par cette mesure.

Quand le bloc des totaux est remis dans le désordre, ou privé de ses libellés, l'exactitude tombe à 51 sur 72 à chacun de ces deux niveaux, et les modèles se taisent exactement là où ils auraient dû parler. Au niveau le plus difficile, 47,6 % des réponses fausses reviennent sans le moindre signalement, contre 14,3 % au niveau précédent. Le silence augmente avec la difficulté.

Huit extractions sur 288 sont fausses, ne portent aucun signalement, et passent le contrôle d'arithmétique censé les attraper. Les huit sont des factures avec un acompte déjà versé, et à chaque fois le modèle rend le total facturé au lieu du solde dû. Une entreprise qui paierait sur cette base paierait l'acompte deux fois, entre 252,95 et 602,26 USD par facture, médiane 489,83 USD, sans que rien nulle part ne le signale.

La méthode, en bref

Test conduit le 2026-08-10 par la chaîne de test automatisée de ce site : le corpus, les appels aux modèles et l'analyse sont des scripts, publiés plus bas pour que chacun puisse les rejouer et contester le résultat. Etienne signe cet article et répond de son contenu.

Le corpus est construit, pas collecté. 24 factures fournisseurs générées par script avec une graine fixe, de sorte que la vérité terrain est connue sans discussion possible et que le corpus se régénère à l'identique. Aucune facture réelle, aucun fournisseur réel, aucune donnée d'entreprise réelle. C'est un choix assumé : un corpus de vraies factures aurait exigé de trancher à la main 168 valeurs, avec nos propres erreurs de lecture dans la référence.

Sept champs sont extraits de chaque facture : numéro de facture, date de facture, date d'échéance, devise, sous-total, taxe, montant dû.

Chaque facture a été présentée à quatre niveaux de dégradation du texte. Nous dégradons la structure, jamais les chiffres : corrompre un montant rendrait la facture réellement fausse et punirait un modèle de l'avoir bien lue. À chaque niveau, la bonne réponse reste dérivable du document.

Trois modèles, choisis parmi ceux qu'une PME emploierait réellement pour leur prix : openai/gpt-4o-mini, google/gemini-2.5-flash-lite, anthropic/claude-haiku-4.5. Accès par OpenRouter, température 0, une seule exécution par couple facture, niveau et modèle. 288 appels, 0 échec technique, 0 réponse JSON invalide, coût total des appels 0,11951 USD. La consigne était identique mot pour mot pour les trois modèles, et elle autorisait explicitement le modèle à signaler une ambiguïté dans un champ notes. C'est ce champ qui rend le taux d'échec silencieux mesurable.

Ce que ce test ne prouve pas. L'entrée est du texte, pas une image scannée : il ne dit rien des erreurs de caractères d'un OCR, qui ne peuvent qu'aggraver le résultat. Chaque facture tient sur une page et est en anglais. Chaque couple n'a été exécuté qu'une fois. C'est un test sur 24 documents synthétiques, pas un banc d'essai de production. La liste complète des limites est à la fin, et elle mérite d'être lue avant de citer un chiffre d'ici.

Quatre pièges, et celui sur lequel nous nous trompions

Quatre difficultés ont été insérées, chacune résolue par le document lui-même, pour qu'il existe une seule bonne réponse défendable.

La date ambiguë n'a jamais trompé personne, à aucun niveau, sur aucun modèle : 0 erreur sur 72 extractions. C'est le piège que nous pensions le plus dangereux en écrivant le corpus. Nous nous trompions, et nous laissons la ligne ici plutôt que de la retirer discrètement.

Les factures sans aucun piège n'ont jamais cassé non plus. Toutes les erreurs de ce test, sans exception, tombent sur une facture où il y a réellement de l'argent en jeu.

Résultats bruts

Exactitude : factures entièrement justes, sur 24

Le classement s'inverse entre N3 et N4. gpt-4o-mini est le meilleur à N3 et le pire à N4 ; claude-haiku-4.5 fait l'inverse. Choisir un modèle sur un seul niveau de dégradation ne dit rien de son comportement sur un autre.

Échec silencieux

Le contrôle le moins cher : sous-total + taxe = montant dû

Les fausses alertes ne sont pas du bruit aléatoire. Ce sont exactement les factures à acompte, où sous-total plus taxe vaut le total facturé et non le solde dû. Le contrôle y est arithmétiquement juste et opérationnellement faux, ce qu'il vaut mieux savoir avant de le brancher sur une alerte.

Quel champ casse

À N3, les 21 erreurs portent toutes sur un seul champ, le montant dû. Rien d'autre ne bouge. Les identifiants et les dates survivent à tous les niveaux de dégradation que nous leur avons infligés.

L'angle mort

Trois choses doivent s'aligner pour qu'une erreur atteigne la comptabilité sans être contestée : l'extraction est fausse, le modèle ne dit rien, et le contrôle d'arithmétique passe. C'est arrivé 8 fois sur 288.

Huit extractions, cinq factures distinctes, toutes des factures portant un acompte, et les huit produites par le même modèle, gpt-4o-mini. Nous rapportons ce dernier point parce qu'il est dans les données, et nous le relativisons dans la même phrase : avec une seule exécution par couple, une affirmation sur un modèle appuyée sur huit cas est une observation, pas un résultat. Ce qui est un résultat, c'est la forme. Chaque cas est la même erreur, sur le même type de document, sur le seul champ où le contrôle d'arithmétique ne peut rien, parce que le chiffre rendu est cohérent avec lui-même. Il répond simplement à une autre question que celle qui était posée.

La règle utilisable

Deux choses sortent de ce test, et les deux coûtent peu.

Faites le contrôle sous-total + taxe = montant dû. Il tient en trois lignes de code et rattrape la moitié à deux tiers des erreurs. Acceptez qu'il signale environ un quart de vos factures parfaitement justes aux niveaux propres, et envoyez celles-là à un humain plutôt que de chercher à le régler finement.

Routez systématiquement vers un humain toute facture portant un acompte, un avoir ou une remise. C'est là que tombent 100 % des erreurs de ce test, et c'est le seul endroit où le contrôle d'arithmétique est à la fois inutile et trompeur. Repérer ces documents ne demande aucun modèle : les mots sont dans le texte.

Ce que vous pouvez arrêter de faire, c'est de dépenser de l'effort sur la mise en page du PDF avant l'extraction. Sur ce corpus, cela n'a rien rapporté.

Pour la version plus large de ce raisonnement, nous avons écrit sur les tâches où l'IA échoue sans le dire et sur les modes de panne des flux automatisés. Ce test en est une instance mesurée.

Limites, franchement

• 24 factures synthétiques. Un test sur 24 cas est un test sur 24 cas.
• Une seule exécution par couple, à température 0. Les modèles ne sont pas parfaitement déterministes pour autant. Les écarts d'un ou deux points entre modèles ne doivent pas être lus comme significatifs. Les écarts de dix points et plus, et surtout la structure des erreurs, toujours le même champ et le même type de facture, le sont.
• Entrée en texte, pas en image. Un vrai scan ajoute des erreurs de caractères que ce test ne mesure pas, et qui ne peuvent qu'aggraver le résultat.
• Anglais seulement.
• Trois modèles d'entrée de gamme. Rien ici ne dit ce que feraient les modèles les plus chers. C'est une question ouverte qui mérite son propre test.
• Le corpus est de nous. Il est publié pour que le désaccord soit possible.

Rejouer le test

Tout ce que ce test a produit est ici, pas résumé : les scripts qui ont généré le corpus et l'ont dégradé, les 24 factures avec leur vérité terrain, les 288 réponses brutes telles que les modèles les ont rendues, et le script qui en tire les chiffres ci-dessus.

Sept fichiers, 393777 octets : le générateur du corpus avec sa graine fixe, les 24 factures et leur vérité terrain, les quatre niveaux de dégradation, le script qui a appelé les modèles et comparé champ par champ, les 288 réponses brutes avec la consigne employée, et l'analyse qui produit chacun des chiffres ci-dessus. La page de données les détaille un par un avec ce que chacun contient.

Le générateur emploie une graine fixe : le corpus que vous produirez est celui que nous avons employé.

python3 generer-corpus.py --sortie corpus.json
python3 conduire-test.py --corpus corpus.json --sortie resultats-bruts.json \
    --niveaux 1 2 3 4 \
    --modeles openai/gpt-4o-mini google/gemini-2.5-flash-lite anthropic/claude-haiku-4.5
python3 analyser.py --resultats resultats-bruts.json --sortie chiffres.json

La clé d'API est lue dans une variable d'environnement et n'apparaît nulle part dans ces fichiers.

Télécharger le jeu de données (zip, 27,8 Kio, 7 fichiers, avec l'inventaire complet et la somme de contrôle).

Si vous rejouez ce test et obtenez autre chose, nous voulons le savoir. Il y a un formulaire de contact, et les corrections sont publiées sur l'article lui-même, datées, comme le disent les règles éditoriales de ce site.