Nous avons posé deux fois 120 questions à réponse connue au modèle de ChatGPT. Il a rendu justes 60,8 % des faits difficiles et 78,8 % des calculs de gestion, et aucune de ses réponses fausses n'exprimait de doute.
Lire l'articleQuatre modèles ont rangé 270 messages de support client dans 27 intentions. gpt-4o en a rangé 90,7 % correctement et claude-haiku-4.5 84,8 %. gemini-2.5-flash-lite a rendu 16 de ses 26 erreurs avec une confiance de 90 ou plus, gpt-4o-mini aucune.
Lire l'articlePrix faux, ligne jamais commandée, référence fausse, devise fausse : attrapés 383 fois sur 383. Les dix-sept faux accords du test portent tous sur une seule condition, la sur-livraison, et un modèle a écrit l'écart avant de l'approuver.
Lire l'articleL'auto-vérification rattrape 97,6 % des extractions de factures fausses. Sur des fusions de contacts, où rien ne se recalcule, elle en rattrape 76,0 %. L'accord entre modèles tombe de 92,9 % à 62,9 %, et il marche le plus mal sur le modèle qui se trompe le moins.
Lire l'articleSur une facture propre, la montée en gamme n'achète rien : les six modèles sont à 100 %. Là où elle achète quelque chose, les trois fournisseurs achètent les mêmes 10 ou 11 factures justes sur 96, et le prix de ce gain identique varie d'un facteur 6,5. Coûts lus dans l'API, jamais dans une grille tarifaire.
Lire l'articleLe contrôle arithmétique publié en août rattrape 59 % des erreurs et se déclenche sur 22 % des extractions justes. Nous avons posé quatre garde-fous différents sur les mêmes 288 extractions. Celui qui rattrape le plus est le pire à déployer, et l'accord entre modèles ne se déclenche jamais sur une facture propre.
Lire l'articleLa même entrée, le même modèle, la même consigne, dix fois à température 0. Un tiers des couples est revenu avec plus d'une réponse, et chacune des divergences passe le contrôle de schéma. Un modèle sur trois est stable partout, ce qui casse la règle que vous alliez citer.
Lire l'articleTrois modèles économiques, 8 réunions, quatre formats de compte rendu. Ils retrouvent 94,8 % des actions réelles. Le problème est ce qu'ils ajoutent : le travail annulé pendant la réunion revient sur une liste sur cinq, au nom de quelqu'un.
Lire l'articleTrois modèles bon marché, 8 carnets, quatre niveaux de désordre. Trouver les doublons est la partie facile, 94,1 pour cent. Le chiffre qui vous coûte une fiche, c'est la part des personnes distinctes fusionnées sans le moindre avertissement.
Lire l'articleTrois modèles bon marché, 24 factures, quatre niveaux de texte dégradé. L'exactitude est le chiffre facile. Celui qui coûte de l'argent, c'est la part des extractions fausses qui ne signalent rien.
Lire l'articleUn métier est un faisceau de tâches, et un faisceau disparaît rarement d'un coup. Raisonner par tâche donne des réponses vérifiables, et montre plus clairement qui décide de la suite.
Lire l'articleUne phrase explique la technologie, et la même phrase explique presque tous les comportements étranges rencontres. La confusion vient des mots employés, pas de la machine.
Lire l'articleConstruire une chaîne qui marche est la partie facile. Construire une chaîne dont les pannes se voient est le vrai travail, car un modèle au milieu d'un flux ne s'arrête pas quand il est perdu.
Lire l'articleUne petite équipe n'a ni programme pilote ni évaluateur d'outils. La décision doit donc être arithmétique. Voici le calcul, y compris le coût que tout le monde oublie.
Lire l'articleUn logiciel ordinaire casse bruyamment. Un modèle de langue fait plus étrange : il produit une réponse assurée et bien formée, qu'il en ait une ou non. Voici où cela mord, et ce qui l'attrape.
Lire l'articleLa plupart des conseils partent d'un outil et cherchent un usage. Partez plutôt de la tâche, et faites-la passer par trois questions. Deux portent sur la vérification, et ce n'est pas un hasard.
Lire l'articleUn e-mail quand un article paraît. Pas d'outil de la semaine, pas de liste d'affiliation, aucune transmission de votre adresse à qui que ce soit.
