Classification de tickets de support, quatre modèles

Cette page décrit un jeu de données, publié en entier. C'est la matière première de notre mesure du classement des tickets de support par quatre modèles : 270 messages de clients, 1 080 réponses de quatre modèles avec la confiance déclarée par chacun, et le coût facturé pour chaque appel.

Tout ce qui figure sur cette page vient de ce seul passage, conduit le 2026-09-30. Rien n'est estimé.

Ce qu'il mesure, et ce qu'il ne prouve pas

Il mesure deux choses sur les mêmes réponses : si un modèle range un message de client dans la bonne intention parmi une liste fermée de 27, et si la confiance qu'il déclare sépare ses réponses justes de ses réponses fausses. La catégorie de chaque réponse (11 groupes) se déduit de l'intention, si bien que le jeu montre aussi si une erreur reste dans la bonne équipe.

C'est le premier jeu de données publié ici sur le support client, et le premier dont les messages n'ont pas été générés par nos propres scripts. Ils viennent d'un jeu public, c'est pourquoi leur texte est traité à part, comme expliqué plus bas.

Ce qu'il ne prouve pas, dit franchement, parce qu'un jeu de données cité sans ses limites fait plus de mal que pas de jeu du tout :

• Les messages sont hybrides et synthétiques, selon la description de leur propre éditeur, et courts : une phrase en anglais, une demande, aucun historique.
• Les 27 intentions étaient données au modèle. Rien ici ne s'applique à un tri sans liste fixée.
• L'urgence n'est pas mesurée. La source ne porte aucune étiquette d'urgence.
• La confiance est un nombre que le modèle écrit, pas une probabilité calibrée.
• Un appel par message et par modèle, à température 0, et notre propre test du 2026-08-25 a établi que la température 0 ne garantit pas la répétabilité.
• La relecture des étiquettes porte sur douze messages et a été faite par l'agent qui a conduit le test. Les chiffres bruts, contre les étiquettes de la source, sont publiés en premier et n'en dépendent pas.

D'où viennent les messages

Les 270 messages sont tirés du jeu de support client de Bitext, révision 430d1a89bd93bd1fa23c16f29dd53e73f0087443, publié sous licence CDLA-Sharing-1.0. Tout le reste de cette archive est à nous et publié sous CC BY 4.0. Comme les deux licences diffèrent, le texte des messages n'est pas redistribué : chaque réponse de resultats-bruts.json désigne son message par un identifiant d'échantillon, de T001 à T270, avec l'intention attendue, la catégorie et les drapeaux de variation de Bitext.

L'échantillon se reconstruit à l'identique. tirer-echantillon.py lit le fichier Bitext, supprime les doublons exacts de texte, puis tire 10 messages par intention avec la graine 20260930. Nous l'avons reconstruit le 2026-10-06 depuis le fichier source et obtenu les mêmes octets que l'échantillon du test, dont la somme sha256 commence par 5f37a8b0. Le fichier SOURCE-BITEXT.md de l'archive donne la somme complète, le fichier exact et la marche à suivre.

Les chiffres, par modèle

chiffres.json porte ces chiffres avec les confusions entre intentions, les résultats par drapeau de variation, l'effet des seuils de confiance à 80, 90 et 95, et la justesse calculée sans les huit messages dont l'étiquette a été jugée discutable.

Ce que contient l'archive

Un enregistrement brut, tel qu'il est servi

Chaque ligne de resultats-bruts.json porte une réponse. Celle-ci est une intention fausse rendue avec une confiance de 95, montrée sans son champ brut, qui contient le texte du modèle tel qu'il a été reçu.

{
 "modele": "google/gemini-2.5-flash-lite",
 "message": "T026",
 "attendu": "change_shipping_address",
 "categorie_attendue": "SHIPPING",
 "marqueurs": "BL",
 "lu": true,
 "essais": 1,
 "json_valide": true,
 "intention": "set_up_shipping_address",
 "intention_brute": "set_up_shipping_address",
 "categorie": "SHIPPING",
 "confiance": 95,
 "juste": false,
 "categorie_juste": true,
 "raison_d_arret": "stop",
 "jetons_entree": 342,
 "jetons_sortie": 30,
 "cout_usd": 4.62e-05,
 "fournisseur": "Google",
 "modele_servi": "google/gemini-2.5-flash-lite"
}

Vérifiez ce que vous avez téléchargé avant de lui faire confiance :

shasum -a 256 2026-09-support-ticket-classification.zip
# 0b6cfbee6ddac1be442d07cd1c9e414690df830e431be7dc0117549951c653b7

Comment citer ce jeu de données

Copiez l'une des deux formes ci-dessous. La référence pointe vers cette page, qui est l'adresse stable de ce jeu de données ; l'archive est ce que cette adresse sert.

Think AI First (2026). Classification de tickets de support par quatre modèles, 1 080 réponses brutes avec confiance déclarée.
Think AI First. Test conduit le 2026-09-30, publié le 2026-10-06.
https://think-ai-first.com/fr/donnees/classification-tickets-support-2026-09. Sous licence CC BY 4.0.

@dataset{thinkaifirst2026classification,
  author    = {{Think AI First}},
  title     = {Classification de tickets de support par quatre modeles, 1 080 reponses brutes avec confiance declaree},
  year      = {2026},
  publisher = {Think AI First},
  url       = {https://think-ai-first.com/fr/donnees/classification-tickets-support-2026-09},
  note      = {Test conduit le 2026-09-30. Sous licence CC BY 4.0. Archive SHA-256 0b6cfbee6ddac1be442d07cd1c9e414690df830e431be7dc0117549951c653b7}
}

Licence et réutilisation

Publié sous CC BY 4.0, sauf les douze messages Bitext cités dans chiffres.json, qui restent sous CDLA-Sharing-1.0. Utilisez-le, citez-le, contredisez-le. Si vous rejouez ceci et obtenez autre chose, dites-le nous par le formulaire de contact : les corrections sont publiées sur l'article lui-même, datées.

Télécharger le jeu de données (zip, 35,0 Kio, 8 fichiers)

Les autres jeux de données publiés ici

Chacun est un test distinct, avec son corpus, ses réponses brutes et son archive. Celui-ci est le premier sur le support client.

• Extraction de factures par trois modèles économiques, 288 réponses brutes, test conduit le 2026-08-10.
• Dédoublonnage de carnets de contacts par trois modèles économiques, 96 réponses brutes, test conduit le 2026-08-17.
• Extraction des actions d'un compte rendu par trois modèles économiques, 96 réponses brutes, test conduit le 2026-08-18.
• Répétabilité d'une étape LLM à température 0, 360 réponses brutes, test conduit le 2026-08-25.
• Quatre garde-fous de détection d'erreur sur 288 extractions de factures, 288 réponses brutes d'auto-vérification, test conduit le 2026-09-04.
• Prix contre justesse sur l'extraction de factures, six modèles, 864 réponses brutes avec leur coût facturé, test conduit le 2026-09-06.
• Deux garde-fous de détection d'erreur sur 368 fusions de contacts proposées, 96 réponses brutes d'auto-vérification, test conduit le 2026-09-12.
• Rapprochement facture et bon de commande par quatre modèles, 672 décisions brutes, test conduit le 2026-09-14.

Les mêmes résultats, par modèle

Les chiffres de ce jeu de données sont aussi rassemblés par modèle, avec ceux des autres tests de ce site : Claude Haiku 4.5, Gemini 2.5 Flash Lite, GPT-4o mini. Les mêmes entrées sont aussi comparées deux modèles à la fois : Claude Haiku 4.5 et Gemini 2.5 Flash Lite, Claude Haiku 4.5 et GPT-4o mini, Gemini 2.5 Flash Lite et GPT-4o mini.