À venirSur texte
Tri et routage de tickets
Le bon ticket arrive-t-il à la bonne équipe, du premier coup ?
Le protocole de ce benchmark est écrit. Aucun modèle n'a encore été interrogé, donc ce hub n'affiche aucun chiffre pour cette tâche.
Ce que ce test mesurera
Classer des demandes entrantes par catégorie et urgence, puis les router. Volume élevé, coût unitaire faible : c'est ici que le rapport précision-prix d'un petit modèle se juge.
Ce qui sera noté
- Catégorie
- Urgence
- Langue et sentiment
- Routage
Ce qu'il attend
Un jeu public réel et annoté existe. Il reste à l'intégrer au pipeline.
- Place dans la feuille de route
- Vague 1
- Jeu de données visé
- CFPB — réclamations réelles de consommateurs, classées par produit et par problème, données publiques
- Échantillon visé
- 200 tickets
- Ce que reçoit le modèle
- Du texte
Un métier à la fois, une tâche à la fois. Chaque vague se termine par une publication.
Aucun chiffre n'est affiché ici : il n'y en a pas. Le jour où cette tâche sera mesurée, son classement apparaîtra sur cette même page.
Comment le hub mesure — la façon de vérifier une réponse, le barème et les verdicts, sur la tâche déjà mesurée.