Comment nous construisons et exécutons un benchmark juridique : les consignes de tâches, la grille de notation, les cadres publics utilisés, le calcul des moyennes et ses limites.
1
Même consigne, même tâche
Chaque système reçoit la même consigne pour une tâche qu'un avocat reconnaîtrait : rédiger cet accord de confidentialité, rechercher cette question, expliquer cette clause à un client.
2
Une grille de cinquante points
Le résultat est noté selon une grille de cinquante points. La présentabilité à l'associé et le lien aux sources sont les deux critères qui distinguent une évaluation juridique d'une évaluation générale.
Présentabilité à l'associéLien aux sources
3
Cadres publics
L'étude inter-domaines s'appuie sur des cadres publics plutôt que sur des instruments écrits par nous, de sorte que les colonnes juridiques peuvent être vérifiées par quelqu'un hors de HAQQ.
Stanford LegalBenchCUADVLAIR
4
Notation tout ou rien
Une tâche ne compte que si tous les critères de sa grille sont remplis. Un quasi-succès vaut zéro, sans crédit partiel, car un résultat juste à quatre-vingt-dix pour cent doit tout de même être vérifié ligne par ligne.
5
Le calcul des moyennes
La moyenne d'un domaine est la moyenne de ses benchmarks. La moyenne générale est celle de vingt-quatre benchmarks, hors tests adverses. Une cellule vide est exclue de toutes les moyennes et n'est jamais traitée comme un zéro.
6
Rapport et analyse
Les lignes où HAQQ n'est pas première sont montrées exactement comme celles où elle l'est : même poids, même place, sans réordonnancement ni omission. Quand un chiffre est dérivé, la dérivation est indiquée.
Benchmark de tâches · Sur 50Étude inter-domaines · Sur 100
Illustration uniquement. La longueur des barres ne porte aucune donnée.
Les deux échelles ne sont pas interchangeables. Un score sur 50 et un score sur 100 mesurent un travail différent selon des grilles différentes, et ne doivent jamais être lus comme comparables.
Évaluer le routage des modèles et Jev
Deux éléments se placent entre une requête et une réponse : le routeur qui décide quel modèle exécute une tâche, et Jev, un service de jugement calibré que nous testons comme vérificateur. Aucun n'est cru sur parole. Chacun est noté sur les mêmes tâches et la même grille, et aucun score de cette étape n'est encore affiché ici.
1
Le routage face à un modèle fixe
Chaque tâche passe par le routeur et, séparément, par chaque modèle fixe avec la même requête. Le routage doit battre un modèle seul, pas une base vide.
2
Qualité par dollar
Une route est notée sur la qualité selon la grille divisée par le coût par tâche, en comptant chaque jeton facturé. C'est le même indice que le graphique de performance de la page Labs.
3
Tests aux limites pour Jev
Jev est testé là où un vérificateur peut être trompé, comme une citation inventée placée à côté d'une citation honnête. Les cas qu'il rate sont rapportés avec ceux qu'il réussit.
4
Sa propre échelle
Les résultats du routage et de Jev sont rapportés sur leur propre échelle et jamais fondus dans le score du benchmark de tâches. Les versions des modèles et la date d'exécution sont indiquées.
Données historiques
Les benchmarks juridiques qui ont façonné la mesure des modèles d'IA, des premiers jeux de données publics en 2021 à 2026.
Les scores ne sont pas affichés. Chaque benchmark a ses propres tâches et métriques, donc les scores de benchmarks différents ne sont pas comparables. Chaque entrée renvoie à sa source primaire.
2021
3 benchmarks
CUAD
Lancé en 2021
Revue de contrats : repérer les clauses importantes pour un relecteur humain, avec plus de 13 000 annotations d'experts.
Raisonnement juridique des grands modèles de langage : 162 tâches couvrant six types de raisonnement juridique, construites en collaboration avec des juristes.
Évalue l'étape de récupération de la génération augmentée par récupération dans le domaine juridique, en visant des extraits de texte minimaux et très pertinents.
Un benchmark juridique chinois de 23 tâches et 14 150 questions, qui examine aussi les enjeux éthiques de l'application des modèles de langage au droit.
Rapport sur la recherche juridique de Vals AI : produits de recherche juridique par IA et ChatGPT notés sur 200 questions de recherche juridique américaines, face à une référence d'avocats.
Raisonnement juridique argumentatif en arabe : plus de 13 000 affaires commerciales saoudiennes, avec les faits, le raisonnement du tribunal, le jugement et les clauses citées.
Un benchmark open source d'agents juridiques : plus de 1 200 tâches d'agent dans 24 domaines de pratique, notées selon plus de 75 000 critères rédigés par des experts.
Lancé en 2026Classement mis à jour le 24 octobre 2026
Un benchmark agentique pour la recherche juridique américaine : les agents interrogent la jurisprudence, le web et des documents, et sont notés sur des grilles rédigées par des experts dans huit domaines de pratique.
