Come costruiamo ed eseguiamo un benchmark giuridico: i prompt dei compiti, la griglia di valutazione, i quadri pubblici su cui si basa, il calcolo delle medie e i suoi limiti.
1
Stesso prompt, stesso compito
Ogni sistema riceve lo stesso prompt per un compito che un avvocato riconoscerebbe: redigere questo NDA, ricercare questa questione, spiegare questa clausola a un cliente.
2
Una griglia da cinquanta punti
Il risultato è valutato con una griglia da cinquanta punti. La presentabilità al partner e il collegamento alle fonti sono i due criteri che distinguono una valutazione giuridica da una generale.
Presentabilità al partnerCollegamento alle fonti
3
Quadri pubblici
Lo studio multidominio si basa su quadri pubblici anziché su strumenti scritti da noi, così le colonne giuridiche possono essere verificate da chi è esterno a HAQQ.
Stanford LegalBenchCUADVLAIR
4
Valutazione all-pass
Un compito conta solo se tutti i criteri della griglia sono soddisfatti. Un quasi-successo vale zero, senza punteggio parziale, perché un risultato corretto al novanta per cento va comunque controllato riga per riga.
5
Come funzionano le medie
La media di un dominio è la media dei suoi benchmark. La media generale è quella di ventiquattro benchmark, esclusi i test avversari. Una cella vuota è esclusa da ogni media e non è mai trattata come zero.
6
Report e analisi
Le righe in cui HAQQ non è prima sono mostrate esattamente come quelle in cui lo è: stesso peso, stessa posizione, senza riordinamenti né omissioni. Quando una cifra è derivata, la derivazione è indicata.
Benchmark di compiti · Su 50Studio multidominio · Su 100
Solo illustrazione. La lunghezza delle barre non rappresenta dati.
Le due scale non sono intercambiabili. Un punteggio su 50 e uno su 100 misurano lavoro diverso con griglie diverse e non vanno mai letti come confrontabili.
Valutare l'instradamento dei modelli e Jev
Due elementi stanno tra una richiesta e una risposta: il router che decide quale modello esegue un compito e Jev, un servizio di giudizio calibrato che mettiamo alla prova come verificatore. Nessuno dei due è accettato sulla fiducia. Ciascuno è valutato sugli stessi compiti e con la stessa griglia, e per ora qui non è mostrato alcun punteggio di questo passaggio.
1
Instradamento contro un modello fisso
Ogni compito passa dal router e, separatamente, da ciascun modello fisso con la stessa richiesta. L'instradamento deve battere un singolo modello, non una base vuota.
2
Qualità per dollaro
Un percorso è valutato sulla qualità secondo la griglia divisa per il costo per compito, contando ogni token fatturabile. È lo stesso indice del grafico delle prestazioni nella pagina Labs.
3
Test ai limiti per Jev
Jev è messo alla prova dove un verificatore può essere ingannato, come una citazione inventata accanto a una onesta. I casi in cui sbaglia sono riportati insieme a quelli in cui riesce.
4
Una scala propria
I risultati dell'instradamento e di Jev sono riportati su una scala propria e mai fusi nel punteggio del benchmark dei compiti. Sono indicate le versioni dei modelli e la data di esecuzione.
Dati storici
I benchmark giuridici che hanno plasmato il modo di misurare i modelli di IA, dai primi dataset pubblici del 2021 al 2026.
I punteggi non sono mostrati. Ogni benchmark usa compiti e metriche propri, quindi i punteggi di benchmark diversi non sono confrontabili. Ogni voce rimanda alla sua fonte primaria.
2021
3 benchmark
CUAD
Lanciato nel 2021
Revisione di contratti: evidenziare le clausole rilevanti per un revisore umano, con oltre 13.000 annotazioni di esperti.
Ragionamento giuridico nei grandi modelli linguistici: 162 compiti che coprono sei tipi di ragionamento giuridico, costruiti in collaborazione con professionisti del diritto.
Un benchmark giuridico cinese con 23 compiti e 14.150 domande, che esamina anche le questioni etiche dell'applicazione dei modelli linguistici al diritto.
Rapporto sulla ricerca giuridica di Vals AI: prodotti di ricerca giuridica con IA e ChatGPT valutati su 200 domande di ricerca giuridica statunitensi, rispetto a un riferimento di avvocati.
Ragionamento giuridico argomentativo in arabo: oltre 13.000 cause commerciali dell'Arabia Saudita, con i fatti, il ragionamento del tribunale, la decisione e le clausole citate.
Un benchmark open source per agenti legali: oltre 1.200 compiti per agenti in 24 aree di pratica, valutati con oltre 75.000 criteri scritti da esperti.
Lanciato nel 2026Classifica aggiornata il 24 ottobre 2026
Un benchmark agentico per la ricerca legale statunitense: gli agenti cercano giurisprudenza, web e documenti e sono valutati con griglie scritte da esperti in otto aree di pratica.
