Benchmark giuridici
Come costruiamo e valutiamo un benchmark giuridico, e i benchmark giuridici pubblici che lo hanno preceduto, dal 2021 al 2026.
Quadro del benchmark
Come costruiamo ed eseguiamo un benchmark giuridico: i prompt dei compiti, la griglia di valutazione, i quadri pubblici su cui si basa, il calcolo delle medie e i suoi limiti.
Valutare l'instradamento dei modelli e Jev
Due elementi stanno tra una richiesta e una risposta: il router che decide quale modello esegue un compito e Jev, un servizio di giudizio calibrato che mettiamo alla prova come verificatore. Nessuno dei due è accettato sulla fiducia. Ciascuno è valutato sugli stessi compiti e con la stessa griglia, e per ora qui non è mostrato alcun punteggio di questo passaggio.
- 1
Instradamento contro un modello fisso
Ogni compito passa dal router e, separatamente, da ciascun modello fisso con la stessa richiesta. L'instradamento deve battere un singolo modello, non una base vuota.
- 2
Qualità per dollaro
Un percorso è valutato sulla qualità secondo la griglia divisa per il costo per compito, contando ogni token fatturabile. È lo stesso indice del grafico delle prestazioni nella pagina Labs.
- 3
Test ai limiti per Jev
Jev è messo alla prova dove un verificatore può essere ingannato, come una citazione inventata accanto a una onesta. I casi in cui sbaglia sono riportati insieme a quelli in cui riesce.
- 4
Una scala propria
I risultati dell'instradamento e di Jev sono riportati su una scala propria e mai fusi nel punteggio del benchmark dei compiti. Sono indicate le versioni dei modelli e la data di esecuzione.
Due valutazioni, due scale
Il benchmark di compiti
11 categorie di compiti giuridici. Sul lavoro che un avvocato consegna davvero, chi produce il risultato migliore?
Lo studio multidominio
25 benchmark in 5 domini: diritto, fisco, giornalismo, capacità generali, sicurezza e valori. Di fronte ai modelli di frontiera sul loro terreno, dove si colloca un motore specializzato nel diritto?
Cosa copre la griglia
- Sharia
- Normativa
- Foro
- Costruzione delle clausole
- Rischio
- Allucinazione
- Formattazione
- Concisione
- Presentabilità al partner
- Collegamento alle fonti
Presentabilità al partner
Una risposta corretta che richiede un'ora di riorganizzazione prima che un partner la firmi non ha fatto il suo lavoro.
Collegamento alle fonti
Una citazione che non porta a nulla è peggio di nessuna citazione, perché trasferisce il costo della verifica al lettore senza avvisarlo.
I quadri pubblici su cui si basa lo studio
Stanford LegalBench si apre in una nuova scheda
Ragionamento giuridico su un'ampia tassonomia di compiti
Harvey LAB si apre in una nuova scheda
Valutazione all-pass con griglia del lavoro giuridico di lungo periodo
VLAIR (Vals AI) si apre in una nuova scheda
Valutazione di settore indipendente dei sistemi di IA giuridica
ALARB si apre in una nuova scheda
Ragionamento giuridico in arabo, che la maggior parte dei benchmark giuridici non copre
BigLaw Bench si apre in una nuova scheda
Compiti tratti dalla pratica dei grandi studi
CUAD si apre in una nuova scheda
Estrazione e comprensione delle clausole contrattuali
LegalCiteBench si apre in una nuova scheda
Accuratezza delle citazioni e possibilità di risolverle
LawBench / LexEval si apre in una nuova scheda
Capacità giuridica multilingue
Legal Benchmarks si apre in una nuova scheda
Metodologia tra fornitori
Cosa non fa questo benchmark
Non è indipendente
HAQQ lo costruisce, lo esegue e vi partecipa. Per questo la metodologia è pubblicata e i risultati per compito sono visibili anziché riassunti.
Non copre tutte le aree di pratica
Il benchmark di compiti è orientato alla redazione societaria e commerciale, alla ricerca e alla spiegazione al cliente. Le altre aree sono coperte poco o per niente.
Non copre tutti i sistemi
Diversi fornitori di IA giuridica non pubblicano valutazioni né offrono accesso self-service. Un sistema assente da una tabella non è stato battuto da noi: non è stato eseguito.
È un'istantanea nel tempo
Ogni partecipante rilascia nuove versioni. Un punteggio è quello della versione indicata alla data di esecuzione e nulla più.
Misura il risultato, non il dispiegamento
Postura di sicurezza, residenza dei dati, supporto e profondità di integrazione decidono se un sistema è utilizzabile, e nessuno compare nel benchmark.
Dati storici
I benchmark giuridici che hanno plasmato il modo di misurare i modelli di IA, dai primi dataset pubblici del 2021 al 2026.
I punteggi non sono mostrati. Ogni benchmark usa compiti e metriche propri, quindi i punteggi di benchmark diversi non sono confrontabili. Ogni voce rimanda alla sua fonte primaria.
2021
2023
2024
2025
2026
