Cum construim și rulăm un benchmark juridic: prompturile sarcinilor, grila de notare, cadrele publice pe care se bazează, calculul mediilor și limitele sale.
1
Același prompt, aceeași sarcină
Fiecare sistem primește același prompt pentru o sarcină pe care un avocat ar recunoaște-o: redactarea acestui NDA, cercetarea acestei întrebări, explicarea acestei clauze unui client.
2
O grilă de cincizeci de puncte
Rezultatul este notat după o grilă de cincizeci de puncte. Pregătirea pentru partener și legarea la surse sunt cele două criterii care disting o evaluare juridică de una generală.
Pregătire pentru partenerLegarea la surse
3
Cadre publice
Studiul inter-domenii se bazează pe cadre publice, nu pe instrumente scrise de noi, astfel încât coloanele juridice pot fi verificate de cineva din afara HAQQ.
Stanford LegalBenchCUADVLAIR
4
Notare all-pass
O sarcină contează doar dacă toate criteriile grilei sunt îndeplinite. O reușită parțială primește zero, fără punctaj parțial, pentru că un rezultat corect în proporție de nouăzeci la sută trebuie totuși verificat rând cu rând.
5
Cum funcționează mediile
Media unui domeniu este media benchmark-urilor sale. Media generală este media a douăzeci și patru de benchmark-uri, fără testarea adversarială. O celulă goală este exclusă din orice medie și nu este niciodată tratată ca zero.
6
Raport și analiză
Rândurile în care HAQQ nu este pe primul loc sunt afișate exact ca cele în care este: aceeași pondere, aceeași poziție, fără reordonare și fără omisiuni. Când o cifră este derivată, derivarea este indicată.
Benchmark de sarcini · Din 50Studiu inter-domenii · Din 100
Doar ilustrație. Lungimea barelor nu reprezintă date.
Cele două scări nu sunt interschimbabile. Un scor din 50 și unul din 100 măsoară muncă diferită după grile diferite și nu trebuie citite niciodată ca fiind comparabile.
Evaluarea rutării modelelor și a Jev
Două componente stau între o cerere și un răspuns: rutatorul care decide ce model execută o sarcină și Jev, un serviciu de judecată calibrat pe care îl testăm ca verificator. Niciuna nu este crezută pe cuvânt. Fiecare este notată pe aceleași sarcini și cu aceeași grilă, iar aici nu este încă afișat niciun scor din acest pas.
1
Rutarea față de un model fix
Fiecare sarcină trece prin rutator și, separat, prin fiecare model fix cu aceeași cerere. Rutarea trebuie să învingă un singur model, nu o bază goală.
2
Calitate pe dolar
O rută este notată după calitatea conform grilei împărțită la costul pe sarcină, numărând fiecare token facturabil. Este același indice ca în graficul de performanță de pe pagina Labs.
3
Teste la limită pentru Jev
Jev este testat acolo unde un verificator poate fi păcălit, de pildă o citare inventată lângă una onestă. Cazurile în care greșește sunt raportate alături de cele în care reușește.
4
Scala proprie
Rezultatele rutării și ale Jev sunt raportate pe propria scală și nu sunt niciodată amestecate în scorul benchmark-ului de sarcini. Sunt precizate versiunile modelelor și data rulării.
Date istorice
Benchmark-urile juridice care au modelat felul în care sunt măsurate modelele AI, de la primele seturi de date publice din 2021 până în 2026.
Scorurile nu sunt afișate. Fiecare benchmark are propriile sarcini și metrici, deci scorurile din benchmark-uri diferite nu pot fi comparate. Fiecare intrare trimite la sursa primară.
2021
3 benchmarkuri
CUAD
Lansat în 2021
Revizuirea contractelor: evidențierea clauzelor importante pentru un revizor uman, cu peste 13.000 de adnotări făcute de experți.
Raționament juridic în modele lingvistice mari: 162 de sarcini care acoperă șase tipuri de raționament juridic, construite în colaborare cu profesioniști din drept.
Un benchmark juridic chinezesc cu 23 de sarcini și 14.150 de întrebări, care examinează și aspectele etice ale aplicării modelelor lingvistice în drept.
Raport Vals AI despre cercetarea juridică: produse AI de cercetare juridică și ChatGPT evaluate pe 200 de întrebări de cercetare juridică din SUA, față de o referință formată din avocați.
Raționament juridic argumentativ în limba arabă: peste 13.000 de cauze comerciale din Arabia Saudită, cu faptele, raționamentul instanței, hotărârea și clauzele citate.
Un benchmark open source pentru agenți juridici: peste 1.200 de sarcini pentru agenți în 24 de domenii de practică, notate după peste 75.000 de criterii scrise de experți.
Lansat în 2026Clasament actualizat la 24 octombrie 2026
Un benchmark agentic pentru cercetarea juridică din SUA: agenții caută în jurisprudență, pe web și în documente și sunt notați cu grile scrise de experți în opt domenii de practică.
