Performanță
Cum se descurcă modelele AI actuale la sarcini de cercetare juridică, prezentat ca cercetare despre domeniu și nu ca afirmații despre Justinian. Cifrele sunt preluate de pe pagina de benchmark HAQQ Sovereign AI.
Rezultate de benchmark ale unor terți, prezentate ca cercetare despre domeniu. Nu sunt o afirmație despre Justinian.
Fiabilitate față de calitate per dolar
Fiecare marcaj numerotat este un model evaluat pe Legal Research Bench. Mai la dreapta înseamnă un indicator proxy de fiabilitate mai mare. Mai sus înseamnă mai multă calitate pentru fiecare dolar, sub formă de indice. Axa verticală se oprește la 20%.
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
Nereprezentate, fără o rată de fiabilitate publicată: MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Calitate pe Legal Research Bench
Scor de calitate în procente, de la cel mai mare la cel mai mic.
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
Cost per sarcină
Costul în dolari americani pentru o sarcină, de la cel mai mic la cel mai mare.
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
Vezi datele ca tabel
| Model | Calitate | Cost per sarcină | Calitate per $ | Indice calitate per $ | Indicator proxy de fiabilitate |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | Nepublicat |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | Nepublicat |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | Nepublicat |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | Nepublicat |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | Nepublicat |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
Sursa: sovereign.haqq.ai/benchmark, consultată la 16 octombrie 2026.
Calitatea și costul per sarcină provin de la Legal Research Bench al Vals.ai. Indicatorul de fiabilitate este 100 minus o rată de halucinații de la Artificial Analysis, un indicator general și nu o măsură a fiabilității juridice. Indicele calitate per dolar este o scară relativă stabilită pe pagina sursă, nu un scor de calitate.
Macroarhitectură
Justinian este un sistem construit în jurul modelelor de ultimă generație, nu un singur model. Așa se îmbină piesele sale.
Justinian® înțelege întrebarea dumneavoastră juridică, se axează pe jurisdicția dumneavoastră exactă și creează un răspuns susținut de jurisprudență verificată și citări rând cu rând.
Produs și interfețe
O singură platformă, orice suprafață
- HAQQ Chat
- HAQQ eFirm
- Aplicație mobilă
- eBar
- Portal client
- API / MCP
Securitate și guvernanță
- Izolare între dosare
- Jurnale de audit
- RBAC
- Anonimizare
JUSTINIAN AGENTIC HARNESS
Ontologia inteligenței
Rezolvat înainte de apelul model
- Prompt Rewrite
- Intent Classification
- Language Detection
- Entity Extraction
- Document Intake + OCR
- Rutare instrumente
- Model Routing
- Bariere de siguranță
Apoi bucla agentică
- Orchestrarea sub-agenților
- Memorie
- Raționament profund
- Analiză prospectivă + Revenire
- Citation Audit
- Intervenție umană
Conceput pentru rutare între
- OpenAI
- Anthropic
Context și cunoștințe
Memoria instituțională a cabinetului dumneavoastră
- Proceduri
- Politici
- Note interne
- Șabloane
- Precedente
- Biblioteci de clauze
- Istoricul dosarelor
Date și integrări
Surse juridice în timp real
- Căutare web
- Legislație
- Jurisprudență
- Monitoare oficiale
- Baze de date de reglementări
- USPTO
- EUIPO
- WIPO
Cabinet
Sistemul dumneavoastră de operare juridic
- Dosare
- Contracte
- Documente
- Audieri
- Sarcini
- Calendar
- Financiar
- KYC
- Leaduri
- Emailuri
Jurisdicții
Acoperire multi-regiune
- MENA
- Europa
- America de Nord
- America de Sud
- Asia-Pacific
- Africa
Capabilități juridice
- Redactare
- Redlining
- Due Diligence
- Rapoarte de conformitate
- Litigii
- Analize
- Rezumate de cazuri
Cadrul benchmarkului
Cum construim și rulăm un benchmark juridic: prompturile sarcinilor, grila de notare, cadrele publice pe care se bazează, calculul mediilor și limitele sale.
Două evaluări, două scări
Benchmark-ul de sarcini
11 categorii de sarcini juridice. La munca pe care un avocat o predă efectiv, cine produce rezultatul mai bun?
Studiul inter-domenii
25 de benchmark-uri în 5 domenii: drept, fiscalitate, jurnalism, capabilități generale, siguranță și valori. În fața modelelor de frontieră, pe terenul lor, unde se află un motor specializat în drept?
Cele două scări nu sunt interschimbabile. Un scor din 50 și unul din 100 măsoară muncă diferită după grile diferite și nu trebuie citite niciodată ca fiind comparabile.
Cum se obține un scor
- 1
Același prompt, aceeași sarcină
Fiecare sistem primește același prompt pentru o sarcină pe care un avocat ar recunoaște-o: redactarea acestui NDA, cercetarea acestei întrebări, explicarea acestei clauze unui client.
Benchmark de sarcini - 2
O grilă de cincizeci de puncte
Rezultatul este notat după o grilă de cincizeci de puncte. Pregătirea pentru partener și legarea la surse sunt cele două criterii care disting o evaluare juridică de una generală.
Benchmark de sarcini - 3
Cadre publice
Studiul inter-domenii se bazează pe cadre publice, nu pe instrumente scrise de noi, astfel încât coloanele juridice pot fi verificate de cineva din afara HAQQ.
Studiu inter-domenii - 4
Notare all-pass
O sarcină contează doar dacă toate criteriile grilei sunt îndeplinite. O reușită parțială primește zero, fără punctaj parțial, pentru că un rezultat corect în proporție de nouăzeci la sută trebuie totuși verificat rând cu rând.
Studiu inter-domenii - 5
Cum funcționează mediile
Media unui domeniu este media benchmark-urilor sale. Media generală este media a douăzeci și patru de benchmark-uri, fără testarea adversarială. O celulă goală este exclusă din orice medie și nu este niciodată tratată ca zero.
Studiu inter-domenii - 6
Raport și analiză
Rândurile în care HAQQ nu este pe primul loc sunt afișate exact ca cele în care este: aceeași pondere, aceeași poziție, fără reordonare și fără omisiuni. Când o cifră este derivată, derivarea este indicată.
Ambele
Ce acoperă grila
- Sharia
- Legislație
- Forum
- Construcția clauzelor
- Risc
- Halucinații
- Formatare
- Concizie
- Pregătire pentru partener
- Legarea la surse
Pregătire pentru partener
Un răspuns corect, dar care necesită o oră de restructurare înainte ca un partener să îl semneze, nu și-a făcut treaba.
Legarea la surse
O citare care nu duce nicăieri este mai rea decât lipsa citării, pentru că mută costul verificării asupra cititorului fără să-l anunțe.
Cadrele publice pe care se bazează studiul
Raționament juridic pe o taxonomie largă de sarcini
Notare all-pass pe grilă a muncii juridice de lungă durată
Evaluare independentă din industrie a sistemelor AI juridice
Raționament juridic în limba arabă, pe care majoritatea benchmark-urilor juridice nu îl acoperă
Sarcini preluate din practica marilor firme
Extragerea și înțelegerea clauzelor contractuale
Acuratețea citărilor și posibilitatea de a le rezolva
Capabilitate juridică multilingvă
Metodologie între furnizori
Ce nu face acest benchmark
Nu este independent
HAQQ îl construiește, îl rulează și concurează în el. De aceea metodologia este publicată, iar rezultatele pe sarcini sunt vizibile, nu rezumate.
Nu acoperă toate domeniile de practică
Benchmark-ul de sarcini este orientat spre redactarea în drept corporativ și comercial, cercetare și explicații pentru clienți. Celelalte domenii sunt acoperite sumar sau deloc.
Nu acoperă toate sistemele
Mai mulți furnizori de AI juridic nu publică evaluări și nu oferă acces self-service. Un sistem absent dintr-un tabel nu a fost depășit de noi: nu a fost rulat.
Este o imagine la un moment dat
Fiecare participant lansează versiuni noi. Un scor este cel al versiunii menționate la data rulării și nimic mai mult.
Măsoară rezultatul, nu implementarea
Postura de securitate, rezidența datelor, suportul și profunzimea integrării decid dacă un sistem poate fi folosit, iar niciunul nu apare în benchmark.
Date istorice
Benchmark-urile juridice care au modelat felul în care sunt măsurate modelele AI, de la primele seturi de date publice din 2021 până în 2026.
Scorurile nu sunt afișate. Fiecare benchmark are propriile sarcini și metrici, deci scorurile din benchmark-uri diferite nu pot fi comparate. Fiecare intrare trimite la sursa primară.
2021
CUAD
Revizuirea contractelor: evidențierea clauzelor importante pentru un revizor uman, cu peste 13.000 de adnotări făcute de experți.
Sursa primară: arXiv 2103.06268
CaseHOLD
Întrebări cu variante multiple în care un model trebuie să identifice soluția relevantă a unui caz citat, cu peste 53.000 de întrebări.
Sursa primară: arXiv 2104.08671
LexGLUE
O colecție de seturi de date pentru evaluarea standardizată a modelelor pe diverse sarcini de înțelegere a limbajului juridic englez.
Sursa primară: arXiv 2110.00976
2023
LegalBench
Raționament juridic în modele lingvistice mari: 162 de sarcini care acoperă șase tipuri de raționament juridic, construite în colaborare cu profesioniști din drept.
Sursa primară: arXiv 2308.11462
LawBench
Cunoștințe juridice ale modelelor lingvistice pe trei niveluri cognitive: memorare, înțelegere și aplicare a cunoștințelor juridice, în 20 de sarcini.
Sursa primară: arXiv 2309.16289
2024
LegalBench-RAG
Evaluează etapa de regăsire din generarea augmentată prin regăsire în domeniul juridic, axată pe segmente de text minime și foarte relevante.
Sursa primară: arXiv 2408.10343
LexEval
Un benchmark juridic chinezesc cu 23 de sarcini și 14.150 de întrebări, care examinează și aspectele etice ale aplicării modelelor lingvistice în drept.
Sursa primară: arXiv 2409.20288
2025
VLAIR, legal research
Raport Vals AI despre cercetarea juridică: produse AI de cercetare juridică și ChatGPT evaluate pe 200 de întrebări de cercetare juridică din SUA, față de o referință formată din avocați.
Sursa primară: vals.ai
ALARB
Raționament juridic argumentativ în limba arabă: peste 13.000 de cauze comerciale din Arabia Saudită, cu faptele, raționamentul instanței, hotărârea și clauzele citate.
Sursa primară: arXiv 2510.00694
2026
LegalCiteBench
Fiabilitatea citărilor în modelele lingvistice juridice: regăsirea citărilor fără surse, verificarea lor și potrivirea cazurilor.
Sursa primară: arXiv 2605.10186
Informații despre motor
Faptele tehnice despre motorul Justinian, într-un singur loc.
- Tip
- Motorul Legal AI proprietar din spatele HAQQ Chat, eFirm și al aplicației mobile, conceput pentru avocați și pentru oricine nu este unul.
- Alimentează
- Nu este un înveliș. Un singur motor proprietar alimentează chatul AI, managementul cabinetului, eBar, plățile și aplicația mobilă. Orchestrarea, regăsirea, memoria și siguranța ne aparțin, nu sunt ale unui furnizor de modele.
- Modele de frontieră
- Un model frontier terț încă realizează generarea finală și preferăm să spunem acest lucru direct decât să sugerăm că ne-am antrenat propriul model. Orchestrarea, regăsirea, logica jurisdicțională, memoria și barierele de siguranță din jurul său ne aparțin, iar acesta este stratul care poartă valoarea juridică.
- Decizii înainte de apelul modelului
- Zece, rezolvate înainte ca un model de frontieră să fie apelat
- Rutarea modelelor
- Conceput pentru rutare între: OpenAI, Anthropic, Google
- Schimbarea modelelor
- Schimbați modelele subiacente fără re-engineering. Stratul de orchestrare proprietar asigură o calitate constantă pe orice LLM de frontieră.
- Jurisdicții
- Analiză conștientă de jurisdicție, bazată pe statute locale, jurisprudență și cadre de reglementare din peste 200 de sisteme juridice.
- Ancorare
- Ontologia juridică proprie, analizatoarele la nivel de clauză și motoarele de constrângeri asigură că fiecare rezultat este apărabil juridic.
- Gestionarea limbii
- Limba dumneavoastră și, separat, limba în care este redactată legea aplicabilă.
- Implementare
- Implementați în cloud-ul HAQQ, în propriul dumneavoastră tenant cloud sau complet on-premise.
- Protecția datelor
- În HAQQ Legal AI Chat, detaliile personale sunt înlocuite cu substitute fictive înainte de a fi trimise către un furnizor extern de model AI. Criptare în tranzit și la repaus. Conform cu GDPR, SOC 2 și ISO 27001, nu certificat.
- Supraveghere umană
- Fiecare rezultat necesită o revizuire profesională înainte de a ajunge la un client sau la o instanță.
- Parametri
- Nedivulgat
- Lungimea contextului
- Nedivulgat
- Limbi acceptate
- Nedivulgat
- Data limită a cunoștințelor
- Nedivulgat
- Cerințe hardware
- Nedivulgat
Sunt listate doar faptele deja publicate pe haqq.ai/justinian. Un câmp fără informație publicată indică Nedivulgat.
Aplicații
Justinian alimentează aplicațiile HAQQ. Chatul de IA juridică este disponibil astăzi, iar altele urmează.
Chat de IA juridică
Lucrează la întrebările și documentele tale juridice cu Justinian, în browser sau pe telefon.
În curând
Cercetare AI din spatele Justinian
Proiecte de cercetare deschise, păstrate ca niște cărți pe un raft: biblioteci, abilități, instrumente și studii pe care le poți deschide și folosi.
Angajamentele noastre
Dosarele dumneavoastră nu antrenează niciodată un model.
Fișierele clienților, dosarele și conversațiile rămân ale dumneavoastră și sunt păstrate separat pentru fiecare cabinet.
Datele dumneavoastră stau acolo unde stabiliți.
HAQQ funcționează în regiunea pe care o alegeți, iar platforma este aceeași oriunde funcționează.
Fiecare răspuns poate fi verificat.
Cercetarea, revizuirea și redactarea sunt legate de sursele pe care se sprijină, astfel încât un avocat să poată verifica munca.
Preferăm să spunem că nu știm.
Când motorul nu găsește sprijin, este conceput să spună acest lucru în loc să producă o sursă.
Avocatul rămâne responsabil.
HAQQ asistă profesioniștii din domeniul juridic, iar avocații rămân responsabili pentru judecata profesională și pentru produsul final.
Publicăm cum măsurăm.
Metoda noastră de benchmark își declară limitele, iar un câmp gol nu este niciodată numărat ca zero.