Prestazioni
Come si comportano gli attuali modelli di IA nelle attività di ricerca giuridica, presentato come ricerca sul settore e non come affermazioni su Justinian. Le cifre sono riprese dalla pagina benchmark di HAQQ Sovereign AI.
Risultati di benchmark di terze parti, presentati come ricerca sul settore. Non costituiscono un'affermazione su Justinian.
Affidabilità rispetto alla qualità per dollaro
Ogni indicatore numerato è un modello valutato sul Legal Research Bench. Più a destra, più alto l'indicatore indiretto di affidabilità. Più in alto, più qualità per ogni dollaro, come indice. L'asse verticale si ferma al 20%.
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
Non rappresentati, senza tasso di affidabilità pubblicato: MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Qualità sul Legal Research Bench
Punteggio di qualità in percentuale, dal più alto al più basso.
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
Costo per attività
Costo in dollari USA per eseguire un'attività, dal più basso al più alto.
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
Vedi i dati in tabella
| Modello | Qualità | Costo per attività | Qualità per $ | Indice qualità per $ | Indicatore di affidabilità |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | Non pubblicato |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | Non pubblicato |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | Non pubblicato |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | Non pubblicato |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | Non pubblicato |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
Fonte: sovereign.haqq.ai/benchmark, consultata il 16 ottobre 2026.
Qualità e costo per attività provengono dal Legal Research Bench di Vals.ai. L'indicatore di affidabilità è 100 meno un tasso di allucinazione di Artificial Analysis, un indicatore generale e non una misura dell'affidabilità giuridica. L'indice qualità per dollaro è una scala relativa stabilita nella pagina di origine, non un punteggio di qualità.
Macro-architettura
Justinian è un sistema costruito attorno a modelli di frontiera, non un singolo modello. Ecco come si incastrano le sue parti.
Justinian® comprende la tua domanda legale, individua con precisione la tua giurisdizione e costruisce una risposta supportata da giurisprudenza verificata e citazioni riga per riga.
Prodotto e interfacce
Una piattaforma, ogni superficie
- HAQQ Chat
- HAQQ eFirm
- App mobile
- eBar
- Portale clienti
- API / MCP
Sicurezza e governance
- Isolamento tra pratiche
- Audit trail
- RBAC
- Anonimizzazione
HARNESS AGENTICO JUSTINIAN
L'ontologia dell'intelligenza
Risolto prima della chiamata al modello
- Riformulazione
- Classificazione dell'intento
- Rilevamento della lingua
- Estrazione di entità
- Acquisizione documenti + OCR
- Routing degli strumenti
- Instradamento del modello
- Guardrail
Poi il ciclo agentico
- Orchestrazione di sub-agenti
- Memoria
- Ragionamento profondo
- Lookahead + rollback
- Audit delle citazioni
- Human-in-the-loop
Architettura progettata per instradare verso
- OpenAI
- Anthropic
Contesto e conoscenza
La memoria istituzionale del tuo studio
- Playbook
- Policy
- Memo
- Modelli
- Precedenti
- Librerie di clausole
- Storico pratiche
Dati e integrazioni
Fonti legali in tempo reale
- Ricerca web
- Leggi
- Giurisprudenza
- Gazzette ufficiali
- DB normativi
- USPTO
- EUIPO
- OMPI
Studio
Il tuo sistema operativo legale
- Pratiche
- Contratti
- Documenti
- Udienze
- Attività
- Calendario
- Finanze
- KYC
- Lead
Giurisdizioni
Copertura multi-regione
- MENA
- Europa
- Nord America
- Sud America
- Asia-Pacifico
- Africa
Capacità legali
- Redazione
- Redlining
- Due diligence
- Report di conformità
- Contenzioso
- Analisi
- Sintesi dei casi
Quadro del benchmark
Come costruiamo ed eseguiamo un benchmark giuridico: i prompt dei compiti, la griglia di valutazione, i quadri pubblici su cui si basa, il calcolo delle medie e i suoi limiti.
Due valutazioni, due scale
Il benchmark di compiti
11 categorie di compiti giuridici. Sul lavoro che un avvocato consegna davvero, chi produce il risultato migliore?
Lo studio multidominio
25 benchmark in 5 domini: diritto, fisco, giornalismo, capacità generali, sicurezza e valori. Di fronte ai modelli di frontiera sul loro terreno, dove si colloca un motore specializzato nel diritto?
Le due scale non sono intercambiabili. Un punteggio su 50 e uno su 100 misurano lavoro diverso con griglie diverse e non vanno mai letti come confrontabili.
Come si ottiene un punteggio
- 1
Stesso prompt, stesso compito
Ogni sistema riceve lo stesso prompt per un compito che un avvocato riconoscerebbe: redigere questo NDA, ricercare questa questione, spiegare questa clausola a un cliente.
Benchmark di compiti - 2
Una griglia da cinquanta punti
Il risultato è valutato con una griglia da cinquanta punti. La presentabilità al partner e il collegamento alle fonti sono i due criteri che distinguono una valutazione giuridica da una generale.
Benchmark di compiti - 3
Quadri pubblici
Lo studio multidominio si basa su quadri pubblici anziché su strumenti scritti da noi, così le colonne giuridiche possono essere verificate da chi è esterno a HAQQ.
Studio multidominio - 4
Valutazione all-pass
Un compito conta solo se tutti i criteri della griglia sono soddisfatti. Un quasi-successo vale zero, senza punteggio parziale, perché un risultato corretto al novanta per cento va comunque controllato riga per riga.
Studio multidominio - 5
Come funzionano le medie
La media di un dominio è la media dei suoi benchmark. La media generale è quella di ventiquattro benchmark, esclusi i test avversari. Una cella vuota è esclusa da ogni media e non è mai trattata come zero.
Studio multidominio - 6
Report e analisi
Le righe in cui HAQQ non è prima sono mostrate esattamente come quelle in cui lo è: stesso peso, stessa posizione, senza riordinamenti né omissioni. Quando una cifra è derivata, la derivazione è indicata.
Entrambi
Cosa copre la griglia
- Sharia
- Normativa
- Foro
- Costruzione delle clausole
- Rischio
- Allucinazione
- Formattazione
- Concisione
- Presentabilità al partner
- Collegamento alle fonti
Presentabilità al partner
Una risposta corretta che richiede un'ora di riorganizzazione prima che un partner la firmi non ha fatto il suo lavoro.
Collegamento alle fonti
Una citazione che non porta a nulla è peggio di nessuna citazione, perché trasferisce il costo della verifica al lettore senza avvisarlo.
I quadri pubblici su cui si basa lo studio
Ragionamento giuridico su un'ampia tassonomia di compiti
Valutazione all-pass con griglia del lavoro giuridico di lungo periodo
Valutazione di settore indipendente dei sistemi di IA giuridica
Ragionamento giuridico in arabo, che la maggior parte dei benchmark giuridici non copre
Compiti tratti dalla pratica dei grandi studi
Estrazione e comprensione delle clausole contrattuali
Accuratezza delle citazioni e possibilità di risolverle
Capacità giuridica multilingue
Metodologia tra fornitori
Cosa non fa questo benchmark
Non è indipendente
HAQQ lo costruisce, lo esegue e vi partecipa. Per questo la metodologia è pubblicata e i risultati per compito sono visibili anziché riassunti.
Non copre tutte le aree di pratica
Il benchmark di compiti è orientato alla redazione societaria e commerciale, alla ricerca e alla spiegazione al cliente. Le altre aree sono coperte poco o per niente.
Non copre tutti i sistemi
Diversi fornitori di IA giuridica non pubblicano valutazioni né offrono accesso self-service. Un sistema assente da una tabella non è stato battuto da noi: non è stato eseguito.
È un'istantanea nel tempo
Ogni partecipante rilascia nuove versioni. Un punteggio è quello della versione indicata alla data di esecuzione e nulla più.
Misura il risultato, non il dispiegamento
Postura di sicurezza, residenza dei dati, supporto e profondità di integrazione decidono se un sistema è utilizzabile, e nessuno compare nel benchmark.
Dati storici
I benchmark giuridici che hanno plasmato il modo di misurare i modelli di IA, dai primi dataset pubblici del 2021 al 2026.
I punteggi non sono mostrati. Ogni benchmark usa compiti e metriche propri, quindi i punteggi di benchmark diversi non sono confrontabili. Ogni voce rimanda alla sua fonte primaria.
2021
CUAD
Revisione di contratti: evidenziare le clausole rilevanti per un revisore umano, con oltre 13.000 annotazioni di esperti.
Fonte primaria: arXiv 2103.06268
CaseHOLD
Domande a scelta multipla che chiedono a un modello di individuare il principio rilevante di un caso citato, con oltre 53.000 domande.
Fonte primaria: arXiv 2104.08671
LexGLUE
Una raccolta di dataset per valutare i modelli in modo standardizzato su diversi compiti di comprensione del linguaggio giuridico inglese.
Fonte primaria: arXiv 2110.00976
2023
LegalBench
Ragionamento giuridico nei grandi modelli linguistici: 162 compiti che coprono sei tipi di ragionamento giuridico, costruiti in collaborazione con professionisti del diritto.
Fonte primaria: arXiv 2308.11462
LawBench
Conoscenza giuridica nei modelli linguistici su tre livelli cognitivi: memorizzare, comprendere e applicare la conoscenza giuridica, in 20 compiti.
Fonte primaria: arXiv 2309.16289
2024
LegalBench-RAG
Valuta la fase di recupero della generazione aumentata dal recupero in ambito giuridico, puntando a segmenti di testo minimi e molto pertinenti.
Fonte primaria: arXiv 2408.10343
LexEval
Un benchmark giuridico cinese con 23 compiti e 14.150 domande, che esamina anche le questioni etiche dell'applicazione dei modelli linguistici al diritto.
Fonte primaria: arXiv 2409.20288
2025
VLAIR, legal research
Rapporto sulla ricerca giuridica di Vals AI: prodotti di ricerca giuridica con IA e ChatGPT valutati su 200 domande di ricerca giuridica statunitensi, rispetto a un riferimento di avvocati.
Fonte primaria: vals.ai
ALARB
Ragionamento giuridico argomentativo in arabo: oltre 13.000 cause commerciali dell'Arabia Saudita, con i fatti, il ragionamento del tribunale, la decisione e le clausole citate.
Fonte primaria: arXiv 2510.00694
2026
LegalCiteBench
Affidabilità delle citazioni nei modelli linguistici giuridici: recupero di citazioni a libro chiuso, verifica delle citazioni e abbinamento dei casi.
Fonte primaria: arXiv 2605.10186
Informazioni sul motore
I fatti tecnici sul motore Justinian, in un unico posto.
- Tipo
- Il motore proprietario di IA legale dietro HAQQ Chat, eFirm e l'app mobile, pensato per gli avvocati e per chi non lo è.
- Alimenta
- Non un wrapper. Un singolo motore proprietario che alimenta AI chat, practice management, eBar, pagamenti e mobile. Orchestrazione, retrieval, memoria e sicurezza sono nostri, non di un fornitore di modelli.
- Modelli di frontiera
- Un modello di frontiera di terze parti esegue comunque la generazione finale, e preferiamo dirlo chiaramente piuttosto che lasciar intendere di aver addestrato il nostro. L'orchestrazione, il retrieval, la logica giurisdizionale, la memoria e i guardrail attorno ad esso sono nostri, ed è questo il livello che porta il valore legale.
- Decisioni prima della chiamata al modello
- Dieci, risolte prima ancora di chiamare un modello di frontiera
- Instradamento dei modelli
- Architettura progettata per instradare verso: OpenAI, Anthropic, Google
- Cambio di modello
- Cambia i modelli sottostanti senza re-engineering. Il nostro layer di orchestrazione proprietario garantisce qualità costante su ogni LLM di frontiera.
- Giurisdizioni
- Analisi consapevole della giurisdizione, basata su statuti locali, giurisprudenza e quadri normativi di oltre 200 sistemi legali.
- Ancoraggio
- Ontologia legale proprietaria, analyzer a livello di clausola e motori di vincoli assicurano output legalmente difendibili.
- Gestione della lingua
- La vostra e, separatamente, quella in cui è redatta la legge applicabile.
- Distribuzione
- Deployment nel cloud di HAQQ, nel tuo cloud o completamente on-premise.
- Protezione dei dati
- In HAQQ Legal AI Chat, i dati personali vengono sostituiti con sostituti fittizi prima che qualsiasi cosa venga inviata a un fornitore esterno di modelli di IA. Crittografia in transito e a riposo. Conforme a GDPR, SOC 2 e ISO 27001, senza certificazione.
- Supervisione umana
- Ogni risultato richiede una revisione professionale prima di arrivare a un cliente o a un tribunale.
- Parametri
- Non divulgato
- Lunghezza del contesto
- Non divulgato
- Lingue supportate
- Non divulgato
- Data limite delle conoscenze
- Non divulgato
- Requisiti hardware
- Non divulgato
Sono elencati solo i fatti già pubblicati su haqq.ai/justinian. Un campo senza un dato pubblicato riporta Non divulgato.
Applicazioni
Justinian alimenta le applicazioni di HAQQ. La chat di IA legale è disponibile oggi, altre arriveranno.
Chat di IA legale
Lavora su domande e documenti legali con Justinian, nel browser o sul telefono.
La ricerca AI dietro Justinian
Progetti di ricerca aperti, tenuti come libri su uno scaffale: librerie, competenze, strumenti e studi da aprire e usare.
I nostri impegni
Le vostre pratiche non addestrano mai un modello.
I file dei clienti, le pratiche e le conversazioni restano vostri e sono tenuti separati per ogni studio.
I vostri dati stanno dove decidete voi.
HAQQ funziona nella regione che scegliete, e la piattaforma è la stessa ovunque funzioni.
Ogni risposta può essere verificata.
Ricerca, revisione e redazione sono legate alle fonti che le sostengono, così che un avvocato possa verificare il lavoro.
Preferiamo dire che non lo sappiamo.
Quando il motore non trova alcun supporto, è progettato per dirlo invece di produrre una fonte.
L'avvocato resta responsabile.
HAQQ assiste i professionisti del diritto, e gli avvocati restano responsabili del giudizio professionale e del lavoro finale.
Pubblichiamo come misuriamo.
Il nostro metodo di benchmark dichiara i propri limiti, e uno spazio vuoto non viene mai contato come zero.