Desempenho
Como os modelos de IA atuais se saem em tarefas de pesquisa jurídica, apresentado como pesquisa sobre o setor e não como afirmações sobre o Justinian. Os números são reproduzidos da página de benchmark da HAQQ Sovereign AI.
Resultados de benchmarks de terceiros, apresentados como pesquisa sobre o setor. Não são uma afirmação sobre o Justinian.
Confiabilidade versus qualidade por dólar
Cada marcador numerado é um modelo avaliado no Legal Research Bench. Mais à direita, maior o indicador aproximado de confiabilidade. Mais acima, mais qualidade por dólar, como índice. O eixo vertical termina em 20%.
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
Não representados, sem taxa de confiabilidade publicada: MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Qualidade no Legal Research Bench
Pontuação de qualidade em percentagem, da maior para a menor.
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
Custo por tarefa
Custo em dólares americanos para executar uma tarefa, do menor para o maior.
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
Ver os dados em tabela
| Modelo | Qualidade | Custo por tarefa | Qualidade por $ | Índice de qualidade por $ | Indicador de confiabilidade |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | Não publicado |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | Não publicado |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | Não publicado |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | Não publicado |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | Não publicado |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
Fonte: sovereign.haqq.ai/benchmark, consultada em 16 de outubro de 2026.
Qualidade e custo por tarefa vêm do Legal Research Bench da Vals.ai. O indicador de confiabilidade é 100 menos uma taxa de alucinação da Artificial Analysis, um indicador geral e não uma medida de confiabilidade jurídica. O índice de qualidade por dólar é uma escala relativa definida na página de origem, não uma pontuação de qualidade.
Macroarquitetura
O Justinian é um sistema construído em torno de modelos de fronteira, não um único modelo. É assim que as suas partes se encaixam.
O Justinian® entende a sua pergunta jurídica, identifica com precisão a sua jurisdição e constrói uma resposta apoiada em jurisprudência verificada e citações linha a linha.
Produto e interfaces
Uma plataforma, todas as superfícies
- HAQQ Chat
- HAQQ eFirm
- App móvel
- eBar
- Portal do cliente
- API / MCP
Segurança e governança
- Isolamento entre casos
- Trilhas de auditoria
- RBAC
- Anonimização
HARNESS AGÊNTICO JUSTINIAN
A ontologia da inteligência
Resolvido antes da chamada ao modelo
- Reformulação
- Classificação de intenção
- Deteção de idioma
- Extração de entidades
- Receção documental + OCR
- Roteamento de ferramentas
- Encaminhamento do modelo
- Salvaguardas
Depois, o ciclo agêntico
- Orquestração de subagentes
- Memória
- Raciocínio profundo
- Antecipação + reversão
- Auditoria de citações
- Humano no circuito
Concebido para encaminhar entre
- OpenAI
- Anthropic
Contexto e conhecimento
A memória institucional do seu escritório
- Playbooks
- Políticas
- Memorandos
- Modelos
- Precedentes
- Bibliotecas de cláusulas
- Histórico de casos
Dados e integrações
Fontes jurídicas ao vivo
- Busca na web
- Leis
- Jurisprudência
- Diários oficiais
- BDs regulatórias
- USPTO
- EUIPO
- OMPI
Escritório
Seu sistema operacional jurídico
- Casos
- Contratos
- Documentos
- Audiências
- Tarefas
- Calendário
- Financeiro
- KYC
- Potenciais Clientes
- E-mails
Jurisdições
Cobertura multirregião
- MENA
- Europa
- América do Norte
- América do Sul
- Ásia-Pacífico
- África
Capacidades jurídicas
- Redação
- Marcação de alterações
- Due diligence
- Relatórios de conformidade
- Contencioso
- Análise
- Resumos de casos
Enquadramento do benchmark
Como construímos e executamos um benchmark jurídico: os prompts das tarefas, a rubrica de pontuação, as estruturas públicas em que se apoia, o cálculo das médias e os seus limites.
Duas avaliações, duas escalas
O benchmark de tarefas
11 categorias de tarefas jurídicas. No trabalho que um advogado realmente entrega, quem produz o melhor resultado?
O estudo entre domínios
25 benchmarks em 5 domínios: direito, tributação, jornalismo, capacidade geral, e segurança e valores. Diante dos modelos de fronteira no terreno deles, onde está um motor especializado em direito?
As duas escalas não são intercambiáveis. Uma pontuação de 50 e uma de 100 medem trabalhos diferentes com critérios diferentes e nunca devem ser lidas como comparáveis.
Como uma pontuação é produzida
- 1
Mesmo prompt, mesma tarefa
Cada sistema recebe o mesmo prompt para uma tarefa que um advogado reconheceria: redigir este NDA, pesquisar esta questão, explicar esta cláusula a um cliente.
Benchmark de tarefas - 2
Uma rubrica de cinquenta pontos
O resultado é pontuado numa rubrica de cinquenta pontos. A prontidão para o sócio e a ligação às fontes são os dois critérios que separam uma avaliação jurídica de uma geral.
Benchmark de tarefas - 3
Estruturas públicas
O estudo entre domínios usa estruturas públicas em vez de instrumentos escritos por nós, de modo que as colunas jurídicas podem ser verificadas por alguém de fora da HAQQ.
Estudo entre domínios - 4
Avaliação all-pass
Uma tarefa só conta quando todos os critérios da sua rubrica são cumpridos. Um quase acerto vale zero, sem crédito parcial, porque um resultado noventa por cento correto ainda precisa ser conferido linha a linha.
Estudo entre domínios - 5
Como funcionam as médias
A média de um domínio é a média dos seus benchmarks. A média geral é a média de vinte e quatro benchmarks, sem os testes adversariais. Uma célula vazia é excluída de todas as médias e nunca é tratada como zero.
Estudo entre domínios - 6
Relatório e análise
As linhas em que a HAQQ não é a primeira são exibidas exatamente como aquelas em que é: mesmo peso, mesma posição, sem reordenar nem omitir. Quando um número é derivado, a derivação é indicada.
Ambos
O que a rubrica cobre
- Charia
- Legislação
- Foro
- Construção de cláusulas
- Risco
- Alucinação
- Formatação
- Concisão
- Prontidão para o sócio
- Ligação às fontes
Prontidão para o sócio
Uma resposta correta que precisa de uma hora de reestruturação antes de um sócio assiná-la não cumpriu a tarefa.
Ligação às fontes
Uma citação que não resolve é pior do que nenhuma citação, porque transfere o custo da verificação ao leitor sem avisá-lo.
As estruturas públicas em que o estudo se apoia
Raciocínio jurídico numa ampla taxonomia de tarefas
Avaliação all-pass por rubrica de trabalho jurídico de longo prazo
Avaliação setorial independente de sistemas de IA jurídica
Raciocínio jurídico em árabe, que a maioria dos benchmarks jurídicos não cobre
Tarefas extraídas da prática de grandes escritórios
Extração e compreensão de cláusulas contratuais
Precisão das citações e possibilidade de resolvê-las
Capacidade jurídica multilíngue
Metodologia entre fornecedores
O que este benchmark não faz
Não é independente
A HAQQ o constrói, o executa e compete nele. Por isso a metodologia é publicada e os resultados por tarefa são visíveis em vez de resumidos.
Não cobre todas as áreas de prática
O benchmark de tarefas pende para a redação societária e comercial, a pesquisa e a explicação ao cliente. Outras áreas são cobertas de forma tênue ou nem são cobertas.
Não cobre todos os sistemas
Vários fornecedores de IA jurídica não publicam avaliações nem oferecem acesso self-service. Um sistema ausente de uma tabela não foi superado por nós: não foi executado.
É um retrato num momento
Cada participante lança novas versões. Uma pontuação é a da versão indicada na data da execução e nada mais.
Mede o resultado, não a implantação
Postura de segurança, residência de dados, suporte e profundidade de integração decidem se um sistema pode ser usado, e nenhum aparece no benchmark.
Dados históricos
Os benchmarks jurídicos que moldaram a forma de medir modelos de IA, dos primeiros conjuntos de dados públicos em 2021 até 2026.
As pontuações não são exibidas. Cada benchmark usa suas próprias tarefas e métricas, por isso pontuações de benchmarks diferentes não são comparáveis. Cada entrada leva à sua fonte primária.
2021
CUAD
Revisão de contratos: destacar as cláusulas relevantes para um revisor humano, com mais de 13.000 anotações de especialistas.
Fonte primária: arXiv 2103.06268
CaseHOLD
Perguntas de múltipla escolha que pedem ao modelo para identificar a tese relevante de um caso citado, com mais de 53.000 perguntas.
Fonte primária: arXiv 2104.08671
LexGLUE
Uma coleção de conjuntos de dados para avaliar modelos de forma padronizada em várias tarefas de compreensão da linguagem jurídica em inglês.
Fonte primária: arXiv 2110.00976
2023
LegalBench
Raciocínio jurídico em grandes modelos de linguagem: 162 tarefas que cobrem seis tipos de raciocínio jurídico, construídas em colaboração com profissionais do direito.
Fonte primária: arXiv 2308.11462
LawBench
Conhecimento jurídico em modelos de linguagem em três níveis cognitivos: memorizar, compreender e aplicar o conhecimento jurídico, em 20 tarefas.
Fonte primária: arXiv 2309.16289
2024
LegalBench-RAG
Avalia a etapa de recuperação da geração aumentada por recuperação no domínio jurídico, com foco em recuperar trechos mínimos e altamente relevantes.
Fonte primária: arXiv 2408.10343
LexEval
Um benchmark jurídico chinês com 23 tarefas e 14.150 perguntas, que também examina as questões éticas da aplicação de modelos de linguagem ao direito.
Fonte primária: arXiv 2409.20288
2025
VLAIR, legal research
Relatório de pesquisa jurídica da Vals AI: produtos de pesquisa jurídica com IA e ChatGPT avaliados em 200 perguntas de pesquisa jurídica dos EUA, frente a uma referência de advogados.
Fonte primária: vals.ai
ALARB
Raciocínio jurídico argumentativo em árabe: mais de 13.000 casos comerciais da Arábia Saudita, com os fatos, o raciocínio do tribunal, o veredicto e as cláusulas citadas.
Fonte primária: arXiv 2510.00694
2026
LegalCiteBench
Confiabilidade das citações em modelos de linguagem jurídicos: recuperação de citações sem consulta, verificação de citações e correspondência de casos.
Fonte primária: arXiv 2605.10186
Informações do motor
Os factos técnicos sobre o motor Justinian, num só lugar.
- Tipo
- O motor proprietário de IA jurídica por trás do HAQQ Chat, do eFirm e da app móvel, feito para advogados e para quem não é.
- Alimenta
- Não é um wrapper. Um único motor proprietário que alimenta AI chat, practice management, eBar, pagamentos e mobile. Orquestração, retrieval, memória e segurança são nossos, não de um fornecedor de modelo.
- Modelos de fronteira
- Um modelo de fronteira de terceiros ainda realiza a geração final, e preferimos dizer isso com clareza a sugerir que treinamos o nosso próprio. A orquestração, o retrieval, a lógica de jurisdição, a memória e as salvaguardas ao redor dele são nossos, e essa é a camada que carrega o valor jurídico.
- Decisões antes da chamada ao modelo
- Dez, resolvidas antes de qualquer chamada a um modelo de fronteira
- Roteamento de modelos
- Concebido para encaminhar entre: OpenAI, Anthropic, Google
- Troca de modelos
- Troque os modelos subjacentes sem re-engenharia. A nossa camada de orquestração proprietária garante qualidade constante em qualquer LLM de fronteira.
- Jurisdições
- Análise adaptada à jurisdição, baseada em estatutos locais, jurisprudência e marcos regulatórios em mais de 200 sistemas jurídicos.
- Fundamentação
- Ontologia jurídica proprietária, analisadores ao nível da cláusula e motores de restrições garantem resultados juridicamente defensáveis.
- Tratamento do idioma
- O seu e, separadamente, o idioma em que está redigida a lei aplicável.
- Implantação
- Deployment na nuvem da HAQQ, na sua própria nuvem ou totalmente on-premise.
- Proteção de dados
- No HAQQ Legal AI Chat, os dados pessoais são trocados por substitutos fictícios antes de qualquer coisa ser enviada a um fornecedor externo de modelos de IA. Criptografia em trânsito e em repouso. Em conformidade com o RGPD, SOC 2 e ISO 27001, sem certificação.
- Supervisão humana
- Cada resultado exige revisão profissional antes de chegar a um cliente ou a um tribunal.
- Parâmetros
- Não divulgado
- Tamanho do contexto
- Não divulgado
- Idiomas suportados
- Não divulgado
- Data de corte do conhecimento
- Não divulgado
- Requisitos de hardware
- Não divulgado
Apenas fatos já publicados em haqq.ai/justinian são listados. Um campo sem dado publicado indica Não divulgado.
Aplicações
O Justinian alimenta as aplicações da HAQQ. O chat de IA jurídica está disponível hoje, e há mais a caminho.
Chat de IA jurídica
Trabalhe questões e documentos jurídicos com o Justinian, no navegador ou no telemóvel.
A investigação de IA por trás do Justinian
Projetos de pesquisa abertos, guardados como livros numa estante: bibliotecas, competências, ferramentas e estudos que pode abrir e usar.
Os nossos compromissos
Os seus processos nunca treinam um modelo.
Os ficheiros de clientes, os processos e as conversas continuam seus e são mantidos separados por escritório.
Os seus dados ficam onde decidir.
O HAQQ funciona na região que escolher, e a plataforma é a mesma onde quer que funcione.
Cada resposta pode ser verificada.
A pesquisa, a revisão e a redação estão ligadas às fontes que as sustentam, para que um advogado possa verificar o trabalho.
Preferimos dizer que não sabemos.
Quando o motor não encontra suporte, foi concebido para o dizer em vez de produzir uma fonte.
O advogado continua responsável.
O HAQQ auxilia os profissionais do direito, e os advogados continuam responsáveis pelo juízo profissional e pelo trabalho final.
Publicamos como medimos.
O nosso método de benchmark indica os seus limites, e um espaço em branco nunca é contado como zero.