Como construímos e executamos um benchmark jurídico: os prompts das tarefas, a rubrica de pontuação, as estruturas públicas em que se apoia, o cálculo das médias e os seus limites.
1
Mesmo prompt, mesma tarefa
Cada sistema recebe o mesmo prompt para uma tarefa que um advogado reconheceria: redigir este NDA, pesquisar esta questão, explicar esta cláusula a um cliente.
2
Uma rubrica de cinquenta pontos
O resultado é pontuado numa rubrica de cinquenta pontos. A prontidão para o sócio e a ligação às fontes são os dois critérios que separam uma avaliação jurídica de uma geral.
Prontidão para o sócioLigação às fontes
3
Estruturas públicas
O estudo entre domínios usa estruturas públicas em vez de instrumentos escritos por nós, de modo que as colunas jurídicas podem ser verificadas por alguém de fora da HAQQ.
Stanford LegalBenchCUADVLAIR
4
Avaliação all-pass
Uma tarefa só conta quando todos os critérios da sua rubrica são cumpridos. Um quase acerto vale zero, sem crédito parcial, porque um resultado noventa por cento correto ainda precisa ser conferido linha a linha.
5
Como funcionam as médias
A média de um domínio é a média dos seus benchmarks. A média geral é a média de vinte e quatro benchmarks, sem os testes adversariais. Uma célula vazia é excluída de todas as médias e nunca é tratada como zero.
6
Relatório e análise
As linhas em que a HAQQ não é a primeira são exibidas exatamente como aquelas em que é: mesmo peso, mesma posição, sem reordenar nem omitir. Quando um número é derivado, a derivação é indicada.
Benchmark de tarefas · De 50Estudo entre domínios · De 100
Apenas ilustração. O comprimento das barras não representa dados.
As duas escalas não são intercambiáveis. Uma pontuação de 50 e uma de 100 medem trabalhos diferentes com critérios diferentes e nunca devem ser lidas como comparáveis.
Avaliar o encaminhamento de modelos e o Jev
Duas peças ficam entre um pedido e uma resposta: o encaminhador que decide que modelo executa uma tarefa e o Jev, um serviço de julgamento calibrado que testamos como verificador. Nenhuma é aceite por fé. Cada uma é avaliada nas mesmas tarefas e com a mesma grelha, e ainda não se mostra aqui nenhuma pontuação deste passo.
1
Encaminhamento contra um modelo fixo
Cada tarefa passa pelo encaminhador e, em separado, por cada modelo fixo com o mesmo pedido. O encaminhamento tem de superar um único modelo, não uma base vazia.
2
Qualidade por dólar
Uma rota é avaliada pela qualidade segundo a grelha dividida pelo custo por tarefa, contando cada token faturável. É o mesmo índice do gráfico de desempenho da página Labs.
3
Testes de limites para o Jev
O Jev é testado onde um verificador pode ser enganado, como uma citação inventada ao lado de uma honesta. Os casos em que falha são reportados junto com aqueles em que acerta.
4
A sua própria escala
Os resultados do encaminhamento e do Jev são reportados na sua própria escala e nunca misturados na pontuação do benchmark de tarefas. As versões dos modelos e a data de execução são indicadas.
Dados históricos
Os benchmarks jurídicos que moldaram a forma de medir modelos de IA, dos primeiros conjuntos de dados públicos em 2021 até 2026.
As pontuações não são exibidas. Cada benchmark usa suas próprias tarefas e métricas, por isso pontuações de benchmarks diferentes não são comparáveis. Cada entrada leva à sua fonte primária.
2021
3 benchmarks
CUAD
Lançado em 2021
Revisão de contratos: destacar as cláusulas relevantes para um revisor humano, com mais de 13.000 anotações de especialistas.
Raciocínio jurídico em grandes modelos de linguagem: 162 tarefas que cobrem seis tipos de raciocínio jurídico, construídas em colaboração com profissionais do direito.
Relatório de pesquisa jurídica da Vals AI: produtos de pesquisa jurídica com IA e ChatGPT avaliados em 200 perguntas de pesquisa jurídica dos EUA, frente a uma referência de advogados.
Raciocínio jurídico argumentativo em árabe: mais de 13.000 casos comerciais da Arábia Saudita, com os fatos, o raciocínio do tribunal, o veredicto e as cláusulas citadas.
Confiabilidade das citações em modelos de linguagem jurídicos: recuperação de citações sem consulta, verificação de citações e correspondência de casos.
Um benchmark de código aberto para agentes jurídicos: mais de 1200 tarefas de agente em 24 áreas de prática, avaliadas com mais de 75 000 critérios escritos por especialistas.
Lançado em 2026Classificação atualizada em 24 de outubro de 2026
Um benchmark agêntico para pesquisa jurídica norte-americana: os agentes pesquisam jurisprudência, a web e documentos e são avaliados com grelhas escritas por especialistas em oito áreas de prática.
