Cómo construimos y ejecutamos un benchmark jurídico: los prompts de las tareas, la rúbrica de puntuación, los marcos públicos en los que se apoya, el cálculo de los promedios y sus límites.
1
Mismo prompt, misma tarea
Cada sistema recibe el mismo prompt para una tarea que un abogado reconocería: redactar este acuerdo de confidencialidad, investigar esta cuestión, explicar esta cláusula a un cliente.
2
Una rúbrica de cincuenta puntos
El resultado se puntúa con una rúbrica de cincuenta puntos. La presentabilidad ante un socio y el enlace a las fuentes son los dos criterios que separan una evaluación jurídica de una general.
Presentabilidad ante el socioEnlace a las fuentes
3
Marcos públicos
El estudio entre dominios se apoya en marcos públicos y no en instrumentos escritos por nosotros, de modo que las columnas jurídicas pueden ser verificadas por alguien ajeno a HAQQ.
Stanford LegalBenchCUADVLAIR
4
Calificación de todo o nada
Una tarea solo cuenta si se cumplen todos los criterios de su rúbrica. Un casi acierto vale cero, sin crédito parcial, porque un resultado correcto al noventa por ciento sigue teniendo que revisarse línea por línea.
5
Cómo funcionan los promedios
El promedio de un dominio es la media de sus benchmarks. El promedio general es la media de veinticuatro benchmarks, sin las pruebas adversarias. Una celda vacía se excluye de todos los promedios y nunca se trata como un cero.
6
Informe y análisis
Las filas donde HAQQ no es primera se muestran exactamente igual que aquellas donde lo es: mismo peso, misma posición, sin reordenar ni omitir. Cuando una cifra es derivada, se indica la derivación.
Benchmark de tareas · Sobre 50Estudio entre dominios · Sobre 100
Solo ilustración. La longitud de las barras no representa datos.
Las dos escalas no son intercambiables. Una puntuación sobre 50 y otra sobre 100 miden trabajo distinto con rúbricas distintas, y nunca deben leerse como comparables.
Evaluar el enrutamiento de modelos y Jev
Dos piezas se sitúan entre una consulta y una respuesta: el enrutador que decide qué modelo ejecuta una tarea y Jev, un servicio de juicio calibrado que probamos como verificador. Ninguna se acepta por fe. Cada una se puntúa con las mismas tareas y la misma rúbrica, y aún no se muestra aquí ninguna puntuación de este paso.
1
Enrutamiento frente a un modelo fijo
Cada tarea pasa por el enrutador y, por separado, por cada modelo fijo con la misma consulta. El enrutamiento debe superar a un solo modelo, no a una base vacía.
2
Calidad por dólar
Una ruta se puntúa por la calidad según la rúbrica dividida por el coste por tarea, contando cada token facturable. Es el mismo índice que el gráfico de rendimiento de la página de Labs.
3
Pruebas de límites para Jev
Jev se prueba donde un verificador puede ser engañado, como una cita inventada junto a una honesta. Los casos en que falla se informan junto a los que acierta.
4
Su propia escala
Los resultados del enrutamiento y de Jev se informan en su propia escala y nunca se mezclan con la puntuación del benchmark de tareas. Se indican las versiones de los modelos y la fecha de ejecución.
Datos históricos
Los benchmarks jurídicos que han marcado cómo se miden los modelos de IA, desde los primeros conjuntos de datos públicos en 2021 hasta 2026.
No se muestran puntuaciones. Cada benchmark usa sus propias tareas y métricas, por lo que las puntuaciones de benchmarks distintos no son comparables. Cada entrada enlaza con su fuente primaria.
2021
3 benchmarks
CUAD
Lanzado en 2021
Revisión de contratos: resaltar las cláusulas que importan a un revisor humano, con más de 13.000 anotaciones de expertos.
Razonamiento jurídico en grandes modelos de lenguaje: 162 tareas que cubren seis tipos de razonamiento jurídico, creadas en colaboración con profesionales del derecho.
Evalúa el paso de recuperación de la generación aumentada por recuperación en el ámbito jurídico, centrado en recuperar fragmentos de texto mínimos y muy relevantes.
Informe de investigación jurídica de Vals AI: productos de investigación jurídica con IA y ChatGPT puntuados en 200 preguntas de investigación jurídica de EE. UU., frente a una referencia de abogados.
Razonamiento jurídico argumentativo en árabe: más de 13.000 casos comerciales de Arabia Saudí, con los hechos, el razonamiento del tribunal, el fallo y las cláusulas citadas.
Fiabilidad de las citas en modelos de lenguaje jurídicos: recuperación de citas sin consulta de fuentes, verificación de citas y emparejamiento de casos.
Un benchmark de código abierto para agentes jurídicos: más de 1200 tareas de agente en 24 áreas de práctica, evaluadas con más de 75 000 criterios redactados por expertos.
Lanzado en 2026Clasificación actualizada el 24 de octubre de 2026
Un benchmark de agentes para la investigación jurídica estadounidense: los agentes consultan jurisprudencia, la web y documentos, y se evalúan con rúbricas de expertos en ocho áreas de práctica.
