Rendimiento
Cómo rinden los modelos de IA actuales en tareas de investigación jurídica, presentado como investigación sobre el sector y no como afirmaciones sobre Justinian. Las cifras se reproducen de la página de benchmark de HAQQ Sovereign AI.
Resultados de benchmarks de terceros, presentados como investigación sobre el sector. No son una afirmación sobre Justinian.
Fiabilidad frente a calidad por dólar
Cada marcador numerado es un modelo evaluado en el Legal Research Bench. Más a la derecha, mayor indicador aproximado de fiabilidad. Más arriba, más calidad por cada dólar, como índice. El eje vertical termina en 20 %.
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
No representados, sin tasa de fiabilidad publicada: MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Calidad en el Legal Research Bench
Puntuación de calidad en porcentaje, de mayor a menor.
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
Coste por tarea
Coste en dólares estadounidenses de ejecutar una tarea, de menor a mayor.
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
Ver los datos como tabla
| Modelo | Calidad | Coste por tarea | Calidad por $ | Índice de calidad por $ | Indicador de fiabilidad |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | No publicado |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | No publicado |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | No publicado |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | No publicado |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | No publicado |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
Fuente: sovereign.haqq.ai/benchmark, consultada el 16 de octubre de 2026.
La calidad y el coste por tarea proceden del Legal Research Bench de Vals.ai. El indicador de fiabilidad es 100 menos una tasa de alucinación de Artificial Analysis, un indicador general y no una medida de fiabilidad jurídica. El índice de calidad por dólar es una escala relativa fijada en la página de origen, no una puntuación de calidad.
Macroarquitectura
Justinian es un sistema construido en torno a modelos de frontera, no un único modelo. Así encajan sus piezas.
Justinian® entiende tu pregunta legal, identifica con precisión tu jurisdicción y elabora una respuesta respaldada por jurisprudencia verificada y citas línea por línea.
Producto e interfaces
Una plataforma, todas las superficies
- HAQQ Chat
- HAQQ eFirm
- App móvil
- eBar
- Portal del cliente
- API / MCP
Seguridad y gobernanza
- Aislamiento entre asuntos
- Registros de auditoría
- RBAC
- Anonimización
ARNÉS AGÉNTICO JUSTINIAN
La ontología de la inteligencia
Resuelto antes de llamar al modelo
- Reformulación
- Clasificación de intención
- Detección de idioma
- Extracción de entidades
- Ingesta documental + OCR
- Enrutamiento de herramientas
- Enrutamiento del modelo
- Salvaguardas
Después, el bucle agéntico
- Orquestación de subagentes
- Memoria
- Razonamiento profundo
- Anticipación + reversión
- Auditoría de citas
- Humano en el circuito
Arquitectura diseñada para enrutar entre
- OpenAI
- Anthropic
Contexto y conocimiento
La memoria institucional de tu despacho
- Playbooks
- Políticas
- Memorandos
- Plantillas
- Precedentes
- Bibliotecas de cláusulas
- Historial de asuntos
Datos e integraciones
Fuentes legales en vivo
- Búsqueda web
- Leyes
- Jurisprudencia
- Boletines oficiales
- BD regulatorias
- USPTO
- EUIPO
- OMPI
Despacho
Tu sistema operativo legal
- Asuntos
- Contratos
- Documentos
- Audiencias
- Tareas
- Calendario
- Finanzas
- KYC
- Clientes potenciales
- Correos
Jurisdicciones
Cobertura multirregión
- MENA
- Europa
- América del Norte
- Sudamérica
- Asia-Pacífico
- África
Capacidades legales
- Redacción
- Marcado de cambios
- Due diligence
- Informes de cumplimiento
- Litigios
- Análisis
- Resúmenes de casos
Marco de evaluación
Cómo construimos y ejecutamos un benchmark jurídico: los prompts de las tareas, la rúbrica de puntuación, los marcos públicos en los que se apoya, el cálculo de los promedios y sus límites.
Dos evaluaciones, dos escalas
El benchmark de tareas
11 categorías de tareas jurídicas. En el trabajo que un abogado entrega realmente, ¿quién produce el mejor resultado?
El estudio entre dominios
25 benchmarks en 5 dominios: derecho, fiscalidad, periodismo, capacidad general, y seguridad y valores. Frente a los modelos de frontera en su propio terreno, ¿dónde se sitúa un motor especializado en derecho?
Las dos escalas no son intercambiables. Una puntuación sobre 50 y otra sobre 100 miden trabajo distinto con rúbricas distintas, y nunca deben leerse como comparables.
Cómo se produce una puntuación
- 1
Mismo prompt, misma tarea
Cada sistema recibe el mismo prompt para una tarea que un abogado reconocería: redactar este acuerdo de confidencialidad, investigar esta cuestión, explicar esta cláusula a un cliente.
Benchmark de tareas - 2
Una rúbrica de cincuenta puntos
El resultado se puntúa con una rúbrica de cincuenta puntos. La presentabilidad ante un socio y el enlace a las fuentes son los dos criterios que separan una evaluación jurídica de una general.
Benchmark de tareas - 3
Marcos públicos
El estudio entre dominios se apoya en marcos públicos y no en instrumentos escritos por nosotros, de modo que las columnas jurídicas pueden ser verificadas por alguien ajeno a HAQQ.
Estudio entre dominios - 4
Calificación de todo o nada
Una tarea solo cuenta si se cumplen todos los criterios de su rúbrica. Un casi acierto vale cero, sin crédito parcial, porque un resultado correcto al noventa por ciento sigue teniendo que revisarse línea por línea.
Estudio entre dominios - 5
Cómo funcionan los promedios
El promedio de un dominio es la media de sus benchmarks. El promedio general es la media de veinticuatro benchmarks, sin las pruebas adversarias. Una celda vacía se excluye de todos los promedios y nunca se trata como un cero.
Estudio entre dominios - 6
Informe y análisis
Las filas donde HAQQ no es primera se muestran exactamente igual que aquellas donde lo es: mismo peso, misma posición, sin reordenar ni omitir. Cuando una cifra es derivada, se indica la derivación.
Ambos
Qué cubre la rúbrica
- Sharía
- Legislación
- Foro
- Redacción de cláusulas
- Riesgo
- Alucinación
- Formato
- Concisión
- Presentabilidad ante el socio
- Enlace a las fuentes
Presentabilidad ante el socio
Una respuesta correcta que necesita una hora de reestructuración antes de que un socio la firme no ha cumplido su función.
Enlace a las fuentes
Una cita que no se resuelve es peor que no tener cita, porque traslada el coste de la comprobación al lector sin avisarle.
Los marcos públicos en los que se apoya el estudio
Razonamiento jurídico en una amplia taxonomía de tareas
Calificación de todo o nada con rúbrica de trabajo jurídico de largo recorrido
Evaluación sectorial independiente de sistemas de IA jurídica
Razonamiento jurídico en árabe, que la mayoría de los benchmarks jurídicos no cubren
Tareas extraídas de la práctica de grandes despachos
Extracción y comprensión de cláusulas contractuales
Exactitud de las citas y posibilidad de resolverlas
Capacidad jurídica multilingüe
Metodología entre proveedores
Lo que este benchmark no hace
No es independiente
HAQQ lo construye, lo ejecuta y compite en él. Por eso la metodología es pública y los resultados por tarea son visibles en lugar de resumidos.
No cubre todas las áreas de práctica
El benchmark de tareas se inclina hacia la redacción mercantil y societaria, la investigación y la explicación al cliente. Otras áreas se cubren poco o nada.
No cubre todos los sistemas
Varios proveedores de IA jurídica no publican evaluaciones ni ofrecen acceso autoservicio. Un sistema ausente de una tabla no fue superado por nosotros: no se ejecutó.
Es una foto en el tiempo
Cada participante lanza versiones nuevas. Una puntuación es la de la versión indicada en la fecha de ejecución y nada más.
Mide el resultado, no el despliegue
La postura de seguridad, la residencia de datos, el soporte y la profundidad de integración deciden si un sistema puede usarse, y ninguno aparece en el benchmark.
Datos históricos
Los benchmarks jurídicos que han marcado cómo se miden los modelos de IA, desde los primeros conjuntos de datos públicos en 2021 hasta 2026.
No se muestran puntuaciones. Cada benchmark usa sus propias tareas y métricas, por lo que las puntuaciones de benchmarks distintos no son comparables. Cada entrada enlaza con su fuente primaria.
2021
CUAD
Revisión de contratos: resaltar las cláusulas que importan a un revisor humano, con más de 13.000 anotaciones de expertos.
Fuente primaria: arXiv 2103.06268
CaseHOLD
Preguntas de opción múltiple que piden al modelo identificar la doctrina pertinente de un caso citado, con más de 53.000 preguntas.
Fuente primaria: arXiv 2104.08671
LexGLUE
Una colección de conjuntos de datos para evaluar modelos de forma estandarizada en diversas tareas de comprensión del lenguaje jurídico en inglés.
Fuente primaria: arXiv 2110.00976
2023
LegalBench
Razonamiento jurídico en grandes modelos de lenguaje: 162 tareas que cubren seis tipos de razonamiento jurídico, creadas en colaboración con profesionales del derecho.
Fuente primaria: arXiv 2308.11462
LawBench
Conocimiento jurídico en modelos de lenguaje en tres niveles cognitivos: memorizar, comprender y aplicar el conocimiento jurídico, en 20 tareas.
Fuente primaria: arXiv 2309.16289
2024
LegalBench-RAG
Evalúa el paso de recuperación de la generación aumentada por recuperación en el ámbito jurídico, centrado en recuperar fragmentos de texto mínimos y muy relevantes.
Fuente primaria: arXiv 2408.10343
LexEval
Un benchmark jurídico chino con 23 tareas y 14.150 preguntas, que también examina las cuestiones éticas de aplicar modelos de lenguaje al derecho.
Fuente primaria: arXiv 2409.20288
2025
VLAIR, legal research
Informe de investigación jurídica de Vals AI: productos de investigación jurídica con IA y ChatGPT puntuados en 200 preguntas de investigación jurídica de EE. UU., frente a una referencia de abogados.
Fuente primaria: vals.ai
ALARB
Razonamiento jurídico argumentativo en árabe: más de 13.000 casos comerciales de Arabia Saudí, con los hechos, el razonamiento del tribunal, el fallo y las cláusulas citadas.
Fuente primaria: arXiv 2510.00694
2026
LegalCiteBench
Fiabilidad de las citas en modelos de lenguaje jurídicos: recuperación de citas sin consulta de fuentes, verificación de citas y emparejamiento de casos.
Fuente primaria: arXiv 2605.10186
Información del motor
Los datos técnicos del motor Justinian, en un solo lugar.
- Tipo
- El motor propio de IA jurídica detrás de HAQQ Chat, eFirm y la app móvil, creado para abogados y para quienes no lo son.
- Impulsa
- No es un wrapper. Un único motor propietario que impulsa AI chat, practice management, eBar, pagos y móvil. La orquestación, el retrieval, la memoria y la seguridad son nuestros, no de un proveedor de modelos.
- Modelos de frontera
- Un modelo de frontera de un tercero sigue realizando la generación final, y preferimos decirlo con claridad antes que dar a entender que entrenamos el nuestro. La orquestación, el retrieval, la lógica de jurisdicción, la memoria y las salvaguardas a su alrededor son nuestras, y esa es la capa que aporta el valor legal.
- Decisiones antes de llamar al modelo
- Diez, resueltas antes de llamar a un modelo de frontera
- Enrutamiento de modelos
- Arquitectura diseñada para enrutar entre: OpenAI, Anthropic, Google
- Cambio de modelos
- Cambia los modelos subyacentes sin re-ingeniería. Nuestra capa de orquestación propietaria asegura calidad constante en cualquier LLM frontera.
- Jurisdicciones
- Análisis adaptado a la jurisdicción, basado en estatutos locales, jurisprudencia y marcos regulatorios en más de 200 sistemas legales.
- Fundamentación
- Ontología legal propietaria, analizadores a nivel de cláusula y motores de restricciones garantizan salidas legalmente defendibles.
- Gestión del idioma
- El suyo y, por separado, el idioma en que está redactada la ley aplicable.
- Despliegue
- Despliegue en la nube de HAQQ, dentro de tu propia nube o totalmente on-premise.
- Protección de datos
- En HAQQ Legal AI Chat, los datos personales se cambian por sustitutos ficticios antes de enviar nada a un proveedor externo de modelos de IA. Cifrado en tránsito y en reposo. Conforme al RGPD, SOC 2 e ISO 27001, sin certificación.
- Supervisión humana
- Cada resultado exige revisión profesional antes de llegar a un cliente o a un tribunal.
- Parámetros
- No divulgado
- Longitud de contexto
- No divulgado
- Idiomas admitidos
- No divulgado
- Fecha de corte del conocimiento
- No divulgado
- Requisitos de hardware
- No divulgado
Solo se listan hechos ya publicados en haqq.ai/justinian. Un campo sin dato publicado indica No divulgado.
Aplicaciones
Justinian impulsa las aplicaciones de HAQQ. El chat de IA jurídica está disponible hoy y habrá más.
Chat de IA jurídica
Trabaja tus consultas y documentos jurídicos con Justinian, en el navegador o en el móvil.
Próximamente
La investigación de IA detrás de Justinian
Proyectos de investigación abiertos, guardados como libros en una estantería: bibliotecas, habilidades, herramientas y estudios que puedes abrir y usar.
Nuestros compromisos
Sus asuntos nunca entrenan un modelo.
Los archivos de clientes, los asuntos y las conversaciones siguen siendo suyos y se mantienen separados por despacho.
Sus datos viven donde usted decide.
HAQQ funciona en la región que usted elige, y la plataforma es la misma dondequiera que funcione.
Toda respuesta se puede comprobar.
La investigación, la revisión y la redacción están vinculadas a las fuentes que las respaldan, para que un abogado pueda verificar el trabajo.
Preferimos decir que no lo sabemos.
Cuando el motor no encuentra respaldo, está diseñado para decirlo en lugar de producir una fuente.
El abogado sigue siendo responsable.
HAQQ asiste a los profesionales del derecho, y los abogados siguen siendo responsables del criterio profesional y del trabajo final.
Publicamos cómo medimos.
Nuestro método de benchmark expone sus límites, y un campo en blanco nunca se cuenta como cero.