Performance
Comment les modèles d'IA actuels se comportent sur des tâches de recherche juridique, présentés comme une étude du secteur et non comme des affirmations sur Justinian. Les chiffres sont repris de la page benchmark de HAQQ Sovereign AI.
Résultats de benchmarks tiers, présentés comme une étude du secteur. Ils ne constituent pas une affirmation sur Justinian.
Fiabilité et qualité par dollar
Chaque repère numéroté est un modèle évalué sur le Legal Research Bench. Plus à droite, plus l'indicateur de fiabilité est élevé. Plus haut, plus de qualité par dollar, sous forme d'indice. L'axe vertical s'arrête à 20 %.
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
Non représentés, faute de taux de fiabilité publié : MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Qualité sur le Legal Research Bench
Score de qualité en pourcentage, du plus élevé au plus bas.
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
Coût par tâche
Coût en dollars américains pour exécuter une tâche, du plus bas au plus élevé.
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
Voir les données sous forme de tableau
| Modèle | Qualité | Coût par tâche | Qualité par $ | Indice qualité par $ | Indicateur de fiabilité |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | Non publié |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | Non publié |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | Non publié |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | Non publié |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | Non publié |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
Source : sovereign.haqq.ai/benchmark, consulté le 16 octobre 2026.
La qualité et le coût par tâche proviennent du Legal Research Bench de Vals.ai. L'indicateur de fiabilité est 100 moins un taux d'hallucination d'Artificial Analysis, un indicateur général et non une mesure de fiabilité juridique. L'indice qualité par dollar est une échelle relative fixée par la page source, pas un score de qualité.
Macro-architecture
Justinian est un système construit autour de modèles de pointe, pas un modèle unique. Voici comment ses éléments s'assemblent.
Justinian® comprend votre question juridique, cible avec précision votre juridiction, et élabore une réponse appuyée par une jurisprudence vérifiée et des citations ligne par ligne.
Produits & Interfaces
Une plateforme, toutes les surfaces
- HAQQ Chat
- HAQQ eFirm
- App mobile
- eBar
- Portail client
- API / MCP
Sécurité & Gouvernance
- Isolation entre dossiers
- Pistes d'audit
- RBAC
- Anonymisation
HARNAIS AGENTIQUE JUSTINIAN
L'ontologie de l'intelligence
Résolu avant l'appel du modèle
- Reformulation
- Classification d'intention
- Détection de langue
- Extraction d'entités
- Ingestion documentaire + OCR
- Routage d'outils
- Routage du modèle
- Garde-fous
Puis la boucle agentique
- Orchestration de sous-agents
- Mémoire
- Raisonnement approfondi
- Anticipation + retour arrière
- Audit des citations
- Humain dans la boucle
Architecture conçue pour router entre
- OpenAI
- Anthropic
Contexte & Connaissances
La mémoire institutionnelle de votre cabinet
- Playbooks
- Politiques
- Notes
- Modèles
- Précédents
- Bibliothèques de clauses
- Historique des dossiers
Données & Intégrations
Sources juridiques en direct
- Recherche web
- Lois
- Jurisprudence
- Journaux officiels
- Bases réglementaires
- USPTO
- EUIPO
- OMPI
Cabinet
Votre système d'exploitation juridique
- Dossiers
- Contrats
- Documents
- Audiences
- Tâches
- Calendrier
- Finances
- KYC
- Prospects
- E-mails
Juridictions
Couverture multi-régions
- MENA
- Europe
- Amérique du Nord
- Amérique du Sud
- Asie-Pacifique
- Afrique
Capacités juridiques
- Rédaction
- Révision redline
- Due diligence
- Rapports de conformité
- Contentieux
- Analyse
- Résumés d'affaires
Cadre du benchmark
Comment nous construisons et exécutons un benchmark juridique : les consignes de tâches, la grille de notation, les cadres publics utilisés, le calcul des moyennes et ses limites.
Deux évaluations, deux échelles
Le benchmark de tâches
11 catégories de tâches juridiques. Sur le travail qu'un avocat remet réellement, qui produit le meilleur résultat ?
L'étude inter-domaines
25 benchmarks dans 5 domaines : droit, fiscalité, journalisme, capacités générales, sécurité et valeurs. Face aux modèles de pointe sur leur terrain, où se situe un moteur spécialisé en droit ?
Les deux échelles ne sont pas interchangeables. Un score sur 50 et un score sur 100 mesurent un travail différent selon des grilles différentes, et ne doivent jamais être lus comme comparables.
Comment un score est produit
- 1
Même consigne, même tâche
Chaque système reçoit la même consigne pour une tâche qu'un avocat reconnaîtrait : rédiger cet accord de confidentialité, rechercher cette question, expliquer cette clause à un client.
Benchmark de tâches - 2
Une grille de cinquante points
Le résultat est noté selon une grille de cinquante points. La présentabilité à l'associé et le lien aux sources sont les deux critères qui distinguent une évaluation juridique d'une évaluation générale.
Benchmark de tâches - 3
Cadres publics
L'étude inter-domaines s'appuie sur des cadres publics plutôt que sur des instruments écrits par nous, de sorte que les colonnes juridiques peuvent être vérifiées par quelqu'un hors de HAQQ.
Étude inter-domaines - 4
Notation tout ou rien
Une tâche ne compte que si tous les critères de sa grille sont remplis. Un quasi-succès vaut zéro, sans crédit partiel, car un résultat juste à quatre-vingt-dix pour cent doit tout de même être vérifié ligne par ligne.
Étude inter-domaines - 5
Le calcul des moyennes
La moyenne d'un domaine est la moyenne de ses benchmarks. La moyenne générale est celle de vingt-quatre benchmarks, hors tests adverses. Une cellule vide est exclue de toutes les moyennes et n'est jamais traitée comme un zéro.
Étude inter-domaines - 6
Rapport et analyse
Les lignes où HAQQ n'est pas première sont montrées exactement comme celles où elle l'est : même poids, même place, sans réordonnancement ni omission. Quand un chiffre est dérivé, la dérivation est indiquée.
Les deux
Ce que couvre la grille
- Charia
- Texte législatif
- Juridiction
- Construction des clauses
- Risque
- Hallucination
- Mise en forme
- Concision
- Présentabilité à l'associé
- Lien aux sources
Présentabilité à l'associé
Une réponse juste mais qui demande une heure de restructuration avant qu'un associé la signe n'a pas fait le travail.
Lien aux sources
Une citation qui ne mène nulle part est pire que pas de citation, car elle transfère le coût de vérification au lecteur sans le lui dire.
Les cadres publics utilisés par l'étude
Raisonnement juridique sur une large taxonomie de tâches
Notation tout ou rien du travail juridique de longue haleine
Évaluation sectorielle indépendante de systèmes d'IA juridique
Raisonnement juridique en arabe, que la plupart des benchmarks juridiques ne couvrent pas
Tâches tirées de la pratique des grands cabinets
Extraction et compréhension des clauses de contrats
Exactitude des citations et capacité à les résoudre
Capacité juridique multilingue
Méthodologie inter-éditeurs
Ce que ce benchmark ne fait pas
Il n'est pas indépendant
HAQQ le construit, l'exécute et y concourt. C'est pourquoi la méthodologie est publiée et les résultats par tâche sont visibles plutôt que résumés.
Il ne couvre pas tous les domaines de pratique
Le benchmark de tâches penche vers la rédaction en droit des sociétés et commercial, la recherche et l'explication au client. Les autres domaines sont peu couverts ou pas du tout.
Il ne couvre pas tous les systèmes
Plusieurs éditeurs d'IA juridique ne publient aucune évaluation et n'offrent pas d'accès en libre-service. Un système absent d'un tableau n'a pas été battu par nous : il n'a pas été testé.
C'est un instantané
Chaque participant publie de nouvelles versions. Un score correspond à la version citée à la date de l'exécution, rien de plus.
Il mesure le résultat, pas le déploiement
La posture de sécurité, la résidence des données, le support et la profondeur d'intégration décident si un système est utilisable, et aucun n'apparaît dans le benchmark.
Données historiques
Les benchmarks juridiques qui ont façonné la mesure des modèles d'IA, des premiers jeux de données publics en 2021 à 2026.
Les scores ne sont pas affichés. Chaque benchmark a ses propres tâches et métriques, donc les scores de benchmarks différents ne sont pas comparables. Chaque entrée renvoie à sa source primaire.
2021
CUAD
Revue de contrats : repérer les clauses importantes pour un relecteur humain, avec plus de 13 000 annotations d'experts.
Source primaire: arXiv 2103.06268
CaseHOLD
Questions à choix multiple demandant à un modèle d'identifier la solution pertinente d'une décision citée, avec plus de 53 000 questions.
Source primaire: arXiv 2104.08671
LexGLUE
Un ensemble de jeux de données pour évaluer les modèles de façon standardisée sur diverses tâches de compréhension du langage juridique anglais.
Source primaire: arXiv 2110.00976
2023
LegalBench
Raisonnement juridique des grands modèles de langage : 162 tâches couvrant six types de raisonnement juridique, construites en collaboration avec des juristes.
Source primaire: arXiv 2308.11462
LawBench
Connaissances juridiques des modèles de langage à trois niveaux cognitifs : mémoriser, comprendre et appliquer le droit, sur 20 tâches.
Source primaire: arXiv 2309.16289
2024
LegalBench-RAG
Évalue l'étape de récupération de la génération augmentée par récupération dans le domaine juridique, en visant des extraits de texte minimaux et très pertinents.
Source primaire: arXiv 2408.10343
LexEval
Un benchmark juridique chinois de 23 tâches et 14 150 questions, qui examine aussi les enjeux éthiques de l'application des modèles de langage au droit.
Source primaire: arXiv 2409.20288
2025
VLAIR, legal research
Rapport sur la recherche juridique de Vals AI : produits de recherche juridique par IA et ChatGPT notés sur 200 questions de recherche juridique américaines, face à une référence d'avocats.
Source primaire: vals.ai
ALARB
Raisonnement juridique argumentatif en arabe : plus de 13 000 affaires commerciales saoudiennes, avec les faits, le raisonnement du tribunal, le jugement et les clauses citées.
Source primaire: arXiv 2510.00694
2026
LegalCiteBench
Fiabilité des citations dans les modèles de langage juridiques : retrouver des citations sans source, les vérifier et rapprocher des affaires.
Source primaire: arXiv 2605.10186
Informations sur le moteur
Les faits techniques sur le moteur Justinian, au même endroit.
- Type
- Le moteur d'IA juridique propriétaire derrière HAQQ Chat, eFirm et l'application mobile, conçu pour les avocats et pour ceux qui ne le sont pas.
- Alimente
- Pas un wrapper. Un seul moteur propriétaire qui alimente AI chat, practice management, eBar, paiements et mobile. L'orchestration, le retrieval, la mémoire et la sécurité sont les nôtres, pas ceux d'un fournisseur de modèle.
- Modèles de pointe
- Un modèle de pointe tiers effectue toujours la génération finale, et nous préférons le dire clairement plutôt que laisser entendre que nous avons entraîné le nôtre. L'orchestration, le retrieval, la logique de juridiction, la mémoire et les garde-fous qui l'entourent sont les nôtres, et c'est cette couche qui porte la valeur juridique.
- Décisions avant l'appel du modèle
- Dix, résolues avant même l'appel d'un modèle de pointe
- Routage des modèles
- Architecture conçue pour router entre: OpenAI, Anthropic, Google
- Changer de modèle
- Changez de modèles sous-jacents sans re-engineering. Notre couche d'orchestration propriétaire garantit une qualité constante avec n'importe quel LLM.
- Juridictions
- Analyse adaptée à la juridiction, ancrée dans les statuts locaux, la jurisprudence et les cadres réglementaires de plus de 200 systèmes juridiques.
- Ancrage
- Ontologie juridique propriétaire, analyseurs au niveau des clauses et moteurs de contraintes garantissant des résultats juridiquement défendables.
- Gestion de la langue
- La vôtre, et séparément celle dans laquelle la loi applicable est rédigée.
- Déploiement
- Déploiement dans le cloud de HAQQ, dans votre propre cloud ou entièrement sur site.
- Protection des données
- Dans HAQQ Legal AI Chat, les informations personnelles sont remplacées par des substituts fictifs avant que quoi que ce soit ne soit envoyé à un fournisseur externe de modèles d'IA. Chiffrement en transit et au repos. Conforme au RGPD, à SOC 2 et à ISO 27001, sans certification.
- Supervision humaine
- Chaque production exige une relecture professionnelle avant d'atteindre un client ou un tribunal.
- Paramètres
- Non communiqué
- Longueur de contexte
- Non communiqué
- Langues prises en charge
- Non communiqué
- Date limite des connaissances
- Non communiqué
- Exigences matérielles
- Non communiqué
Seuls les faits déjà publiés sur haqq.ai/justinian sont listés. Un champ sans fait publié indique Non communiqué.
Applications
Justinian alimente les applications de HAQQ. Le chat d'IA juridique est disponible dès aujourd'hui, d'autres suivront.
Chat d'IA juridique
Travaillez vos questions et documents juridiques avec Justinian, dans votre navigateur ou sur votre téléphone.
Bientôt disponible
La recherche IA derrière Justinian
Des projets de recherche ouverts, rangés comme des livres sur une étagère : bibliothèques, compétences, outils et études à ouvrir et à utiliser.
Nos engagements
Vos dossiers n'entraînent jamais un modèle.
Les fichiers clients, les dossiers et les conversations restent à vous et sont séparés pour chaque cabinet.
Vos données vivent là où vous le décidez.
HAQQ fonctionne dans la région que vous choisissez, et la plateforme est la même partout où elle fonctionne.
Chaque réponse peut être vérifiée.
La recherche, la relecture et la rédaction sont liées aux sources qui les fondent, afin qu'un avocat puisse vérifier le travail.
Nous préférons dire que nous ne savons pas.
Lorsque le moteur ne trouve aucun appui, il est conçu pour le dire plutôt que de produire une source.
L'avocat reste responsable.
HAQQ assiste les professionnels du droit, et les avocats demeurent responsables du jugement professionnel et du produit final.
Nous publions notre façon de mesurer.
Notre méthode de benchmark en énonce les limites, et une case vide n'est jamais comptée comme zéro.