प्रदर्शन
मौजूदा AI मॉडल कानूनी शोध कार्यों में कैसा प्रदर्शन करते हैं, इसे क्षेत्र पर शोध के रूप में दिखाया गया है, Justinian के बारे में दावों के रूप में नहीं। आंकड़े HAQQ Sovereign AI के बेंचमार्क पृष्ठ से लिए गए हैं।
तृतीय-पक्ष बेंचमार्क के परिणाम, क्षेत्र पर शोध के रूप में। ये Justinian के बारे में कोई दावा नहीं हैं।
विश्वसनीयता बनाम प्रति डॉलर गुणवत्ता
हर क्रमांकित चिह्न Legal Research Bench पर आंका गया एक मॉडल है। जितना दाईं ओर, विश्वसनीयता का प्रॉक्सी संकेतक उतना अधिक। जितना ऊपर, प्रति डॉलर उतनी अधिक गुणवत्ता, सूचकांक के रूप में। ऊर्ध्वाधर अक्ष 20% पर रुक जाता है।
- 1Gemini 4 Argon85.0% / 1.2%
- 2MiniMax-M383.9% / 12.1%
- 3Grok 4.771.0% / 1.3%
- 4Claude Sonnet 5.553.0% / 0.4%
- 5GPT-6 Astra49.0% / 0.5%
- 6GPT-6.1 Sol46.0% / 1.6%
- 7Claude Opus 5.541.0% / 0.3%
- 8Claude Fable 5.127.4% / 0.3%
चार्ट में नहीं, क्योंकि विश्वसनीयता दर प्रकाशित नहीं है: MiMo V2.6 Flash, GLM 5.3 Flash, MiMo V2.6 Pro, DeepSeek V4.1 Flash, Muse Spark 1.3 Max
Legal Research Bench पर गुणवत्ता
गुणवत्ता स्कोर प्रतिशत में, ऊँचे से नीचे के क्रम में।
- Muse Spark 1.3 Max55.3%
- Claude Fable 5.155.3%
- Gemini 4 Argon54.8%
- Claude Opus 5.550.5%
- Claude Sonnet 5.548.1%
- MiMo V2.6 Pro47.1%
- Grok 4.747.1%
- GLM 5.3 Flash45.2%
- DeepSeek V4.1 Flash41.4%
- GPT-6 Astra39.4%
- GPT-6.1 Sol38.5%
- MiMo V2.6 Flash38.0%
- MiniMax-M329.8%
प्रति कार्य लागत
एक कार्य चलाने की लागत अमेरिकी डॉलर में, कम से अधिक के क्रम में।
- MiMo V2.6 Flash$0.07
- GLM 5.3 Flash$0.12
- MiMo V2.6 Pro$0.18
- DeepSeek V4.1 Flash$0.25
- MiniMax-M3$0.34
- Muse Spark 1.3 Max$0.59
- GPT-6.1 Sol$3.38
- Grok 4.7$4.92
- Gemini 4 Argon$6.45
- GPT-6 Astra$10.58
- Claude Sonnet 5.5$14.83
- Claude Fable 5.1$23.06
- Claude Opus 5.5$25.16
डेटा को तालिका के रूप में देखें
| मॉडल | गुणवत्ता | प्रति कार्य लागत | प्रति $ गुणवत्ता | प्रति $ गुणवत्ता सूचकांक | विश्वसनीयता प्रॉक्सी |
|---|---|---|---|---|---|
| MiMo V2.6 Flash | 38.0% | $0.07 | 542.6 | 74.6% | प्रकाशित नहीं |
| GLM 5.3 Flash | 45.2% | $0.12 | 376.6 | 51.8% | प्रकाशित नहीं |
| MiMo V2.6 Pro | 47.1% | $0.18 | 261.8 | 36.0% | प्रकाशित नहीं |
| DeepSeek V4.1 Flash | 41.4% | $0.25 | 165.4 | 22.7% | प्रकाशित नहीं |
| Muse Spark 1.3 Max | 55.3% | $0.59 | 93.7 | 12.9% | प्रकाशित नहीं |
| MiniMax-M3 | 29.8% | $0.34 | 87.7 | 12.1% | 83.9% |
| GPT-6.1 Sol | 38.5% | $3.38 | 11.4 | 1.6% | 46.0% |
| Grok 4.7 | 47.1% | $4.92 | 9.6 | 1.3% | 71.0% |
| Gemini 4 Argon | 54.8% | $6.45 | 8.5 | 1.2% | 85.0% |
| GPT-6 Astra | 39.4% | $10.58 | 3.7 | 0.5% | 49.0% |
| Claude Sonnet 5.5 | 48.1% | $14.83 | 3.2 | 0.4% | 53.0% |
| Claude Fable 5.1 | 55.3% | $23.06 | 2.4 | 0.3% | 27.4% |
| Claude Opus 5.5 | 50.5% | $25.16 | 2.0 | 0.3% | 41.0% |
स्रोत: sovereign.haqq.ai/benchmark, 16 अक्टूबर 2026 को देखा गया।
गुणवत्ता और प्रति कार्य लागत Vals.ai के Legal Research Bench से आती है। विश्वसनीयता प्रॉक्सी का अर्थ है 100 में से Artificial Analysis की हैलुसिनेशन दर घटाना, जो एक सामान्य प्रॉक्सी है, कानूनी विश्वसनीयता का माप नहीं। प्रति डॉलर गुणवत्ता सूचकांक स्रोत पृष्ठ पर तय एक सापेक्ष पैमाना है, गुणवत्ता स्कोर नहीं।
मैक्रो आर्किटेक्चर
Justinian अग्रणी मॉडलों के आसपास बना एक सिस्टम है, कोई एकल मॉडल नहीं। इसके हिस्से इस तरह आपस में जुड़ते हैं।
Justinian® आपके कानूनी प्रश्न को समझता है, आपके सटीक अधिकार-क्षेत्र को लक्षित करता है, और सत्यापित मामला-कानून और पंक्ति-दर-पंक्ति उद्धरणों के आधार पर उत्तर तैयार करता है।
उत्पाद और इंटरफेस
एक प्लेटफ़ॉर्म, हर सतह
- HAQQ चैट
- HAQQ eFirm
- मोबाइल ऐप
- ई-बार
- क्लाइंट पोर्टल
- एपीआई / एमसीपी
सुरक्षा और शासन
- क्रॉस-मैटर आइसोलेशन
- ऑडिट ट्रेल्स
- आरबीएसी
- अनामिकरण
JUSTINIAN AGENTIC HARNESS
बुद्धिमत्ता की ऑन्टोलॉजी
मॉडल कॉल से पहले समाधान किया गया
- प्रॉम्प्ट फिर से लिखें
- इरादे का वर्गीकरण
- भाषा पहचान
- इकाई निकालना
- दस्तावेज़ प्रवेश + ओसीआर
- टूल राउटिंग
- मॉडल रूटिंग
- सुरक्षा
फिर एजेंटिक लूप
- सब-एजेंट ऑर्केस्ट्रेशन
- मेमोरी
- गहन तर्क
- आगे देखो + रोलबैक
- उद्धरण ऑडिट
- लूप में मानव
पूरे में रूट करने के लिए आर्किटेक्टेड
- OpenAI
- Anthropic
संदर्भ और ज्ञान
आपकी फर्म की संस्थागत स्मृति
- प्लेबुक्स
- नीतियां
- ज्ञापन
- टेम्पलेट्स
- नज़ीरें
- क्लॉज लाइब्रेरी
- मामले का इतिहास
डेटा और एकीकरण
लाइव कानूनी स्रोत
- वेब खोज
- क़ानून
- केस क़ानून
- राजपत्र
- नियामक डीबी
- यूएसपीटीओ
- ईयूआईपीओ
- डब्ल्यूआईपीओ
फर्म
आपकी कानूनी ऑपरेटिंग प्रणाली
- मामले
- अनुबंध
- दस्तावेज़
- सुनवाई
- कार्य
- कैलेंडर
- वित्तीय
- केवाईसी
- लीड्स
- ईमेल
अधिकार क्षेत्र
बहु-क्षेत्रीय कवरेज
- मेना
- यूरोप
- उत्तरी अमेरिका
- दक्षिण अमेरिका
- एशिया-प्रशांत
- अफ्रीका
कानूनी क्षमताएं
- प्रारूपण
- रेडलाइनिंग
- यथोचित परिश्रम
- अनुपालन रिपोर्ट
- मुकदमेबाजी
- विश्लेषण
- मामले का सारांश
बेंचमार्क फ्रेमवर्क
हम कानूनी बेंचमार्क कैसे बनाते और चलाते हैं: कार्य प्रॉम्प्ट, स्कोरिंग रूब्रिक, उसके सार्वजनिक ढाँचे, औसत की गणना और उसकी सीमाएँ।
दो मूल्यांकन, दो पैमाने
टास्क बेंचमार्क
11 कानूनी कार्य श्रेणियाँ। जो काम वकील वास्तव में सौंपता है, उस पर बेहतर परिणाम कौन देता है?
क्रॉस-डोमेन अध्ययन
5 क्षेत्रों में 25 बेंचमार्क: कानून, कर, पत्रकारिता, सामान्य क्षमता, तथा सुरक्षा और मूल्य। अग्रणी मॉडलों के अपने मैदान पर, कानून-विशेषज्ञ इंजन कहाँ खड़ा है?
दोनों पैमाने आपस में बदले नहीं जा सकते। 50 में से स्कोर और 100 में से स्कोर अलग-अलग रूब्रिक पर अलग काम को मापते हैं, और उन्हें कभी तुलनीय नहीं मानना चाहिए।
स्कोर कैसे बनता है
- 1
एक ही प्रॉम्प्ट, एक ही कार्य
हर सिस्टम को ऐसे कार्य के लिए वही प्रॉम्प्ट दिया जाता है जिसे कोई वकील पहचानेगा: यह NDA तैयार करना, यह प्रश्न खोजना, यह प्रावधान मुवक्किल को समझाना।
टास्क बेंचमार्क - 2
पचास अंकों का रूब्रिक
आउटपुट को पचास अंकों के रूब्रिक पर आंका जाता है। पार्टनर-तत्परता और स्रोतों से जुड़ाव वे दो मानदंड हैं जो कानूनी मूल्यांकन को सामान्य मूल्यांकन से अलग करते हैं।
टास्क बेंचमार्क - 3
सार्वजनिक ढाँचे
क्रॉस-डोमेन अध्ययन हमारे अपने बनाए उपकरणों के बजाय सार्वजनिक ढाँचों पर आधारित है, ताकि कानूनी स्तंभों को HAQQ के बाहर का कोई भी जाँच सके।
क्रॉस-डोमेन अध्ययन - 4
ऑल-पास ग्रेडिंग
कोई कार्य तभी गिना जाता है जब उसके रूब्रिक का हर मानदंड पूरा हो। लगभग सही होने पर शून्य मिलता है, आंशिक अंक नहीं, क्योंकि नब्बे प्रतिशत सही आउटपुट को भी पंक्ति-दर-पंक्ति जाँचना पड़ता है।
क्रॉस-डोमेन अध्ययन - 5
औसत कैसे बनते हैं
किसी क्षेत्र का औसत उसके बेंचमार्क का माध्य है। कुल औसत चौबीस बेंचमार्क का माध्य है, जिसमें एडवर्सेरियल परीक्षण शामिल नहीं है। खाली कक्ष हर औसत से बाहर रहता है और उसे कभी शून्य नहीं माना जाता।
क्रॉस-डोमेन अध्ययन - 6
रिपोर्ट और विश्लेषण
जिन पंक्तियों में HAQQ पहले स्थान पर नहीं है, उन्हें ठीक उन पंक्तियों की तरह दिखाया जाता है जहाँ वह पहले स्थान पर है: वही महत्व, वही स्थिति, न क्रम बदला जाता है न कुछ छोड़ा जाता है। जहाँ कोई आँकड़ा निकाला गया है, वहाँ उसकी गणना बताई जाती है।
दोनों
रूब्रिक में क्या शामिल है
- शरिया
- कानून का पाठ
- मंच
- खंड निर्माण
- जोखिम
- हैलुसिनेशन
- फ़ॉर्मेटिंग
- संक्षिप्तता
- पार्टनर-तत्परता
- स्रोतों से जुड़ाव
पार्टनर-तत्परता
जो उत्तर सही है पर जिसे पार्टनर के हस्ताक्षर से पहले एक घंटे के पुनर्गठन की ज़रूरत है, उसने अपना काम पूरा नहीं किया।
स्रोतों से जुड़ाव
जो उद्धरण खुलता नहीं, वह उद्धरण न होने से भी बुरा है, क्योंकि वह जाँच की लागत बिना बताए पाठक पर डाल देता है।
अध्ययन जिन सार्वजनिक ढाँचों पर आधारित है
व्यापक कार्य-वर्गीकरण पर कानूनी तर्क
लंबी अवधि के कानूनी कार्य की रूब्रिक-आधारित ऑल-पास ग्रेडिंग
कानूनी AI सिस्टम का स्वतंत्र उद्योग मूल्यांकन
अरबी में कानूनी तर्क, जिसे अधिकांश कानूनी बेंचमार्क कवर नहीं करते
बड़ी फ़र्मों के अभ्यास से लिए गए कार्य
अनुबंध खंडों का निष्कर्षण और समझ
उद्धरणों की सटीकता और उन्हें खोल पाने की क्षमता
बहुभाषी कानूनी क्षमता
विक्रेताओं के बीच की पद्धति
यह बेंचमार्क क्या नहीं करता
यह स्वतंत्र नहीं है
HAQQ इसे बनाती है, चलाती है और इसमें प्रतिस्पर्धा भी करती है। इसीलिए पद्धति प्रकाशित है और कार्य-वार परिणाम सारांश के बजाय पूरे दिखते हैं।
यह हर प्रैक्टिस क्षेत्र को कवर नहीं करता
टास्क बेंचमार्क का झुकाव कॉर्पोरेट और वाणिज्यिक ड्राफ्टिंग, शोध और मुवक्किल को समझाने की ओर है। अन्य क्षेत्र कम या बिल्कुल कवर नहीं हैं।
यह हर सिस्टम को कवर नहीं करता
कई कानूनी AI विक्रेता कोई मूल्यांकन प्रकाशित नहीं करते और स्वयं-सेवा पहुँच नहीं देते। तालिका में न दिखने वाला सिस्टम हमसे हारा नहीं है; उसे चलाया ही नहीं गया।
यह एक समय-बिंदु है
हर प्रतिभागी नए संस्करण जारी करता है। स्कोर केवल उस संस्करण का होता है जो रन की तारीख पर नामित था, इससे अधिक कुछ नहीं।
यह आउटपुट मापता है, तैनाती नहीं
सुरक्षा स्थिति, डेटा निवास, सहायता और एकीकरण की गहराई तय करते हैं कि कोई सिस्टम उपयोग में आ भी सकता है या नहीं, और इनमें से कुछ भी बेंचमार्क में नहीं आता।
ऐतिहासिक डेटा
वे कानूनी बेंचमार्क जिन्होंने AI मॉडलों को मापने का तरीका गढ़ा, 2021 के पहले सार्वजनिक डेटासेट से 2026 तक।
स्कोर नहीं दिखाए गए हैं। हर बेंचमार्क के अपने कार्य और मापदंड हैं, इसलिए अलग-अलग बेंचमार्क के स्कोर की तुलना नहीं की जा सकती। हर प्रविष्टि अपने मूल स्रोत से जुड़ती है।
2021
CUAD
अनुबंध समीक्षा: अनुबंध के उन खंडों को चिह्नित करना जो मानव समीक्षक के लिए मायने रखते हैं, 13,000 से अधिक विशेषज्ञ एनोटेशन के साथ।
मूल स्रोत: arXiv 2103.06268
CaseHOLD
बहुविकल्पीय प्रश्न जिनमें मॉडल को उद्धृत मामले का प्रासंगिक निर्णय पहचानना होता है, 53,000 से अधिक प्रश्नों के साथ।
मूल स्रोत: arXiv 2104.08671
LexGLUE
अंग्रेज़ी कानूनी भाषा की समझ के विभिन्न कार्यों पर मॉडलों को मानकीकृत तरीके से परखने वाले डेटासेट का संग्रह।
मूल स्रोत: arXiv 2110.00976
2023
LegalBench
बड़े भाषा मॉडलों में कानूनी तर्क: कानूनी पेशेवरों के साथ मिलकर बनाए गए 162 कार्य, जो छह प्रकार के कानूनी तर्क को कवर करते हैं।
मूल स्रोत: arXiv 2308.11462
LawBench
भाषा मॉडलों का कानूनी ज्ञान तीन संज्ञानात्मक स्तरों पर: कानूनी ज्ञान को याद रखना, समझना और लागू करना, 20 कार्यों में।
मूल स्रोत: arXiv 2309.16289
2024
LegalBench-RAG
कानूनी क्षेत्र में रिट्रीवल-ऑगमेंटेड जनरेशन के रिट्रीवल चरण का मूल्यांकन, न्यूनतम और अत्यंत प्रासंगिक पाठ अंश खोजने पर केंद्रित।
मूल स्रोत: arXiv 2408.10343
LexEval
23 कार्यों और 14,150 प्रश्नों वाला चीनी कानूनी बेंचमार्क, जो कानून में भाषा मॉडल के उपयोग के नैतिक मुद्दों को भी परखता है।
मूल स्रोत: arXiv 2409.20288
2025
VLAIR, legal research
Vals AI की कानूनी शोध रिपोर्ट: AI कानूनी शोध उत्पाद और ChatGPT को 200 अमेरिकी कानूनी शोध प्रश्नों पर वकीलों के आधार-मानक के विरुद्ध आंका गया।
मूल स्रोत: vals.ai
ALARB
अरबी में कानूनी तर्क: सऊदी अरब के 13,000 से अधिक वाणिज्यिक मामले, तथ्यों, अदालत के तर्क, फ़ैसले और उद्धृत धाराओं सहित।
मूल स्रोत: arXiv 2510.00694
2026
LegalCiteBench
कानूनी भाषा मॉडलों में उद्धरणों की विश्वसनीयता: बिना स्रोत देखे उद्धरण खोजना, उद्धरणों का सत्यापन और मामलों का मिलान।
मूल स्रोत: arXiv 2605.10186
इंजन की जानकारी
Justinian इंजन के तकनीकी तथ्य, एक ही जगह पर।
- प्रकार
- HAQQ चैट, eFirm और मोबाइल ऐप के पीछे का AI इंजन
- संचालित करता है
- रैपर नहीं। एक एकल मालिकाना इंजन जो AI चैट, अभ्यास प्रबंधन, eBar, भुगतान और मोबाइल को संचालित करता है। ऑर्केस्ट्रेशन, पुनर्प्राप्ति, मेमोरी और सुरक्षा हमारी हैं, किसी मॉडल विक्रेता की नहीं।
- अग्रणी मॉडल
- एक थर्ड-पार्टी फ्रंटियर मॉडल अब भी अंतिम जनरेशन करता है, और हम अपना मॉडल ट्रेन करने का आभास देने के बजाय इसे साफ़ तौर पर कहना पसंद करते हैं। इसके चारों ओर की ऑर्केस्ट्रेशन, पुनर्प्राप्ति, क्षेत्राधिकार लॉजिक, मेमोरी और सुरक्षा हमारी हैं, और यही वह परत है जो कानूनी मूल्य वहन करती है।
- मॉडल कॉल से पहले के निर्णय
- दस, किसी अग्रणी मॉडल को बुलाने से पहले ही तय
- मॉडल रूटिंग
- पूरे में रूट करने के लिए आर्किटेक्टेड: OpenAI, Anthropic, Google
- मॉडल बदलना
- बिना पुनर्गठन के अंतर्निहित मॉडल बदलें। मालिकाना ऑर्केस्ट्रेशन लेयर किसी भी फ्रंटियर LLM में लगातार गुणवत्ता सुनिश्चित करती है।
- क्षेत्राधिकार
- 200 से अधिक कानूनी प्रणालियों में स्थानीय कानूनों, केस कानून और नियामक ढाँचों पर आधारित क्षेत्राधिकार-जागरूक विश्लेषण।
- आधार
- मालिकाना कानूनी ऑन्टोलॉजी, क्लॉज़-स्तर के विश्लेषक और बाधा इंजन यह सुनिश्चित करते हैं कि प्रत्येक आउटपुट कानूनी रूप से रक्षात्मक हो।
- भाषा संभालना
- आपकी, और अलग से वह भाषा जिसमें शासी कानून लिखा गया है।
- तैनाती
- HAQQ के क्लाउड में, अपने क्लाउड टेनेंसी के भीतर, या पूरी तरह ऑन-प्रिमाइसेस परिनियोजित करें।
- डेटा सुरक्षा
- HAQQ Legal AI Chat में, किसी बाहरी AI मॉडल प्रदाता को कुछ भी भेजे जाने से पहले व्यक्तिगत जानकारी को काल्पनिक प्रतिस्थापनों से बदल दिया जाता है। पारगमन और स्थिर अवस्था में एन्क्रिप्शन। GDPR, SOC 2 और ISO 27001 के अनुरूप, प्रमाणित नहीं।
- मानवीय निगरानी
- ग्राहक या अदालत तक पहुँचने से पहले हर आउटपुट को पेशेवर समीक्षा की आवश्यकता होती है।
- पैरामीटर
- अप्रकट
- संदर्भ की लंबाई
- अप्रकट
- समर्थित भाषाएँ
- अप्रकट
- ज्ञान की अंतिम तिथि
- अप्रकट
- हार्डवेयर आवश्यकताएँ
- अप्रकट
केवल वही तथ्य सूचीबद्ध हैं जो haqq.ai/justinian पर पहले से प्रकाशित हैं। जिस क्षेत्र का कोई प्रकाशित तथ्य नहीं है, वहाँ अप्रकट लिखा है।
एप्लिकेशन
Justinian, HAQQ के एप्लिकेशन को शक्ति देता है। कानूनी AI चैट आज उपलब्ध है, और भी आने वाले हैं।
कानूनी AI चैट
अपने ब्राउज़र या फ़ोन पर Justinian के साथ कानूनी प्रश्नों और दस्तावेज़ों पर काम करें।
जल्द आ रहा है
जस्टिनियन के पीछे का AI अनुसंधान
खुले शोध प्रोजेक्ट, शेल्फ़ पर रखी किताबों की तरह: लाइब्रेरी, स्किल, टूल और अध्ययन जिन्हें आप खोल और इस्तेमाल कर सकते हैं।
हमारी प्रतिबद्धताएँ
आपके मामले कभी किसी मॉडल को प्रशिक्षित नहीं करते।
क्लाइंट की फ़ाइलें, मामले और बातचीत आपकी ही रहती हैं और हर फ़र्म के लिए अलग रखी जाती हैं।
आपका डेटा वहीं रहता है जहाँ आप तय करें।
HAQQ उसी क्षेत्र में चलता है जिसे आप चुनते हैं, और प्लेटफ़ॉर्म जहाँ भी चले, वही रहता है।
हर उत्तर की जाँच की जा सकती है।
शोध, समीक्षा और मसौदा तैयार करना उन स्रोतों से जुड़े रहते हैं जिन पर वे आधारित हैं, ताकि वकील काम को सत्यापित कर सके।
हम यह कहना पसंद करेंगे कि हमें नहीं पता।
जब इंजन को कोई आधार नहीं मिलता, तो उसे स्रोत गढ़ने के बजाय यही कहने के लिए बनाया गया है।
वकील ही जवाबदेह रहता है।
HAQQ कानूनी पेशेवरों की सहायता करता है, और पेशेवर निर्णय तथा अंतिम कार्य की ज़िम्मेदारी वकीलों की ही रहती है।
हम बताते हैं कि हम कैसे मापते हैं।
हमारी बेंचमार्क पद्धति अपनी सीमाएँ बताती है, और खाली प्रविष्टि को कभी शून्य नहीं गिना जाता।