हम कानूनी बेंचमार्क कैसे बनाते और चलाते हैं: कार्य प्रॉम्प्ट, स्कोरिंग रूब्रिक, उसके सार्वजनिक ढाँचे, औसत की गणना और उसकी सीमाएँ।
1
एक ही प्रॉम्प्ट, एक ही कार्य
हर सिस्टम को ऐसे कार्य के लिए वही प्रॉम्प्ट दिया जाता है जिसे कोई वकील पहचानेगा: यह NDA तैयार करना, यह प्रश्न खोजना, यह प्रावधान मुवक्किल को समझाना।
2
पचास अंकों का रूब्रिक
आउटपुट को पचास अंकों के रूब्रिक पर आंका जाता है। पार्टनर-तत्परता और स्रोतों से जुड़ाव वे दो मानदंड हैं जो कानूनी मूल्यांकन को सामान्य मूल्यांकन से अलग करते हैं।
पार्टनर-तत्परतास्रोतों से जुड़ाव
3
सार्वजनिक ढाँचे
क्रॉस-डोमेन अध्ययन हमारे अपने बनाए उपकरणों के बजाय सार्वजनिक ढाँचों पर आधारित है, ताकि कानूनी स्तंभों को HAQQ के बाहर का कोई भी जाँच सके।
Stanford LegalBenchCUADVLAIR
4
ऑल-पास ग्रेडिंग
कोई कार्य तभी गिना जाता है जब उसके रूब्रिक का हर मानदंड पूरा हो। लगभग सही होने पर शून्य मिलता है, आंशिक अंक नहीं, क्योंकि नब्बे प्रतिशत सही आउटपुट को भी पंक्ति-दर-पंक्ति जाँचना पड़ता है।
5
औसत कैसे बनते हैं
किसी क्षेत्र का औसत उसके बेंचमार्क का माध्य है। कुल औसत चौबीस बेंचमार्क का माध्य है, जिसमें एडवर्सेरियल परीक्षण शामिल नहीं है। खाली कक्ष हर औसत से बाहर रहता है और उसे कभी शून्य नहीं माना जाता।
6
रिपोर्ट और विश्लेषण
जिन पंक्तियों में HAQQ पहले स्थान पर नहीं है, उन्हें ठीक उन पंक्तियों की तरह दिखाया जाता है जहाँ वह पहले स्थान पर है: वही महत्व, वही स्थिति, न क्रम बदला जाता है न कुछ छोड़ा जाता है। जहाँ कोई आँकड़ा निकाला गया है, वहाँ उसकी गणना बताई जाती है।
टास्क बेंचमार्क · 50 में सेक्रॉस-डोमेन अध्ययन · 100 में से
केवल चित्रण। पट्टियों की लंबाई कोई डेटा नहीं दर्शाती।
दोनों पैमाने आपस में बदले नहीं जा सकते। 50 में से स्कोर और 100 में से स्कोर अलग-अलग रूब्रिक पर अलग काम को मापते हैं, और उन्हें कभी तुलनीय नहीं मानना चाहिए।
मॉडल रूटिंग और Jev का मूल्यांकन
अनुरोध और उत्तर के बीच दो हिस्से होते हैं: राउटर, जो तय करता है कि कार्य कौन सा मॉडल चलाएगा, और Jev, एक कैलिब्रेटेड निर्णय सेवा जिसे हम जाँचकर्ता के रूप में परखते हैं। किसी पर आँख मूँदकर भरोसा नहीं किया जाता। दोनों को वही कार्य और वही रूब्रिक देकर आँका जाता है, और इस चरण का कोई स्कोर अभी यहाँ नहीं दिखाया गया है।
1
रूटिंग बनाम एक निश्चित मॉडल
हर कार्य राउटर से और अलग से हर निश्चित मॉडल से एक ही अनुरोध पर चलता है। रूटिंग को एक अकेले मॉडल को हराना होता है, किसी खाली आधार को नहीं।
2
प्रति डॉलर गुणवत्ता
किसी रूट को रूब्रिक गुणवत्ता को प्रति कार्य लागत से भाग देकर आँका जाता है, हर बिल योग्य टोकन गिनकर। यह Labs पेज के प्रदर्शन चार्ट वाला ही सूचकांक है।
3
Jev के लिए सीमा परीक्षण
Jev को वहाँ परखा जाता है जहाँ जाँचकर्ता को धोखा दिया जा सकता है, जैसे एक ईमानदार उद्धरण के पास गढ़ा हुआ उद्धरण। जिन मामलों में वह गलत होता है, उन्हें सही मामलों के साथ बताया जाता है।
4
अपना अलग पैमाना
रूटिंग और Jev के नतीजे अपने पैमाने पर बताए जाते हैं और कार्य बेंचमार्क के स्कोर में कभी नहीं मिलाए जाते। मॉडल संस्करण और चलाने की तारीख बताई जाती है।
ऐतिहासिक डेटा
वे कानूनी बेंचमार्क जिन्होंने AI मॉडलों को मापने का तरीका गढ़ा, 2021 के पहले सार्वजनिक डेटासेट से 2026 तक।
स्कोर नहीं दिखाए गए हैं। हर बेंचमार्क के अपने कार्य और मापदंड हैं, इसलिए अलग-अलग बेंचमार्क के स्कोर की तुलना नहीं की जा सकती। हर प्रविष्टि अपने मूल स्रोत से जुड़ती है।
2021
3 बेंचमार्क
CUAD
2021 में लॉन्च
अनुबंध समीक्षा: अनुबंध के उन खंडों को चिह्नित करना जो मानव समीक्षक के लिए मायने रखते हैं, 13,000 से अधिक विशेषज्ञ एनोटेशन के साथ।
कानूनी एजेंटों के लिए एक ओपन-सोर्स बेंचमार्क: 24 प्रैक्टिस क्षेत्रों में 1,200 से अधिक एजेंट कार्य, जिन्हें विशेषज्ञों द्वारा लिखे 75,000 से अधिक मानदंडों पर परखा जाता है।
अमेरिकी कानूनी शोध के लिए एक एजेंटिक बेंचमार्क: एजेंट केस लॉ, वेब और दस्तावेज़ों में खोज करते हैं और आठ प्रैक्टिस क्षेत्रों में विशेषज्ञ-लिखित रूब्रिक पर आँके जाते हैं।
