كيف نبني مقياسًا قانونيًا ونشغّله: موجّهات المهام، ومعيار التقييم، والأطر العامة التي يستند إليها، وطريقة حساب المتوسطات، وحدوده.
1
الموجّه نفسه والمهمة نفسها
يُعطى كل نظام الموجّه نفسه لمهمة يعرفها أي محامٍ: صياغة اتفاقية سرية، أو بحث مسألة، أو شرح نص لموكّل.
2
معيار تقييم من خمسين نقطة
يُقيَّم المخرج وفق معيار من خمسين نقطة. الجاهزية للشريك وربط المصادر هما المعياران اللذان يميزان التقييم القانوني عن العام.
الجاهزية للشريكربط المصادر
3
أطر عامة
تعتمد الدراسة عبر المجالات على أطر عامة لا على أدوات كتبناها بأنفسنا، ما يتيح لجهة من خارج HAQQ التحقق من الأعمدة القانونية.
Stanford LegalBenchCUADVLAIR
4
التقييم بالنجاح الكامل
لا تُحتسب المهمة إلا إذا استوفيت كل معايير تقييمها. المحاولة القريبة تنال صفرًا لا درجة جزئية، لأن مخرجًا صحيحًا بنسبة تسعين في المئة يحتاج أيضًا إلى مراجعة سطرًا سطرًا.
5
كيف تُحسب المتوسطات
متوسط المجال هو متوسط مقاييس ذلك المجال. والمتوسط العام هو متوسط أربعة وعشرين مقياسًا باستثناء اختبار الخصومة. الخلية الفارغة تُستبعد من كل متوسط ولا تُعامل صفرًا.
6
التقرير والتحليل
الصفوف التي لا تتصدر فيها HAQQ تُعرض تمامًا كالصفوف التي تتصدرها: الوزن نفسه والموضع نفسه، دون إعادة ترتيب أو حذف. وحيث يكون الرقم مشتقًا يُذكر اشتقاقه.
مقياس المهام · من 50الدراسة عبر المجالات · من 100
رسم توضيحي فقط. أطوال الأشرطة لا تعبّر عن بيانات.
المقياسان غير قابلين للتبادل. فالدرجة من 50 والدرجة من 100 تقيسان عملًا مختلفًا وفق معايير مختلفة، ولا يجوز اعتبارهما قابلتين للمقارنة.
تقييم توجيه النماذج وJev
هناك جزآن بين الطلب والإجابة: الموجّه الذي يقرر أي نموذج ينفذ المهمة، وJev، وهي خدمة حكم معايَرة نختبرها كمدقِّق. لا نثق بأي منهما دون اختبار. يُقيَّم كلٌّ منهما على المهام نفسها والمعيار نفسه، ولا تُعرض هنا بعد أي درجة من هذه الخطوة.
1
التوجيه مقابل نموذج ثابت
تُنفَّذ كل مهمة عبر الموجّه، وبشكل منفصل عبر كل نموذج ثابت بالطلب نفسه. على التوجيه أن يتفوق على نموذج واحد، لا على خط أساس فارغ.
2
الجودة لكل دولار
يُقيَّم المسار بجودة المعيار مقسومة على تكلفة المهمة، مع احتساب كل رمز مفوتر. وهو المؤشر نفسه المستخدم في مخطط الأداء على صفحة المختبرات.
3
اختبارات الحدود لـ Jev
يُختبر Jev حيث يمكن خداع المدقِّق، مثل استشهاد مختلق بجانب استشهاد صادق. وتُعرض الحالات التي يخطئ فيها إلى جانب الحالات التي يصيب فيها.
4
مقياس خاص به
تُعرض نتائج التوجيه وJev على مقياس خاص بها ولا تُدمج أبدًا في درجة معيار المهام. وتُذكر إصدارات النماذج وتاريخ التشغيل.
البيانات التاريخية
المقاييس المرجعية القانونية التي شكّلت طريقة قياس نماذج الذكاء الاصطناعي، من أولى المجموعات العامة عام 2021 إلى 2026.
لا تُعرض الدرجات. فلكل مقياس مهامه ومعاييره الخاصة، لذا لا يمكن مقارنة درجات مقاييس مختلفة. كل بند يرتبط بمصدره الأصلي.
2021
3 معايير
CUAD
أُطلق عام 2021
مراجعة العقود: إبراز البنود المهمة للمراجع البشري في العقد، مع أكثر من 13,000 تعليق من الخبراء.
