Jak sestavujeme a provozujeme právní benchmark: zadání úloh, hodnoticí rubriku, veřejné rámce, o které se opírá, jak se počítají průměry a kde končí.
1
Stejné zadání, stejná úloha
Každý systém dostane stejné zadání úlohy, kterou by právník poznal: sepsat toto NDA, vyřešit tuto otázku, vysvětlit klientovi toto ustanovení.
2
Padesátibodová rubrika
Výstup se hodnotí podle padesátibodové rubriky. Připravenost pro společníka a odkazování na zdroje jsou dvě kritéria, která odlišují právní hodnocení od obecného.
Připravenost pro společníkaOdkazování na zdroje
3
Veřejné rámce
Mezioborová studie vychází z veřejných rámců, nikoli z nástrojů, které jsme sami napsali, takže právní sloupce může ověřit někdo mimo HAQQ.
Stanford LegalBenchCUADVLAIR
4
Hodnocení vše nebo nic
Úloha se počítá, jen když je splněno každé kritérium její rubriky. Těsné minutí dává nulu, ne částečné body, protože výstup správný z devadesáti procent je stále třeba kontrolovat řádek po řádku.
5
Jak fungují průměry
Průměr domény je průměr benchmarků dané domény. Celkový průměr je průměr dvaceti čtyř benchmarků, s vynecháním adverzního testování. Prázdná buňka je vyloučena z každého průměru a nikdy se nepovažuje za nulu.
6
Zpráva a analýza
Řádky, kde HAQQ není první, jsou zobrazeny stejně jako řádky, kde je: stejná váha, stejná pozice, bez přeřazení a bez vynechání. Kde je údaj odvozen, je odvození uvedeno.
Benchmark úloh · Z 50Mezioborová studie · Ze 100
Pouze ilustrace. Délky sloupců nenesou žádná data.
Obě škály nejsou zaměnitelné. Skóre z 50 a skóre ze 100 měří odlišnou práci podle odlišných rubrik a nikdy se nesmějí číst jako srovnatelné.
Hodnocení směrování modelů a Jev
Mezi promptem a odpovědí stojí dvě části: router, který rozhoduje, který model úlohu spustí, a Jev, kalibrovaná služba úsudku, kterou testujeme jako kontrolora. Žádné z nich nevěříme naslepo. Každé je hodnoceno na stejných úlohách a stejné rubrice a žádné skóre z tohoto kroku zde zatím není zobrazeno.
1
Směrování proti pevnému modelu
Každá úloha projde routerem a zvlášť každým pevným modelem se stejným promptem. Směrování musí porazit jediný model, nikoli prázdný základ.
2
Kvalita na dolar
Trasa se hodnotí kvalitou podle rubriky děleno náklady na úlohu, počítaje každý zpoplatněný token. Je to stejný index jako graf Performance na stránce Labs.
3
Hraniční testy pro Jev
Jev se testuje tam, kde lze kontrolora oklamat, například vymyšlená citace vedle poctivé. Případy, v nichž chybuje, se uvádějí vedle těch, které zvládá.
4
Vlastní stupnice
Výsledky směrování a Jev se uvádějí na vlastní stupnici a nikdy se nezapočítávají do skóre benchmarku úloh. Verze modelů a datum běhu jsou uvedeny.
Historická data
Právní benchmarky, které formovaly způsob měření AI modelů, od prvních veřejných datových sad v roce 2021 do roku 2026.
Skóre nejsou zobrazena. Každý benchmark používá vlastní úlohy a metriky, takže skóre z různých benchmarků nelze porovnávat. Každý záznam odkazuje na svůj primární zdroj.
2021
Benchmarků: 3
CUAD
Spuštěno 2021
Revize smluv: zvýraznění ustanovení ve smlouvě, která jsou důležitá pro lidského revizora, s více než 13 000 odbornými anotacemi.
Právní uvažování ve velkých jazykových modelech: 162 úloh pokrývajících šest typů právního uvažování, vytvořených ve spolupráci s právními profesionály.
Zpráva o právní rešerši od Vals AI: produkty AI pro právní rešerši a ChatGPT hodnocené na 200 otázkách právní rešerše v USA oproti základní úrovni právníků.
Arabské uvažování v právní argumentaci: více než 13 000 obchodních soudních případů ze Saúdské Arábie se skutečnostmi, úvahami soudu, rozsudkem a citovanými ustanoveními.
Open-source benchmark právních agentů: více než 1 200 úloh pro agenty ve 24 oblastech práva, hodnocených podle více než 75 000 kritérií rubriky sepsaných experty.
Agentní benchmark pro právní rešerši v USA: agenti prohledávají judikaturu, web a dokumenty a jsou hodnoceni podle rubrik sepsaných experty v osmi oblastech práva.
