Wie wir einen juristischen Benchmark aufbauen und durchführen: die Aufgaben-Prompts, das Bewertungsraster, die öffentlichen Rahmenwerke, die Berechnung der Durchschnitte und seine Grenzen.
1
Gleicher Prompt, gleiche Aufgabe
Jedes System erhält denselben Prompt für eine Aufgabe, die Juristen kennen: diese Vertraulichkeitsvereinbarung entwerfen, diese Frage recherchieren, diese Klausel einem Mandanten erklären.
2
Ein Raster mit fünfzig Punkten
Das Ergebnis wird nach einem Raster mit fünfzig Punkten bewertet. Partnertauglichkeit und Quellenverweise sind die beiden Kriterien, die eine juristische von einer allgemeinen Bewertung unterscheiden.
PartnertauglichkeitQuellenverweise
3
Öffentliche Rahmenwerke
Die bereichsübergreifende Studie stützt sich auf öffentliche Rahmenwerke statt auf selbst geschriebene Instrumente, sodass die juristischen Spalten von Personen außerhalb von HAQQ geprüft werden können.
Stanford LegalBenchCUADVLAIR
4
All-Pass-Bewertung
Eine Aufgabe zählt nur, wenn jedes Kriterium ihres Rasters erfüllt ist. Ein knappes Verfehlen ergibt null statt Teilpunkte, denn ein zu neunzig Prozent richtiges Ergebnis muss trotzdem Zeile für Zeile geprüft werden.
5
Wie Durchschnitte entstehen
Der Durchschnitt eines Bereichs ist der Mittelwert seiner Benchmarks. Der Gesamtdurchschnitt ist der Mittelwert von vierundzwanzig Benchmarks ohne den Adversarial-Test. Eine leere Zelle wird aus jedem Durchschnitt ausgeschlossen und nie als Null behandelt.
6
Bericht und Analyse
Zeilen, in denen HAQQ nicht vorn liegt, werden genau wie die anderen dargestellt: gleiches Gewicht, gleiche Position, keine Umsortierung und keine Auslassung. Wo eine Zahl abgeleitet ist, wird die Ableitung genannt.
Aufgaben-Benchmark · Von 50Bereichsübergreifende Studie · Von 100
Nur zur Veranschaulichung. Die Balkenlängen enthalten keine Daten.
Die beiden Skalen sind nicht austauschbar. Ein Wert von 50 und ein Wert von 100 messen unterschiedliche Arbeit nach unterschiedlichen Rastern und dürfen nie als vergleichbar gelesen werden.
Bewertung von Modellrouting und Jev
Zwei Teile stehen zwischen Anfrage und Antwort: der Router, der entscheidet, welches Modell eine Aufgabe ausführt, und Jev, ein kalibrierter Beurteilungsdienst, den wir als Prüfer testen. Keinem wird blind vertraut. Beide werden an denselben Aufgaben mit demselben Raster bewertet, und aus diesem Schritt wird hier noch kein Wert gezeigt.
1
Routing gegen ein festes Modell
Jede Aufgabe läuft durch den Router und getrennt durch jedes feste Modell mit derselben Anfrage. Das Routing muss ein einzelnes Modell schlagen, nicht eine leere Basislinie.
2
Qualität pro Dollar
Eine Route wird nach Rasterqualität geteilt durch die Kosten pro Aufgabe bewertet, unter Einbezug jedes abrechenbaren Tokens. Es ist derselbe Index wie im Leistungsdiagramm auf der Labs-Seite.
3
Grenztests für Jev
Jev wird dort getestet, wo ein Prüfer getäuscht werden kann, etwa mit einem erfundenen Zitat neben einem ehrlichen. Die Fälle, in denen er irrt, werden neben denen genannt, in denen er richtig liegt.
4
Eine eigene Skala
Ergebnisse von Routing und Jev werden auf einer eigenen Skala berichtet und nie in den Wert des Aufgaben-Benchmarks eingerechnet. Modellversionen und Ausführungsdatum werden genannt.
Historische Daten
Die juristischen Benchmarks, die geprägt haben, wie KI-Modelle gemessen werden, von den ersten öffentlichen Datensätzen 2021 bis 2026.
Ergebnisse werden nicht angezeigt. Jeder Benchmark hat eigene Aufgaben und Metriken, daher sind Ergebnisse verschiedener Benchmarks nicht vergleichbar. Jeder Eintrag verlinkt auf seine Primärquelle.
2021
3 Benchmarks
CUAD
Gestartet 2021
Vertragsprüfung: Hervorhebung der Klauseln, die für einen menschlichen Prüfer wichtig sind, mit über 13.000 Expertenannotationen.
Juristisches Schlussfolgern bei großen Sprachmodellen: 162 Aufgaben zu sechs Arten juristischen Schlussfolgerns, gemeinsam mit Juristinnen und Juristen erstellt.
Ein chinesischer Rechts-Benchmark mit 23 Aufgaben und 14.150 Fragen, der auch die ethischen Fragen beim Einsatz von Sprachmodellen im Recht untersucht.
Bericht zur Rechtsrecherche von Vals AI: KI-Recherchewerkzeuge und ChatGPT, bewertet an 200 US-Rechercheaufgaben im Vergleich zu einer Anwaltsreferenz.
Juristisches Argumentieren auf Arabisch: über 13.000 Handelsrechtsfälle aus Saudi-Arabien, mit Sachverhalt, Begründung des Gerichts, Urteil und zitierten Klauseln.
Ein Open-Source-Benchmark für juristische Agenten: mehr als 1.200 Agentenaufgaben in 24 Rechtsgebieten, bewertet anhand von über 75.000 von Experten verfassten Kriterien.
Gestartet 2026Rangliste aktualisiert am 24. Oktober 2026
Ein agentischer Benchmark für US-Rechtsrecherche: Agenten durchsuchen Rechtsprechung, Web und Dokumente und werden anhand von Expertenrastern in acht Rechtsgebieten bewertet.
