Justinian

Zwei Bewertungen, zwei Skalen

Die beiden Skalen sind nicht austauschbar. Ein Wert von 50 und ein Wert von 100 messen unterschiedliche Arbeit nach unterschiedlichen Rastern und dürfen nie als vergleichbar gelesen werden.

Wie ein Wert entsteht

1. 1

   Gleicher Prompt, gleiche Aufgabe

   Jedes System erhält denselben Prompt für eine Aufgabe, die Juristen kennen: diese Vertraulichkeitsvereinbarung entwerfen, diese Frage recherchieren, diese Klausel einem Mandanten erklären.

   Aufgaben-Benchmark
2. 2

   Ein Raster mit fünfzig Punkten

   Das Ergebnis wird nach einem Raster mit fünfzig Punkten bewertet. Partnertauglichkeit und Quellenverweise sind die beiden Kriterien, die eine juristische von einer allgemeinen Bewertung unterscheiden.

   Aufgaben-Benchmark
3. 3

   Öffentliche Rahmenwerke

   Die bereichsübergreifende Studie stützt sich auf öffentliche Rahmenwerke statt auf selbst geschriebene Instrumente, sodass die juristischen Spalten von Personen außerhalb von HAQQ geprüft werden können.

   Bereichsübergreifende Studie
4. 4

   All-Pass-Bewertung

   Eine Aufgabe zählt nur, wenn jedes Kriterium ihres Rasters erfüllt ist. Ein knappes Verfehlen ergibt null statt Teilpunkte, denn ein zu neunzig Prozent richtiges Ergebnis muss trotzdem Zeile für Zeile geprüft werden.

   Bereichsübergreifende Studie
5. 5

   Wie Durchschnitte entstehen

   Der Durchschnitt eines Bereichs ist der Mittelwert seiner Benchmarks. Der Gesamtdurchschnitt ist der Mittelwert von vierundzwanzig Benchmarks ohne den Adversarial-Test. Eine leere Zelle wird aus jedem Durchschnitt ausgeschlossen und nie als Null behandelt.

   Bereichsübergreifende Studie
6. 6

   Bericht und Analyse

   Zeilen, in denen HAQQ nicht vorn liegt, werden genau wie die anderen dargestellt: gleiches Gewicht, gleiche Position, keine Umsortierung und keine Auslassung. Wo eine Zahl abgeleitet ist, wird die Ableitung genannt.

   Beide

Was das Raster abdeckt

• Scharia
• Gesetz
• Forum
• Klauselgestaltung
• Risiko
• Halluzination
• Formatierung
• Kürze
• Partnertauglichkeit
• Quellenverweise

Öffentliche Rahmenwerke, auf die sich die Studie stützt

• Stanford LegalBench

  Juristisches Schlussfolgern über eine breite Aufgabentaxonomie

• Harvey LAB

  All-Pass-Bewertung langfristiger juristischer Arbeit nach Raster

• VLAIR (Vals AI)

  Unabhängige Branchenbewertung juristischer KI-Systeme

• ALARB

  Juristisches Schlussfolgern auf Arabisch, das die meisten juristischen Benchmarks nicht abdecken

• BigLaw Bench

  Aufgaben aus der Praxis großer Kanzleien

• CUAD

  Extraktion und Verständnis von Vertragsklauseln

• LegalCiteBench

  Zitiergenauigkeit und Auflösbarkeit

• LawBench / LexEval

  Mehrsprachige juristische Fähigkeit

• Legal Benchmarks

  Anbieterübergreifende Methodik

Was dieser Benchmark nicht leistet

• Er ist nicht unabhängig

  HAQQ baut ihn, führt ihn durch und tritt darin an. Deshalb ist die Methodik veröffentlicht und die Ergebnisse je Aufgabe sind sichtbar statt zusammengefasst.

• Er deckt nicht jedes Rechtsgebiet ab

  Der Aufgaben-Benchmark ist auf Gesellschafts- und Handelsrecht, Recherche und mandantengerechte Erläuterung ausgerichtet. Andere Bereiche sind nur dünn oder gar nicht abgedeckt.

• Er deckt nicht jedes System ab

  Mehrere Anbieter juristischer KI veröffentlichen keine Bewertungen und bieten keinen Self-Service-Zugang. Ein System, das in einer Tabelle fehlt, wurde nicht von uns geschlagen, sondern nicht getestet.

• Er ist eine Momentaufnahme

  Jeder Teilnehmer veröffentlicht neue Versionen. Ein Wert gilt für die genannte Version zum Zeitpunkt des Laufs und für nichts weiter.

• Er misst das Ergebnis, nicht den Einsatz

  Sicherheitslage, Datenresidenz, Support und Integrationstiefe entscheiden, ob ein System überhaupt nutzbar ist, und keiner dieser Punkte erscheint im Benchmark.