je Test Set: zwei Schritte + Speichern:
Praktische Analogie:
Stelle dir vor, du betreust einen jungen, talentierten Anwalt. Du legst ihm 10 Verträge vor und markierst in jedem Vertrag:
WAS zur Beantwortung einer bestimmten juristischen Frage relevant ist (der Kontext).
WIE die richtige Antwort auf diese Frage lauten muss (die KI-Antwort).
Dieses manuelle Annotieren ist exakt die Tätigkeit, die du in Legartis durchführst, um die KI zu trainieren.
Schritt 1: Überprüfung des relevanten Kontexts
Überprüfe den relevanten Kontext, ob die vorab annotierten Sätze (hellblau) für die Beantwortung der Anforderung tatsächlich relevant sind.
Füge relevante Sätze hinzu oder entferne nicht-relevante Sätze (manuelle Annotation) – jeweils durch einfaches Anklicken im Test-Set.
Tipp: Vor-annotierte Sätze sind zusätzlich in dunkelblau in der Mini-Map hervorgehoben, was einen schnellen Überblick ermöglicht.
Tipp: Über die Option „Nur ausgewählte Segmente anzeigen“ kannst du die Ansicht auf die vor-annotierten Sätze filtern.
Schritt 2: Überprüfung und Korrektur der KI-Antwort
Überprüfe die Antwort der KI im Bereich „Von der KI identifizierte Informationen“. Die Antwort wird typischerweise als „erfüllt“ / „nicht erfüllt“ dargestellt:
Erfüllt: Die Anforderung (z. B. eine Klausel ist vorhanden oder akzeptabel) ist im vorliegenden Vertrag gegeben.
Nicht erfüllt: Die Anforderung ist im Vertrag nicht erfüllt (z. B. die Klausel fehlt oder ist inakzeptabel formuliert).
Korrigiere die Antwort der KI gegebenenfalls auf den korrekten Status durch Klick auf den Toggle-Knopf.
Tipp: Die „Erklärung der KI“ wird bereitgestellt, um deren Argumentation nachzuvollziehen. Bleib jedoch kritisch! Die KI ist darauf trainiert, plausible Erklärungen zu liefern – selbst wenn die Antwort falsch ist. Die menschliche Expertise ist hier nicht ersetzbar.
Zwei zentrale Prinzipien für eine effektive Annotation:
1. Strenge (Präzision):
Es muss sichergestellt werden, dass der relevante Kontext strikt annotiert wird.
Fokus auf die Sätze, die zwingend zur Beantwortung der Prüfanforderung erforderlich sind.
Vermeidung von Überannotation: Viele Sätze mögen thematisch relevant erscheinen, aber nicht alles, was mit dem Thema zu tun hat, ist für die Beantwortung der spezifischen Anforderung notwendig.
2. Kohärenz (Konsistenz)
Alle Test Set Cases innerhalb eines Test-Sets müssen auf dieselbe Weise annotiert sein.
Konsistenz ist essenziell. Ein inkonsistentes Test-Set (z. B. einmal wird ein Passus annotiert, das nächste Mal nicht, obwohl er dieselbe Funktion hat) verwirrt die KI und beeinträchtigt die Qualität des gesamten Playbooks.
Empfehlung: Alle Test Set Cases einer Anforderung in einem einzigen Durchgang zu annotieren.
Speichern
Nach Abschluss beider Schritte klicke auf „Speichern“ und das System wechselt automatisch zum nächsten Vertrag innerhalb des Test-Sets.
Wann ist ein Test Set fertig annotiert?
Ein Test Set gilt als fertig annotiert, wenn die folgenden Kriterien erfüllt sind:
Ausgewogenheit: Das Set enthält eine ausreichende und repräsentative Mischung aus positiven („erfüllt“) und negativen („nicht erfüllt“) Beispielen.
Alle Verträge/Dokumente innerhalb des Test-Sets wurden manuell annotiert und überprüft.
Markierung: Das Test Set wurde abschließend mit „Manuelle Annotation abgeschlossen“ markiert.