EingangsLotse - Eval-Metriken

Messwerte

Stand dieser Anzeige: 2026-08-20T03:19:36+00:00 (Serveruhr beim Rendern). Die Zahlen darunter stammen aus dem Report und ändern sich dadurch nicht.

Gate bestanden: keine False Clears.

Goldset

corpus/gold/v4 (101 Vorgänge)

Gemessen am

2026-08-19T20:02:24.881355+00:00 (Zeitpunkt des Eval-Laufs, nicht dieses Aufrufs)

Scorer-Modus

log_only

Versionen

schema=0.1.0, decision_table=table_v1, rules=routing_v3, taxonomy=taxonomy_drv_bund_v2, thresholds=risk_v0

Paraphrase

deterministic: 77, none: 24

Verfahrensableitung

101 Vorgänge tragen eine Sollangabe zur Verfahrensableitung (0 ohne, diese zählen nicht mit). Genauigkeit je Herkunft: content 1.000, hint 1.000, none 1.000. Gezählt wird nur als richtig, was das richtige Verfahren AUF DEM RICHTIGEN WEG findet: "der Kanal hat es gesagt" und "das Formular hat es gesagt" sind verschiedene Leistungen.

Redaktion (P-7)

Der Erkenner-Verbund wurde gegen 81 gelabelte deutsche Verwaltungs-Schnipsel gemessen (corpus/pii_golden). Recall auf den deterministischen Arten: 1.000 (Gate: 1.000), über alle Arten 0.962. NER-Extra: nicht installiert. Precision wird je Art berichtet und NICHT gegated: Überredaktion kostet Nutzbarkeit, Unterredaktion kostet die Daten einer Person.

Spanprüfung (P-8, P-12)

Jede Angabe aus Freitext muss ein wörtliches Zitat UND eine Zeichenposition mitbringen; beide werden unabhängig geprüft. Über 24 Vorgänge mit Freitext: 88 von 88 Fundstellen belegt, 0 verworfen. Verworfen heißt NICHT gerettet: die Angabe fällt weg und der Vorgang rückt Richtung Tier 3. Diese Quote wird berichtet und NICHT gegated - ein Gate darauf würde Druck erzeugen, die Schwelle zu senken, bis die Zahl gut aussieht.

Gründe für Verwerfungen: keine.

Strukturierte Teilmenge (Regressionsidentität)

77 Vorgänge dieses Satzes tragen gar keinen Freitext. Es sind die eingefrorenen Vorgänge des vorigen Satzes, unverändert, und sie müssen exakt dieselben Werte erreichen wie vorher - alles andere wäre eine Änderung an Vorgängen, in denen gar kein Text steht. Zuordnung 1.000, Tier 1.000, False-Clear 0.000, Verfahrensableitung 1.000. Status: unverändert.

Schwellenwert-Review (P-5, par. 88 Abs. 5 Nr. 4 AO analog)

Jede Zahl, die entscheidet, welche Vorgänge ein Mensch nie sieht - mit Herkunft und gemessenem Arbeitspunkt. Nächster Review: 2026-11-30. Der Hinweis ist informativ und ändert keinen Exit-Code.

Zuordnungsvorschlag (Klassifikator, Teil 06)

Der Klassifikator schlägt eine Organisationseinheit nur für Vorgänge vor, die keine Regel erfasst - in diesem Satz 5. Status: nur Protokoll. Nur Protokoll heißt: der Vorschlag steht im Evidenzsatz und im Journal und wird von der Entscheidungstabelle nicht gelesen - kein Tier und keine Zuständigkeit bewegen sich. Modell intfloat/multilingual-e5-small, Paket nicht installiert. In diesem Lauf nicht ausgeführt (kein Modell geladen); die Messung ist freiwillig und nie Teil eines Gates.

Benachrichtigungen (ADR-005, P-10 Teilstück)

Eingangsbestätigung und Zwischenstand entstehen als Projektion des Vorgangsjournals: received löst die Bestätigung aus, routed den Zwischenstand. Beide sind rein informatorisch (Realakt, kein Verwaltungsakt), beide durchlaufen keine Prüfung durch einen Menschen, und der Text stammt vollständig aus notifications_v1 - kein Sprachmodell. In diesem Lauf: 197 Nachrichten für 101 von 101 Vorgängen. Vorgänge ohne Zuordnung erhalten nur die Bestätigung - das ist die ehrliche Asymmetrie: "wir haben Ihr Anliegen" stimmt immer, "hier ist die zuständige Stelle" noch nicht. Simuliertes Postfach ansehen.

Die Laufzeit ist die Differenz zweier Journal-Zeitstempel, keine Stoppuhr - und sie wird berichtet, nicht gegated: gemessen wird der Lauf auf dieser Maschine. Was zugesichert ist, steht in den Tests: jeder Vorgang erhält genau die Nachrichten, die seine Ereignisse verlangen, und ein erneuter Lauf verschickt nichts nach. Der Rest von P-10 (Alter des ältesten Tier-3-Vorgangs, Laufzeitbudget je Tier) steht in der Bearbeitungsoberfläche unter /review, wo es ein echtes Journal mit Bestätigungen gibt.

Warteschlangen im Goldlauf (Teil 10, P-10 / C-10)

Wie sich die Vorgänge auf die Einheiten verteilen würden, als reine Anzahlen. 101 offene Vorgänge, davon 5 ohne Zuordnung (Zentrale Klärung, par. 16 Abs. 2 SGB I), 2 mit dem Hinweis "Frist läuft" (C-9) und 3 mit der Zwei-Wochen-Frist nach par. 14 SGB IX (C-10).

Nur Anzahlen. Alter und Liegezeit fehlen absichtlich: im Goldlauf hat kein Mensch bestaetigt, jedes Alter waere der Abstand zum Laufzeitpunkt. Die P-6-Quoten (Bestaetigung ohne Aenderung, Liegezeit) brauchen Bestaetigungen und stehen deshalb nur in der Bearbeitungsoberflaeche ueber dem echten Journal.

Vorbereitete Schreiben (ADR-003, ADR-023)

Nach der Tier-Entscheidung: Tier 2 mit Lücken erhält eine Nachforderung, Tier 1 einen Bewilligungsentwurf, Tier 3 bewusst nichts - ein Entwurf für einen Vorgang, den noch niemand gelesen hat, würde das Ergebnis vorwegnehmen. In diesem Lauf: 60 Entwürfe für 101 Vorgänge (47 Nachforderungen, 13 Bewilligungsentwürfe, 41 Vorgänge ohne Entwurf). Der Text stammt vollständig aus drafting_v1 - kein Sprachmodell. Nichts davon wurde versandt: Freigabe, Bearbeitung und Versand sind Teil 10.

Ein unbekannter Platzhalter ist ein harter Fehler und verhindert den Entwurf vollständig - es gibt keinen halben Brief. Die Zeile "nicht aufgelöst" zählt nach, was in den fertigen Schreiben noch nach Platzhalter aussieht; die eigentliche Zusicherung ist eine Eigenschaft in tests/test_draft_rehydrate.py und kein Bericht. Die Entwürfe selbst enthalten Personendaten und stehen deshalb nur unter /drafts/{case_id}, nicht im Journal und nicht in diesem Bericht.

Schatten-Scorer (ADR-004, ADR-024)

Betriebsart log_only: 15 von 101 Vorgängen markiert bei Schwelle 0.86 (anomaly_gold_v4_v1, Merkmalssatz fsv_v1, Referenzbestand gold_v4). Im Protokollbetrieb bewegt der Scorer kein einziges Tier - die Entscheidungstabelle notiert, was ein Downgrade getan hätte, und wendet nichts an.

Der Score ist ein Perzentil im Referenzbestand: 0.99 heißt "auffälliger als 99 Prozent des Referenzbestands", nicht "zu 99 Prozent auffällig". Jede Markierung trägt mindestens eine Merkmalsbegründung mit Beobachtung, Referenzbereich und Beitrag - das ist das einzige Scorer-Ergebnis, das einen Lauf scheitern lässt. Zwei der neun gekennzeichneten Vorgänge sind für diesen Scorer bauartbedingt unerreichbar: sie hängen an Geburtsdatum und Versicherungsnummer, die vor dem Scorer versiegelt werden.

Verzerrungsbeobachtung (P-2)

Markierungsquote und mittlerer Merkmalsbeitrag je Verfahren, Kanal und Vorgangsform. Nur Bericht, kein Gate: ein Alarm, der einen Lauf scheitern lässt, bringt Menschen dazu, den Alarm zu justieren.

Schiefe (höchste durch niedrigste Quote, nur Gruppen ab 5 Vorgängen): procedure 3.04 (über dem Richtwert 3.0), channel ohne endliches Verhältnis (über dem Richtwert 3.0), shape ohne endliches Verhältnis (über dem Richtwert 3.0). Der Kanal ist bewusst kein Merkmal des Scorers - auf jedem konfigurierten Eingangsweg ist er eine Funktion der Vorgangsform -, steht hier aber als Dimension, damit eine systematische Benachteiligung von Papiereingängen sichtbar wird statt vermutet.

Auffällige Teilmenge

9 Vorgänge sind als statistisch auffällig, aber regelkonform markiert. Tier-Übereinstimmung: 1.000. Diese Vorgänge tragen das Tier, das die heutigen Regeln erzeugen; der Shadow-Scorer aus Teil 06 soll sie anheben, nicht bestätigen. Die Zahl ist darum ein Ausgangswert, keine Qualitätsaussage.