Ein Konfidenzwert ist keine Trefferwahrscheinlichkeit

Ein Schadenleiter legte uns eine Akte vor. Ein Sturmschaden an einem Wohngebäude war mit dem Kostenvoranschlag eines Handwerksbetriebs und einer Seite Fotos eingegangen. Das System hatte die Dokumente gelesen, den Schaden der falschen Deckungssparte zugeordnet und ihn mit einer Reservekategorie angelegt, die es für dieses Produkt gar nicht mehr gab. Der Fall ging ohne Prüfung direkt in die Queue eines Sachbearbeiters. Im Log stand neben der Entscheidung eine Konfidenz von 0,97. „Wenn das System zu 97 Prozent sicher war“, fragte er, „warum lag es dann daneben?“

Es war sich nie zu 97 Prozent sicher, bei gar nichts. Die Zahl war ein Wert, den das Modell zu seiner eigenen Ausgabe erzeugt hatte. Über viele Schäden hinweg hing er mit richtigen Ergebnissen zusammen, ähnlich wie das Gefühl von Sicherheit bei einem Menschen. Eine gemessene Wahrscheinlichkeit war er nicht. Und für dieses Produkt, nachdem die Bedingungen im Vormonat geändert worden waren, taugte er nicht einmal als Anhaltspunkt.

Nach diesem Gespräch haben wir aufgehört, die Dunkelverarbeitung, also die Bearbeitung ohne manuelle Prüfung, über Konfidenzschwellen zu steuern. Was wir stattdessen tun, ist weniger elegant und deutlich leichter zu prüfen.

Wer flüssig formuliert, klingt sicher

Das Problem ist gut belegt. In „On Calibration of Modern Neural Networks“ (ICML 2017) zeigten Guo und Kollegen, dass moderne tiefe neuronale Netze sich systematisch überschätzen: Die ausgegebene Konfidenz liegt über der tatsächlichen Genauigkeit. Untersuchungen zu Sprachmodellen weisen in dieselbe Richtung. Xiong und Kollegen stellten auf der ICLR 2024 fest, dass Modelle, die ihre Konfidenz selbst angeben sollen, sie tendenziell zu hoch ansetzen und sich bei hohen Werten häufen, gleich ob sie richtig liegen oder nicht.

Im laufenden Betrieb verschärft sich der Effekt aus einem strukturellen Grund. Fälle, in denen ein Modell danebenliegt, sehen meist unauffällig aus: ein bekannter Makler, der ein neu eingeführtes Produkt einreicht, ein sauberer Kostenvoranschlag, zugeordnet zu einer Deckungssparte, die im Vormonat in zwei geteilt wurde. Nichts in den Eingangsdaten verrät, dass sich etwas geändert hat, also ändert sich auch die Selbsteinschätzung des Modells nicht. Selbstsichere Fehler sind deshalb keine seltenen Ausreißer. Sie sind die typische Fehlerform eines Systems, das flüssig formuliert, während sich das Geschäft unbemerkt verändert.

Es gibt einen berechtigten Einwand. Forscher von Anthropic zeigten 2022 in „Language Models (Mostly) Know What They Know“, dass große Modelle bei manchen Frageformaten gut kalibriert sein können und dass eine einfache Anpassung einen Großteil der verbleibenden Fehlkalibrierung behebt. Dieselbe Arbeit stellte fest, dass die Einschätzung des Modells, ob es eine Antwort kennt, bei Fragetypen, auf die es nicht abgestimmt war, schlecht kalibriert war. Genau das ist unsere Lage. Einen Wert kann man an den Schäden des letzten Quartals neu kalibrieren. Die Fehlkalibrierung, die Geld kostet, kommt mit den neuen Bedingungen im nächsten Monat, bevor irgendjemand die Daten hat, um neu zu kalibrieren.

Dunkelverarbeitung wird je Segment zugelassen

Wir geben dem System keine Schwelle vor. Wir erteilen jedem Segment eine Zulassung. Ein Segment ist eine Schadenart, kombiniert mit dem Eingangskanal und der Produktlinie. Für die Dunkelverarbeitung zugelassen wird es nur, wenn die geprüften Fälle des Versicherers drei Bedingungen erfüllen: eine Mindestzahl aufeinanderfolgender, von Menschen geprüfter Fälle, darunter kein einziger Fehler in einem zahlungsrelevanten Feld, hier also Deckungssparte und Reservekategorie, und bei jedem dieser Fälle alle unabhängigen Prüfungen bestanden. Die Mindestzahl legt die Leitung der Schadenabteilung vor dem Go-live fest. Jede Zulassung wird in der Vorgangsdatenbank dokumentiert, mit Datum, den zugrunde liegenden Fällen und den eingesetzten Versionen von Modell und Regelwerk. Kombinationen mit wenig Volumen werden zu einem Segment zusammengefasst, weil allein die wenigsten je eine Zulassung erreichen würden.

Eine Produktlinie oder ein Makler, die zum ersten Mal auftauchen, haben keine Zulassung. Ihre ersten Schäden werden also immer geprüft, so sauber sie auch aussehen. Allein diese Folge beseitigt einen großen Teil der selbstsicheren Fehler, die wir früher gesehen haben, denn unbemerkte Fehllesungen häufen sich bei neuen Produkten und neuen Formularen.

Das verändert auch das Gespräch. In der Schadenabteilung möchte niemand über Kalibrierungskurven diskutieren. Eine Zulassung dagegen kann sich eine Führungskraft zeigen lassen, zusammen mit den Fällen, auf denen sie beruht, und den Ereignissen, die sie wieder entziehen würden.

Belastbar sind Prüfungen, die auch hätten scheitern können

Der beste Beleg dafür, dass eine Antwort stimmt, kommt selten von dem Modell, das sie erzeugt hat. Er kommt aus Prüfungen, die jede für sich hätten fehlschlagen können.

Bei einem Sachschaden sind diese Prüfungen konkret. Die Versicherungsnummer führt zu einem Vertrag, der am Schadentag in Kraft war. Der Anspruchsteller ist der Versicherungsnehmer oder eine im Vertrag genannte Person. Die vorgeschlagene Deckungssparte ist in diesem Vertrag tatsächlich enthalten. Die Positionen des Kostenvoranschlags ergeben seine Summe. Die Reservekategorie ist für dieses Produkt und diese Schadenart gültig und wurde für diese Art von Schaden schon verwendet. Jede Prüfung ist deterministisch und kostet wenig, und jedes Ergebnis wird am Vorgang festgehalten.

In einem zugelassenen Segment läuft ein Schaden, der alle diese Prüfungen besteht, durch, ohne dass jemand auf den Konfidenzwert schaut. Eine einzige gescheiterte Prüfung legt ihn einem Sachbearbeiter vor, und eine 0,99 daneben ändert daran nichts. Am Ende haben wir den Wert doch für etwas behalten: Er bestimmt die Reihenfolge der Prüf-Queue, niedrigste Werte zuerst, damit die zweifelhaften Fälle gelesen werden, solange die Leute noch frisch sind.

Die Tragweite zählt mehr als die Trefferquote

Eine Zulassung sagt, wie oft ein Segment richtig liegt. Sie sagt nichts darüber, was ein Fehler kostet. Eine falsche Reservekategorie bei einem kleinen Glasschaden korrigiert der Sachbearbeiter bei der nächsten Durchsicht. Ein Schaden, der als Sachschaden läuft, obwohl in den Dokumenten eine Verletzung erwähnt wird, kann eine Frist verpassen, die für den Kunden und den Versicherer zählt.

Manche Entscheidungen laufen deshalb nie ohne Prüfung durch, ganz gleich, was die Zulassung sagt: jeder Schaden, in dem eine Verletzung erwähnt wird, Reserven über einem von der Schadenleitung festgelegten Limit, Schäden, die auf die Indikatoren des Betrugsteams passen, Schäden an Verträgen, die erst wenige Tage vor dem Schaden begonnen haben, und alles, was einem Kunden mitteilen würde, dass sein Schaden nicht gedeckt ist. Das System bereitet diese Fälle vollständig vor. Entscheiden muss ein Mensch.

Die zuverlässigsten Segmente brauchen die engste Kontrolle

Fehler, die bis zur Regulierung durchgehen, stammen selten aus unsauberen Segmenten. Unsaubere Schäden fallen bei den Prüfungen durch und landen in der manuellen Prüfung, wo Menschen die Fehler finden. Die schädlichen Fehler kommen aus Segmenten, die seit Monaten zuverlässig laufen. Sie sind zugelassen, niemand schaut mehr hin, und wenn ein Makler sein Schadenformular ändert oder das Produktteam die Bedingungen überarbeitet, bleibt die Selbsteinschätzung des Modells unverändert. Gerade die Zuverlässigkeit beseitigt die Kontrolle, die die Änderung bemerkt hätte. Stripe beschreibt das Spiegelbild davon in seinem Leitfaden zu maschinellem Lernen in der Betrugserkennung: Ist eine Zahlung einmal blockiert, erfährt niemand mehr, ob sie betrügerisch war, sodass sich die tatsächliche Genauigkeit des Modells oberhalb der Schwelle nur schätzen lässt. Die Dunkelverarbeitung hat denselben blinden Fleck auf der anderen Seite. Läuft ein Fall einmal ungeprüft durch, erfährt niemand, ob er richtig war, bis etwas schiefgeht.

Deshalb geht aus jedem zugelassenen Segment dauerhaft eine kleine Zufallsstichprobe in die Prüfung, und vier Ereignisse entziehen eine Zulassung automatisch: ein bestätigter Fehler in der Dunkelverarbeitung; jede Änderung am Modell oder an den Klassifizierungsregeln, auch neue Versicherungsbedingungen; ein neuer Formularaufbau, erkannt durch den Vergleich jedes Dokuments mit den bisher bekannten Layouts; und Schäden dieser Art, die über einen Kanal eingehen, für den die Zulassung nicht erworben wurde, etwa ein neues Maklerportal. Über die Kanalregel haben wir lange diskutiert, weil sie bei jedem neuen Portal Aufwand erzeugt. Wir haben sie behalten. Ein neues Portal verändert das Aussehen der Dokumente stärker, als man erwartet. Wenn eine Zulassung entfällt, hat nichts versagt; das System hat bemerkt, dass seine Nachweise veraltet sind.

Zulassungen werden an aktuellen Fällen aus dem Produktivbetrieb erworben und gehalten, nicht am Abnahmedatensatz, der nur eine Momentaufnahme der Vergangenheit ist. Und die Schadenleitung sieht nie eine einzige Genauigkeitszahl für das ganze System, denn die wird von den größten Schadenarten bestimmt und verdeckt die Segmente, in denen sich Fehler häufen. Sie sieht die zugelassenen Segmente, die Fälle hinter jeder Zulassung und jeden selbstsicheren Fehler seit dem letzten Bericht.

Eine Frage genügt

Wenn uns jemand ein System zeigt, das über Modellkonfidenz steuert, fragen wir: Wie viele Fälle, die im letzten Monat ohne Prüfung durchgelaufen sind, haben sich später als falsch erwiesen, und in welchen Segmenten? Solange es diese Zahl nicht gibt, Segment für Segment, weiß man über das System nur, wie sicher es klingt, nicht wie genau es ist.