Ein Konfidenzwert ist keine Trefferwahrscheinlichkeit

Ein Schadenleiter legte uns eine Akte vor: ein Sturmschaden an einem Wohngebäude, mit Kostenvoranschlag und Fotos. Das System hatte die Dokumente gelesen, den Schaden der falschen Deckungsart zugeordnet und ihn mit einer Reservekategorie angelegt, also der Bezeichnung für das zur Zahlung zurückgelegte Geld, die es für dieses Produkt nicht mehr gab. Der Fall ging ungeprüft in die Warteschlange eines Sachbearbeiters. Im Protokoll stand eine Konfidenz von 0,97. „Wenn das System zu 97 Prozent sicher war“, fragte er, „warum lag es dann daneben?“

Es war sich nie zu 97 Prozent sicher. Es war ein Wert, den das Modell über seine eigene Ausgabe erzeugte. Er hing grob damit zusammen, ob es richtig lag, so wie das Gefühl von Gewissheit bei einem Menschen, aber er war keine gemessene Wahrscheinlichkeit. Für dieses Produkt, einen Monat nach einer geänderten Versicherungsbedingung, war er nicht einmal ein brauchbarer Hinweis.

Nach diesem Gespräch haben wir keine Konfidenzschwellen mehr genutzt, um zu entscheiden, welche Fälle die Prüfung überspringen. Was sie ersetzt hat, ist umständlicher und viel leichter zu prüfen.

Flüssige Systeme klingen sicher

Neu ist das nicht. In „On Calibration of Modern Neural Networks“ (ICML 2017) zeigten Guo und Kollegen, dass moderne tiefe Netze zu Selbstüberschätzung neigen: Die angegebene Konfidenz liegt über der Trefferquote. Xiong und Kollegen fanden auf der ICLR 2024, dass Sprachmodelle ihre Konfidenz auf Nachfrage überschätzen und sich bei hohen Werten ballen, ob sie richtig liegen oder nicht.

Im Betrieb wird es schlimmer. Die Fälle, die ein Modell falsch löst, sehen meist völlig normal aus: ein vertrauter Makler mit einem Produkt, das letzte Woche eingeführt wurde, oder ein Kostenvoranschlag unter einer Deckungsart, die letzten Monat zweigeteilt wurde. Nichts in der Eingabe sagt, dass sich die Welt verändert hat, also ändert sich auch das Selbstbild des Modells nicht. Selbstsichere Fehler sind keine seltene Ausnahme; so scheitert ein flüssiges System, wenn sich das Geschäft still verschiebt.

Es gibt einen berechtigten Einwand. Forschende von Anthropic zeigten 2022 in „Language Models (Mostly) Know What They Know“, dass große Modelle bei manchen Frageformaten gut kalibriert sein können, ihre angegebene Konfidenz also zur Trefferquote passt, und dass eine einfache Anpassung viel vom Rest behebt. Dasselbe Papier fand, dass dieses Gespür bei Fragearten schlecht war, auf die das Modell nicht abgestimmt war. Genau das war unsere Lage. Man kann einen Wert an den Schäden des letzten Quartals nachjustieren; der teure Fehler kommt mit der Formulierung des nächsten Monats, bevor es Daten zum Nachjustieren gibt.

Ohne Prüfung durchlaufen ist eine Freigabe je Fallart

Wir haben die Schwelle deshalb durch eine Freigabe je Fallart ersetzt: eine Schadenart, nach Eingangskanal und Produktlinie. Eine Fallart erwirbt sie an geprüften Fällen des Versicherers: eine Mindestzahl aufeinanderfolgender Fälle, von einem Menschen geprüft, ohne Fehler in den Feldern, die Geld bewegen (hier Deckungsart und Reservekategorie), und mit jeder unabhängigen Prüfung bestanden. Die Leitung der Schadenabteilung legt die Länge dieser Reihe vor dem Start fest. Festgehalten werden Datum, Fälle sowie Modell- und Regelversionen. Seltene Kombinationen werden gebündelt, weil die meisten allein nie genug Fälle sammeln würden.

Ein Makler oder eine Produktlinie, die das System noch nicht kennt, hat keine Freigabe, also werden die ersten Schäden immer geprüft, wie ordentlich sie auch aussehen. Das allein beseitigte einen guten Teil unserer selbstsicheren Fehler, denn bei neuen Produkten und Formularen häufen sich stille Fehllesungen.

Es verändert auch das Gespräch. Niemand in der Schadenabteilung will über Kalibrierungskurven streiten, aber eine Führungskraft kann sich eine Freigabe zeigen lassen, die Fälle dahinter und was sie entziehen würde.

Belege kommen aus Prüfungen, die hätten scheitern können

Der beste Beleg, dass eine Antwort stimmt, kommt aus Prüfungen, die selbst scheitern könnten, nicht vom Modell. Bei einem Wohngebäudeschaden sind sie unspektakulär, und genau das ist ihr Wert. Bestand die Police am Schadentag? Ist die vorgeschlagene Deckung Teil dieser Police, und ergeben die Positionen des Kostenvoranschlags seine Summe? Passt die Reservekategorie zu Produkt und Schadenart, und wurde sie für diese Art Schaden schon verwendet? Alles einfacher Code, günstig im Betrieb, mit dem Fall gespeichert.

Mit Freigabe läuft ein Schaden, der alle Prüfungen besteht, durch, ohne dass jemand auf den Wert schaut. Eine einzige gescheiterte Prüfung schickt ihn an einen Sachbearbeiter, egal wie hoch der Wert ist. Den Wert haben wir für eine Aufgabe behalten: Er sortiert die Prüfwarteschlange, niedrigster zuerst, damit die zweifelhaften Fälle gelesen werden, solange die Leute frisch sind.

Was ein Fehler kostet, schlägt die Genauigkeit

Eine Freigabe sagt, wie oft eine Fallart richtig liegt, nicht, was ein Fehler kostet. Ein Glasschaden mit falscher Reservekategorie wird bei der nächsten Prüfung korrigiert; außerhalb des Teams merkt es niemand. Ein Schaden, der als Sachschaden läuft, obwohl die Dokumente eine Verletzung erwähnen, kann eine Frist verpassen, die für Kunden und Versicherer zählt.

Manche Entscheidungen überspringen die Prüfung deshalb nie, mit oder ohne Freigabe: jeder Schaden, der eine Verletzung erwähnt, Reserven über einer Grenze, die die Leitung der Schadenabteilung festlegt, Schäden, die auf die Indikatoren des Betrugsteams passen, und Schäden an Policen, die erst wenige Tage vor dem Schaden begannen. Keine Mitteilung, dass ein Schaden nicht gedeckt ist, geht ohne einen Menschen hinaus. Das System bereitet diese Fälle vollständig vor, und ein Mensch entscheidet.

Die besten Fallarten brauchen den genauesten Blick

Die Fehler, die bis zur Regulierung kommen, stammen selten aus unordentlichen Fallarten. Die scheitern an Prüfungen und werden erkannt. Der Schaden kommt aus Fallarten, die seit Monaten zuverlässig sind. Die Prüfenden sehen sie nicht mehr, und wenn ein Makler sein Formular ändert oder eine Bedingung überarbeitet wird, bewegt sich das Selbstbild des Modells nicht. Die Zuverlässigkeit hat genau die Beobachtung beseitigt, die die Änderung bemerkt hätte.

Stripes Einführung zu maschinellem Lernen in der Betrugserkennung beschreibt das Spiegelbild: Ist eine Zahlung blockiert, erfährt niemand, ob es Betrug war, also lässt sich die echte Genauigkeit des Modells dort nur schätzen. Das Überspringen der Prüfung hat denselben blinden Fleck: Ist ein Fall durchgelaufen, erfährt niemand, ob er richtig war, bis etwas bricht.

Deshalb schickt jede Fallart mit Freigabe dauerhaft eine kleine Zufallsstichprobe in die Prüfung. Und vier Ereignisse entziehen eine Freigabe automatisch: ein bestätigter Fehler bei einem durchgelaufenen Fall; jede Änderung an Modell oder Regeln, eine neue Versicherungsbedingung eingeschlossen; ein neuer Formularaufbau, erkannt durch Vergleich der Dokumentstruktur mit bekannten Aufbauten; und Schäden über einen Kanal, auf dem die Freigabe nicht erworben wurde, etwa ein neues Maklerportal. Die Kanalregel haben wir trotz der Reibung behalten: Ein neues Portal verändert das Aussehen der Dokumente stärker, als man erwartet. Erlischt eine Freigabe, ist nichts ausgefallen. Das System hat bemerkt, dass seine Belege veraltet sind.

Freigaben werden an aktuellen Fällen erworben, nie an einem Testdatensatz, der eine Momentaufnahme der Vergangenheit ist. Und der Schadenleiter bekommt keine einzelne Genauigkeitszahl, die von den größten Schadenarten dominiert würde und verbergen würde, wo sich Fehler häufen. Er bekommt die Fallarten mit Freigabe, die Fälle dahinter und jeden selbstsicheren Fehler seit dem letzten Bericht.

Eine Frage entscheidet

Wenn uns jemand ein System zeigt, das nach Modellkonfidenz steuert, stellen wir eine Frage. Wie viele der Fälle, die letzten Monat ungeprüft durchliefen, waren falsch, und welcher Art? Solange es diese Zahl nicht gibt, Fallart für Fallart, weiß man über das System nur, wie sicher es klingt.