Een confidencescore is geen kans dat het antwoord klopt

Een claimsmanager legde een dossier op tafel: een stormschade aan een woonhuis, met een offerte en foto's. Het systeem had de documenten gelezen, de claim onder de verkeerde dekking ingedeeld en aangemaakt met een reservecategorie, het label voor het geld dat opzij wordt gezet om de claim te betalen, die voor dit product niet meer bestond. De claim ging ongecontroleerd naar de wachtrij van een behandelaar. De log toonde een confidence van 0,97. "Als het 97% zeker was," vroeg hij, "waarom zat het dan fout?"

Het was nooit 97% zeker van iets. Het was een score die het model over zijn eigen uitvoer gaf. Die hing ruwweg samen met goed zitten, zoals het gevoel van zekerheid bij een mens, maar het was geen gemeten kans. Voor dit product, een maand nadat de polisvoorwaarden waren gewijzigd, was het niet eens een bruikbare hint.

Na dat gesprek gebruikten we geen confidencedrempels meer om te bepalen welke gevallen de controle overslaan. Wat ervoor in de plaats kwam, is omslachtiger en veel makkelijker te controleren.

Vlotte systemen klinken zeker

Nieuw is dit niet. In "On Calibration of Modern Neural Networks" (ICML 2017) lieten Guo en collega's zien dat moderne diepe netwerken neigen naar overmoed: de opgegeven confidence ligt boven de nauwkeurigheid. Xiong en collega's vonden op ICLR 2024 dat taalmodellen hun confidence op verzoek overschatten en ophopen bij hoge waarden, goed of fout.

Binnen een organisatie wordt het erger. De gevallen die een model fout doet, zien er meestal heel gewoon uit: een bekende tussenpersoon met een product dat vorige week is gelanceerd, of een offerte onder een dekking die vorige maand in tweeën is gesplitst. Niets in de invoer zegt dat de wereld is veranderd, dus het zelfbeeld van het model verandert ook niet. Zelfverzekerde fouten zijn geen zeldzame uitschieter; zo faalt een vlot systeem als het bedrijf stilletjes verschuift.

Er is een terecht bezwaar. Onderzoekers van Anthropic lieten in 2022 in "Language Models (Mostly) Know What They Know" zien dat grote modellen bij sommige vraagvormen goed gekalibreerd kunnen zijn, hun opgegeven confidence klopt dan met hoe vaak ze goed zitten, en dat een eenvoudige correctie veel van de rest wegneemt. Hetzelfde artikel vond dat dit gevoel slecht was bij soorten vragen waarop het model niet was afgestemd. Dat was onze situatie. U kunt een score bijstellen op de claims van vorig kwartaal; de dure fout komt met de formulering van volgende maand, voordat er data is om bij te stellen.

Controle overslaan is een toestemming per soort geval

Daarom vervingen we de drempel door een toestemming per soort geval: een type claim, per kanaal en productlijn. Een soort geval verdient die met gecontroleerde gevallen van de verzekeraar zelf: een minimumreeks opeenvolgende gevallen, door een mens gecontroleerd, zonder fouten in de velden die geld bewegen (hier de dekking en de reservecategorie), en met elke onafhankelijke controle geslaagd. De claims lead legt de lengte van die reeks voor de livegang vast. Vastgelegd worden datum, gevallen en de versies van model en regels. Zeldzame combinaties worden gebundeld, omdat de meeste alleen nooit genoeg gevallen zouden verzamelen.

Een tussenpersoon of productlijn die het systeem nog niet kent, heeft geen toestemming, dus de eerste claims worden altijd gecontroleerd, hoe netjes ze er ook uitzien. Dat alleen haalde een flink deel van onze zelfverzekerde fouten weg, want bij nieuwe producten en formulieren stapelen stille misinterpretaties zich op.

Het verandert ook het gesprek. Niemand op een schadeafdeling wil over kalibratiecurves discussiëren, maar een manager kan vragen om een toestemming, de gevallen erachter en wat haar zou intrekken.

Bewijs komt uit controles die hadden kunnen falen

Het beste bewijs dat een antwoord klopt, komt uit controles die zelf kunnen falen, niet van het model. Bij een woonhuisclaim zijn ze alledaags, en dat is hun waarde. Liep de polis op de schadedatum? Zit de voorgestelde dekking op deze polis, en tellen de regels van de offerte op tot het totaal? Past de reservecategorie bij product en schadetype, en is ze eerder gebruikt voor dit soort schade? Allemaal gewone code, goedkoop, opgeslagen bij het geval.

Met toestemming gaat een claim die alles doorstaat door, zonder dat iemand naar de score kijkt. Eén mislukte controle stuurt hem naar een behandelaar, wat de score ook is. De score hielden we voor één taak: hij bepaalt de volgorde van de controlewachtrij, laagste eerst, zodat de twijfelgevallen worden gelezen terwijl mensen fris zijn.

Wat een fout kost, gaat boven nauwkeurigheid

Een toestemming zegt hoe vaak een soort geval klopt, niet wat een fout kost. Een glasclaim met de verkeerde reservecategorie wordt bij de volgende controle hersteld; buiten het team merkt niemand het. Een claim die als zaakschade loopt terwijl de documenten letsel noemen, kan een termijn missen die telt voor klant en verzekeraar.

Sommige beslissingen slaan de controle dus nooit over, met of zonder toestemming: elke claim die letsel noemt, reserves boven een grens die de claims lead bepaalt, claims die passen bij de indicatoren van het fraudeteam, en claims op polissen die pas dagen voor de schade begonnen. Geen bericht dat een claim niet gedekt is, gaat zonder een mens de deur uit. Het systeem bereidt deze gevallen volledig voor, en een mens beslist.

De beste soorten gevallen vragen het scherpste toezicht

De fouten die tot een uitkering komen, komen zelden uit rommelige soorten gevallen. Die falen bij controles en worden opgemerkt. De schade komt uit soorten gevallen die al maanden betrouwbaar zijn. Beoordelaars zien ze niet meer, en als een tussenpersoon zijn formulier verandert of voorwaarden worden herzien, beweegt het zelfbeeld van het model niet. De betrouwbaarheid nam juist de waarneming weg die de verandering had opgemerkt.

Stripes inleiding over machine learning voor fraudedetectie beschrijft het spiegelbeeld: als een betaling is geblokkeerd, hoort niemand of het fraude was, dus de echte nauwkeurigheid van het model daar is alleen te schatten. Controle overslaan heeft dezelfde blinde vlek: als een geval is doorgegaan, hoort niemand of het klopte, tot er iets misgaat.

Daarom stuurt elke soort geval met toestemming blijvend een kleine willekeurige steekproef naar controle. En vier gebeurtenissen trekken een toestemming automatisch in: een bevestigde fout bij een doorgegaan geval; elke wijziging in model of regels, nieuwe polisvoorwaarden inbegrepen; een nieuwe opmaak van een formulier, herkend door de documentstructuur te vergelijken met bekende opmaken; en claims via een kanaal waarop de toestemming niet is verdiend, zoals een nieuw portaal voor tussenpersonen. De kanaalregel hielden we ondanks de frictie: een nieuw portaal verandert het uiterlijk van documenten meer dan iemand verwacht. Vervalt een toestemming, dan is er niets kapot. Het systeem heeft gemerkt dat zijn bewijs verouderd is.

Toestemmingen worden verdiend op actuele gevallen, nooit op een testset, die een momentopname van het verleden is. En de claimsmanager krijgt geen enkel nauwkeurigheidscijfer, dat door de grootste claimtypes zou worden gedomineerd en zou verbergen waar fouten zich ophopen. Hij krijgt de soorten gevallen met toestemming, de gevallen erachter en elke zelfverzekerde fout sinds het vorige rapport.

Eén vraag beslist

Als iemand ons een systeem laat zien dat op modelconfidence stuurt, stellen we één vraag. Hoeveel van de gevallen die vorige maand ongecontroleerd doorgingen, bleken fout, en van welke soort? Zolang dat getal er niet is, per soort geval, weet u van het systeem alleen hoe zeker het klinkt.