Elk model wordt uitgefaseerd: uw lock-in zit in uw testset

De klinisch verantwoordelijke van een AI-gezondheidscompanion die wij draaien voor vrouwen in de overgang, stuurde de e-mail door met één regel erboven: kunnen we gewoon overstappen? Daaronder kondigde onze modelaanbieder aan dat de versie waarop de companion draaide, over een paar maanden op een vaste datum zou verdwijnen. De aanbevolen opvolger was nieuwer, sneller en beter op elke gepubliceerde benchmark.

Dezelfde middag lieten we de opvolger los op de acceptatieset van de companion: echte berichten waarvan we het juiste antwoord al kennen. De totale nauwkeurigheid ging omhoog. Maar het nieuwe model stuurde sommige berichten minder vaak door naar het portaal voor clinici, maakte de samenvattingen korter, waardoor details wegvielen waarop zij vertrouwden, en vulde een ontbrekend detail in het bericht van een gebruiker eerder in met een plausibele gok. In een gezondheidsproduct zit daar het risico.

Vastzitten aan een model heeft dus minder te maken met het contract van de aanbieder dan met één vraag: bezit u een set echte, gecontroleerde gevallen waarmee een opvolger binnen een paar dagen te testen is? Zonder zo'n set blijft een werkproces waar het is, tot de uitfaseringsdatum een overhaaste overstap afdwingt.

Elk gehost model heeft een uitfaseringsdatum. Anthropic schrijft in "Commitments on model deprecation and preservation" (november 2025) dat het uitfaseren van oudere modellen op dit moment nodig is om nieuwe beschikbaar te maken, en verplicht zich om de gewichten van alle publiek uitgebrachte modellen te bewaren. Bewaarde gewichten zijn geen blijvende toegang.

Zet de exacte versie vast, met alles wat erop is afgestemd

Aanbieders bieden een algemene naam die altijd naar hun nieuwste model wijst. Dat is gevaarlijk: het model erachter kan veranderen zonder dat u iets wijzigt. Een lopend werkproces noemt één exacte, gedateerde versie en zet die vast, samen met alles wat erop is afgestemd: de instructies, het verwachte uitvoerformaat, de instellingen en elke grenswaarde die bepaalt waar een geval heen gaat. Dat pakket verandert alleen als geheel, en terugdraaien zet alles terug: een oud model onder nieuwe instructies is een combinatie die niemand heeft getest.

De prijs is dat een vastgezet model geen latere verbeteringen van de aanbieder krijgt. Voor alles wat bij een clinicus of een gebruiker terechtkomt, is die ruil het waard. Een aanbieder die geen vaste versies met een tijdige aankondiging biedt, krijgt geen werk met echte gevolgen. Yan, Bischof, Frye, Husain, Liu en Shankar geven in "What We Learned from a Year of Building with LLMs" (O'Reilly, mei 2024) hetzelfde advies, met als voorbeeld een team waarvan de intentclassificatie zo'n 10% slechter werd bij de overstap tussen twee versies van hetzelfde model.

Houd het model vervangbaar

Het werkproces praat nooit direct met een model, maar met een kleine, vaste koppeling per taak, zoals "vat dit bericht samen voor het portaal voor clinici", met een vaste invoer en uitvoer waartegen elk antwoord wordt gecontroleerd. Verder weet niets welk model er draait. Een overstap is dus een wijziging op één plek, en twee modellen kunnen naast elkaar draaien.

Beoordeel een opvolger op wat hij nieuw fout doet

Een kandidaat draait op de acceptatieset en daarna op recente echte gevallen met een bekende uitkomst. De totaalscore telt het minst; twee dingen tellen meer.

Ten eerste: welke gevallen het oude model goed had en het nieuwe fout, en waar die zitten. Een opvolger die gemiddeld beter is, maar nieuw fout zit bij berichten in één taal of bij berichten die een clinicus moeten bereiken, gaat pas live als die gevallen zijn opgelost.

Ten tweede: hoe vaak het nieuwe model anders antwoordt dan het oude, goed of fout. De nauwkeurigheid kan stijgen terwijl veel antwoorden veranderen, omdat het nieuwe model oude fouten oplost en elders nieuwe maakt. Een clinicus die heeft geleerd welke berichten het systeem slecht samenvat, merkt dat dat lijstje stilletjes is veranderd. Veel gewijzigde antwoorden betekent een langere proefperiode en uitleg voor de beoordelaars.

Alleen gevallen waarin de twee modellen verschillen, hebben een mens nodig. De klinisch verantwoordelijke beoordeelt die verschillen, gegroepeerd per soort, en keurt de overstap goed zoals zij de oorspronkelijke start goedkeurde.

Grenswaarden gaan niet mee

Elke grenswaarde, zoals de score waaronder een bericht naar een clinicus gaat, is ingesteld op het oude model. Een nieuw model verdeelt zijn scores anders. Daarom wordt elke grenswaarde opnieuw ingesteld op de testgevallen, en ook dat keurt de klinisch verantwoordelijke goed.

Elke waarde wijst naar haar bron

Het gevaarlijkste verschil die middag was het gegokte detail, want een plausibele verzonnen waarde komt door elke formaatcontrole. Daarom moet elke waarde die een model uitleest, wijzen naar de exacte passage in het bericht, en controleert het systeem of ze daar staat. Een waarde zonder vindplaats telt als ontbrekend. De controle werkt bij elk model, dus het gokken van een nieuw model wordt een zichtbare uitzondering.

Eerst parallel draaien, en terugrekenen vanaf de datum

Na de test draait de kandidaat parallel mee op echte berichten, lang genoeg om de gebruikelijke variatie te zien. Zijn antwoorden worden veld voor veld vergeleken, niets bereikt een gebruiker, en de echte kosten per geval worden zichtbaar.

De echte deadline is de laatste dag waarop het werk kan beginnen en toch veilig klaar is: uitfaseringsdatum, min goedkeuring, min de parallelle periode, min het testen. Bij een product als de companion valt die dag vaak maar een paar weken na de e-mail van de aanbieder. De overdracht legt die berekening vast.

Een uitfasering is ook een goedkoop moment om te vragen of de taak dit model nog nodig heeft. Soms haalt een kleiner model dezelfde gevallen voor minder geld, of kan gewone code een stap nu overnemen.

Een beter model is een riskantere overstap

Is een nieuw model duidelijk sterker, dan ontspannen de beoordelaars en wil de opdrachtgever snel over. Een zwakke opvolger zakt voor de test en wordt verbeterd. Een sterke slaagt, en zijn paar nieuwe fouten vallen waar het oude model betrouwbaar was en de controle allang was gestopt. Daarom krijgen de eerste weken na een overstap meer controle, gericht op de gevallen waarvan de antwoorden het meest veranderden.

De testset veroudert sneller dan het model

Een testset van bij de start beschrijft het bedrijf van dat jaar, en dat verandert. Daarom wordt hij steeds ververst vanuit het dagelijkse werk: elk geval dat een mens corrigeerde, is een kandidaat, en elk kwartaal voegen de eigenaren recente gevallen toe en halen ze gevallen weg die niet meer voorkomen.

Met een actuele set is een overstap een kwestie van dagen. Zonder set is het een project dat steeds wordt uitgesteld: dat is lock-in. Een laag die met veel aanbieders verbindt, doet minder voor de onafhankelijkheid van een bedrijf dan die set, actueel gehouden en met benoemde eigenaren.

De uitweg hoort bij de overdracht

Opnieuw testen is een post in de lopende kosten, minstens één keer per jaar, en het team van de klant doet het zonder ons. De overdracht noemt elk model dat de test heeft doorstaan; waar de hostingregels het toelaten, is er één een open model dat de klant op eigen servers kan draaien. Ze legt de aankondigingstermijn van de aanbieder en de terugrekening vast. En de overstap wordt één keer geoefend, op een echte kandidaat, terwijl de bouwers er nog zijn.

Twee dingen weigeren we: upgraden omdat publieke benchmarks beter werden, want daar zit geen enkel geval van de klant in; en het bijtrainen van een gehost model, tenzij de klant accepteert dat de aangepaste versie verdwijnt met het model waarop ze is gebouwd.

Als de volgende e-mail over uitfasering binnenkomt, reken dan terug naar de laatste veilige startdatum en zet die in de agenda.