Een agent verdient autonomie per type beslissing

Een AI-agent die orders aanneemt voor een leverancier van IT-hardware, neemt zo'n tien soorten beslissingen. Hij leest de inkooporder. Hij controleert of de configuratie te bouwen is en of het krediet van de klant volstaat. Hij beslist of een levering wordt gesplitst als de monitoren op voorraad zijn en de laptops over twee weken binnenkomen. Hij past de voorwaarden toe die met die klant zijn afgesproken. Een paar weken na de start van de tests op echte orders stelde het hoofd sales operations de vraag die elke sponsor stelt: de agent heeft bijna altijd gelijk en de goedkeuringen houden de orderdesk op, dus wanneer kunnen die eraf?

Sommige van die beslissingen waren al weken juist en in seconden terug te draaien. Andere waren net zo vaak juist, maar legden het bedrijf iets op waar een klant het aan zou houden. Eén schakelaar had ze gelijk behandeld.

Het hoofd kredietbeheer in de zaal had het betere model. Zij beslist niet of klanten in het algemeen op rekening mogen kopen. Ze stelt per klant een limiet in op basis van betaalgedrag, herziet die op een vaste datum, en het account blokkeert automatisch als een factuur openstaat. De handelingsvrijheid van een agent werkt net zo, of hij nu verwijzingen in een ziekenhuis doorstuurt of verzekeringsclaims afhandelt.

Vrijheid hoort bij een type beslissing

We delen beslissingen in typen in, zo smal dat elk geval binnen een type ongeveer even moeilijk is en een fout ongeveer even duur. "Configuratie toetsen aan de bouwregels" is één type. "Levering splitsen" een ander. Elk type krijgt een eigen niveau, vastgelegd met datum, bewijs en de persoon die ermee instemde. De agent als geheel heeft er geen.

Vijf niveaus

1. Voorstellen. De agent stelt voor; een mens doet het werk.
2. Klaarzetten. De agent bereidt de wijziging voor; een mens controleert en geeft haar vrij.
3. Uitvoeren na goedkeuring. De agent voert uit zodra een mens een samenvatting op één scherm goedkeurt. Een ja of nee, geen herwerk.
4. Uitvoeren en rapporteren. De agent voert uit; een benoemde persoon leest een dagrapport en kan alles terugdraaien.
5. Stil uitvoeren. Niemand kijkt, behalve via steekproeven.

Feng, McDonald en Zhang geven in "Levels of Autonomy for AI Agents" (Knight First Amendment Institute, juli 2025) een zorgvuldige schaal van vijf niveaus en kennen een agent één niveau toe. In een operatie is dat te grof: dezelfde agent heeft meerdere niveaus tegelijk nodig.

Het systeem dwingt het niveau af

Een niveau in de instructies van de agent is alleen een verzoek. Het niveau van elk type is daarom een instelling buiten de agent, en die bepaalt welke acties hij überhaupt kan bereiken. Bij voorstellen kan hij alleen lezen. Bij klaarzetten kan hij concepten schrijven, maar niet vrijgeven. Bij uitvoeren na goedkeuring werkt de laatste actie alleen met een goedkeuring voor precies dat voorstel. Een hoger niveau loopt via de normale wijzigingsgoedkeuring van de klant, en de agent kan zich niet omhoogpraten, omdat de actie die hij nodig heeft er niet is.

Omhoog vraagt vier soorten bewijs

Een type gaat één niveau omhoog als vier dingen kloppen en de proceseigenaar schriftelijk tekent:

• Nauwkeurigheid op recente gevallen. Nodig, en de zwakste van de vier.
• Beperkte schade. De ergste waarschijnlijke fout heeft bekende kosten en is terug te draaien. Goederen op rekening vrijgegeven en al op de vrachtwagen niet, dus dat type blijft bij uitvoeren na goedkeuring.
• Een latere controle. Iets vangt een fout op die niemand meer beoordeelt: een afstemming, een bevestiging van de klant. Zonder die controle verbergt een stap omhoog alleen fouten.
• Een eigenaar. Een benoemde persoon neemt de verantwoordelijkheid op het nieuwe niveau.

De agent stelt nooit zelf zijn promotie voor.

Hoeveel foutloze gevallen genoeg zijn

"Zes weken lang elk geval goed" is zwakker dan het klinkt. Hanley en Lippman-Hand beschreven de vuistregel in 1983 in het Journal of the American Medical Association, onder de titel "If nothing goes wrong, is everything all right?": na nul fouten in n gevallen kunt u met 95% zekerheid alleen zeggen dat het werkelijke foutpercentage onder ongeveer 3 gedeeld door n ligt. Driehonderd foutloze gevallen sluiten één fout op honderd uit. Over één op vijfhonderd zeggen ze niets.

Een manager kiest dus welk foutpercentage het bedrijf op het volgende niveau kan dragen, en het type heeft ongeveer drie gedeeld door dat percentage aan foutloze, recente gevallen nodig.

Gesplitste leveringen waren goed voor ongeveer 400 gevallen per maand. Een verkeerde splitsing kostte een tweede zending en een telefoontje naar de inkoper, en de sponsor accepteerde één fout op tweehonderd. Dat betekent 600 foutloze gevallen: ongeveer zes weken. Speciale voorwaarden, orders met een afspraak die met één klant is gemaakt, gaven een klant bij een fout een voorwaarde waar hij het bedrijf de rest van het contractjaar aan zou houden. Aanvaardbaar: één op vijfduizend, dus 15.000 foutloze gevallen, meer dan twee jaar volume. Dat type bleef bij uitvoeren na goedkeuring.

Instemming van een beoordelaar is niet hetzelfde als gelijk hebben

Bij uitvoeren na goedkeuring ziet de beoordelaar eerst het voorstel, en mensen laten zich daardoor leiden. Iets redelijks goedkeuren is niet zelfstandig tot hetzelfde antwoord komen, dus goedkeuringspercentages overschatten de nauwkeurigheid, het sterkst bij onduidelijke gevallen. Voor elke stap omhoog wordt daarom een kleine steekproef blind beoordeeld: de beoordelaar beslist alleen op basis van het bewijs, en de antwoorden worden achteraf vergeleken. Dat getal valt meestal iets lager uit. Soms veel lager.

Omlaag is een regel, geen vergadering

Een type gaat automatisch een niveau terug als een bevestigde fout erdoor is geglipt, als de invoer verandert (een nieuw orderformaat van een grote klant, een nieuwe productlijn, een nieuwe markt) of als de latere controle wegvalt. Een nieuw AI-model of een regelwijziging zet elk type terug naar uitvoeren na goedkeuring tot het zich opnieuw bewezen heeft. En elk niveau boven klaarzetten heeft een reviewdatum; verloopt die, dan gaat het een niveau terug, zoals een kredietlimiet verloopt.

Een stap omhoog heeft een prijs

Elke stap omhoog haalt een deel weg van de menselijke beoordeling waaruit het bewijs kwam. Steekproeven op de hogere niveaus zijn daarom zo groot dat een verdubbeling van het foutpercentage binnen een maand zichtbaar wordt. Bij een type met weinig volume kan dat betekenen dat een derde van de gevallen wordt gecontroleerd, en dan is het eerlijke antwoord om het te laten waar het was.

Omlaag werkt alleen als iemand het werk kan terugnemen. Gaan gesplitste leveringen een niveau terug, dan komen er 400 gevallen per maand in een wachtrij. Heeft niemand tijd, dan worden ze ongelezen goedgekeurd. Bij elke stap omhoog leggen we daarom vast wie het werk terugneemt en hoeveel uur per week dat ongeveer kost.

De meeste beslissingen belanden in het midden

De meeste typen eindigen bij klaarzetten, uitvoeren na goedkeuring of uitvoeren en rapporteren. Stil uitvoeren bewaren we voor beslissingen die terug te draaien zijn en doorlopend gecontroleerd worden, zoals een bankbetaling koppelen aan een openstaande factuur. Een agent verdient zich terug door het lezen en voorbereiden te doen, zodat de resterende aandacht kort is, niet door de laatste seconde ervan te schrappen. Eén schakelaar voor de hele agent wijzen we af, ook in een pilot, omdat die de zwaarste beslissingen samen met de makkelijkste promoveert.

De vraag van de sponsor, beantwoord

Wanneer kunnen de goedkeuringen eraf? Voor sommige beslissingen nu, en hier is het bewijs. Voor sommige na een paar honderd gevallen meer. Voor sommige nooit, en hier is de rekensom.