Een agent verdient autonomie per type beslissing

Een agent die orders aanneemt voor een leverancier van IT-hardware, neemt zo'n tien soorten beslissingen. Hij leest de inkooporder van de klant. Hij toetst de gevraagde configuratie aan wat echt gebouwd en verzonden kan worden: het dockingstation dat bij dat laptopmodel past, het geheugen dat de behuizing aankan. Hij doet de kredietcheck tegen de limiet en de openstaande posten van de klant. Hij beslist of een levering wordt gesplitst als de monitoren op voorraad zijn en de laptops over twee weken binnenkomen. Hij past de voorwaarden toe die met die klant zijn afgesproken. Een paar weken nadat we er een tegen live orders begonnen te valideren, stelde het hoofd sales operations de vraag die elke sponsor vroeg of laat stelt: de agent heeft bijna altijd gelijk en de goedkeuringen houden de orderdesk op, dus wanneer kunnen die eraf?

Die vraag behandelt autonomie als een instelling van de agent. Sommige van die beslissingen waren al wekenlang bij elk gecontroleerd geval juist en waren binnen seconden terug te draaien. Andere waren even vaak juist, maar legden het bedrijf vast op iets waar een klant het aan zou houden. Met één schakelaar waren ze allemaal hetzelfde behandeld.

Het hoofd kredietbeheer zat aan tafel, en haar eigen werk was hier een beter model voor. Dat geldt voor elk bedrijf dat op rekening verkoopt. Kredietbeheer beslist niet of klanten in het algemeen op krediet mogen kopen. Het stelt per klant een limiet vast op basis van het betaalgedrag, herziet die op een vaste datum en blokkeert het account automatisch als een factuur onbetaald blijft. Niemand vindt dat bureaucratisch. Zo geeft een bedrijf vertrouwen dat het kan verantwoorden. Autonomie voor een agent werkt net zo, en de rest van dit stuk gaat over de mechaniek.

Autonomie geldt per beslissingsklasse

Een beslissingsklasse is een type beslissing dat zo scherp is afgebakend dat alle gevallen erin even moeilijk zijn en even zware gevolgen hebben. "Toets een configuratie aan de bouwregels" is een klasse. "Splits een levering" is een andere. De klassen staan in de procesbeschrijving voordat de bouw begint, en elke beslissing van de agent wordt in het dossier met haar klasse vastgelegd.

Autonomie is een eigenschap van elke klasse afzonderlijk, vastgelegd met de datum van toekenning, het onderliggende bewijs en de persoon die akkoord gaf. De agent als geheel heeft geen autonomieniveau. Vragen of de agent zonder toezicht kan draaien, is net als vragen of de orderdesk orders mag aannemen. Welke orders?

De ladder heeft vijf treden

1. Voorstellen. De agent doet een voorstel; een medewerker voert het werk uit. Voor nieuwe klassen, en voor beslissingen waarbij de agent vooral leeswerk moet besparen.
2. Klaarzetten. De agent zet de wijziging als concept klaar in het doelsysteem; een medewerker controleert en geeft vrij.
3. Uitvoeren na goedkeuring. De agent voert uit nadat een medewerker een goedkeuringsverzoek heeft goedgekeurd. Goedkeuren is een beslissing, geen herstelwerk, en gaat daardoor sneller dan een concept nalopen.
4. Uitvoeren en rapporteren. De agent voert uit; een aangewezen medewerker bekijkt een dagrapport van zijn acties en kan elke actie terugdraaien.
5. Zelfstandig uitvoeren. De agent voert uit zonder dat iemand meekijkt, afgezien van steekproeven en monitoring.

"Levels of Autonomy for AI Agents" van Feng, McDonald en Zhang (Knight First Amendment Institute, juli 2025) geeft een zorgvuldige schaal met vijf niveaus, gedefinieerd door de rol die de gebruiker speelt, van bediener tot toeschouwer, en kent een agent één niveau toe. Binnen een operatie is dat één niveau te hoog. Dezelfde agent heeft meerdere treden tegelijk nodig, en met de ladder wordt de vraag hoeveel autonomie een besluit dat een business owner kan nemen en verantwoorden, klasse voor klasse.

De architectuur bepaalt het niveau, niet de prompt

Staat het niveau alleen in de instructies van de agent, dan is het een suggestie. Dwingt de architectuur het af, dan is het een beheersmaatregel. Het niveau van elke klasse staat daarom in een configuratierecord buiten de agent, en dat record bepaalt welke tools de agent voor die klasse krijgt. Bij voorstellen kan de agent alleen lezen. Bij klaarzetten kan hij concepten aanmaken, maar niet vrijgeven. Bij uitvoeren na goedkeuring werkt de tool die de wijziging doorvoert alleen met een goedkeuringstoken. Dat token ontstaat pas als een medewerker het goedkeuringsverzoek goedkeurt, en het geldt alleen voor dat ene geval en die versie van het voorstel. Pas vanaf uitvoeren en rapporteren mag de agent die tool zelf gebruiken.

Een klasse naar een hoger niveau brengen betekent dus dat record wijzigen, via het wijzigingsproces van de klant en terug te vinden in de historie. Niemand kan dat regelen door een prompt aan te passen, en de agent kan zichzelf geen extra ruimte geven, want de tool die hij daarvoor nodig heeft, krijgt hij niet.

Een hoger niveau vraagt vier soorten bewijs

Een klasse gaat één niveau omhoog als aan vier voorwaarden is voldaan en de proceseigenaar daar schriftelijk mee instemt.

• Nauwkeurigheid op recente gevallen. Gemeten op gevallen die kort geleden zijn gecontroleerd. Noodzakelijk, maar de minst belangrijke van de vier.
• Beperkte schade. Van de ergste fout die redelijkerwijs kan optreden, zijn de kosten bekend en is duidelijk hoe die terug te draaien is. Een klasse waarin fouten onomkeerbaar zijn, zoals goederen die op krediet zijn vrijgegeven en al op een vrachtwagen staan, komt nooit verder dan uitvoeren na goedkeuring.
• Een controle achteraf. Er is een controle die een fout alsnog vangt als de beoordelaar niet meer meekijkt: een aansluiting, een bevestiging van de klant, een dagrapport. Zonder zo'n controle maakt een hoger niveau fouten alleen onzichtbaar.
• Een eigenaar. Een aangewezen persoon wordt verantwoordelijk voor de klasse op het nieuwe niveau.

Het bewijs kan automatisch worden verzameld, het besluit niet. En de agent stelt nooit zelf voor om hoger te komen.

Hoeveel foutloze gevallen genoeg zijn

"Zes weken lang elk geval goed" klinkt overtuigend. Het zegt minder dan het lijkt. Statistici hebben voor precies deze situatie een vuistregel, beschreven door Hanley en Lippman-Hand in het Journal of the American Medical Association in 1983 onder de titel "If nothing goes wrong, is everything all right?": wie nul fouten heeft gezien in n gevallen, kan met 95% zekerheid alleen zeggen dat het werkelijke foutpercentage onder ongeveer 3 gedeeld door n ligt. Driehonderd foutloze gevallen sluiten een foutpercentage van meer dan één op honderd uit. Over één op vijfhonderd zeggen ze niets.

Daarmee wordt een stap omhoog een rekensom die een proceseigenaar zelf kan maken. Begin bij de gevolgen: wat één fout kost, en hoeveel gevallen de klasse per maand behandelt. Bepaal welk foutpercentage het bedrijf op die trede kan dragen. De klasse heeft dan ongeveer drie gedeeld door dat percentage aan foutloze, recente gevallen nodig voordat ze omhoog gaat. Een klasse die een configuratie aan de bouwregels toetst, waar een fout bij het orderpicken wordt opgemerkt en minuten kost, kan na een paar honderd gevallen omhoog. Een klasse die orders vrijgeeft die op krediet geblokkeerd staan, verzamelt in een jaar misschien nooit genoeg gevallen om verder te komen dan uitvoeren na goedkeuring, en dat is het juiste antwoord, geen tekortkoming van de agent.

Neem de hardwareorders. De klasse voor leveringssplitsing behandelde zo'n 400 gevallen per maand. Een verkeerde splitsing die erdoorheen glipte, kostte een tweede zending en een telefoontje met de inkoper van de klant, en de sponsor legde het aanvaardbare percentage voor uitvoeren en rapporteren op één op tweehonderd. Drie gedeeld door één op tweehonderd is 600 foutloze, recente gevallen: bij dat volume ongeveer zes weken, als er in de tussentijd niets veranderde. De klasse voor speciale voorwaarden, orders met een betalingstermijn of leveringsvoorwaarde die met die ene klant is afgesproken, behandelde meer gevallen, maar een fout daar gaf een klant een voorwaarde waar die het bedrijf de rest van het contractjaar aan zou houden. Het aanvaardbare percentage was één op vijfduizend, wat 15.000 foutloze gevallen betekende, meer dan twee jaar volume. Het ontwerp hield die klasse op uitvoeren na goedkeuring, en niemand sputterde tegen, omdat de rekensom op één pagina paste.

Instemming van een beoordelaar is geen nauwkeurigheid

Er zit een tweede valkuil in het bewijs, en daar trappen juist zorgvuldige teams in. Bij uitvoeren na goedkeuring ziet de beoordelaar het voorstel van de agent voordat er een besluit valt. Mensen laten zich verankeren. Wie een redelijk ogend voorstel goedkeurt, is het ermee eens geweest. Dat is niet hetzelfde als zelfstandig op hetzelfde antwoord uitkomen. Instemmingspercentages op gecontroleerde gevallen overschatten de nauwkeurigheid daarom, het sterkst bij de dubbelzinnige gevallen waar het om gaat.

Voordat een klasse omhoog gaat, wordt daarom een kleine steekproef van haar gevallen blind beoordeeld: de beoordelaar beslist alleen op basis van het bewijs, zonder te zien wat de agent voorstelde, en de twee antwoorden worden achteraf vergeleken. Dat getal, niet het goedkeuringspercentage, is de nauwkeurigheid in het promotiedossier. Meestal valt het iets lager uit. Soms veel lager, en dat is de klasse waarvan we blij zijn dat we haar niet omhoog hebben gezet.

Terugzetten gaat volgens een regel, niet via een overleg

Een klasse zakt automatisch één niveau als er een fout wordt bevestigd die de beoordelaar niet meer te zien kreeg, als de invoer verandert (een nieuw orderformaat van een grote klant, een nieuwe productlijn, een nieuwe markt), of als de controle achteraf wegvalt.

Een nieuw model of een wijziging in de regels zet elke klasse terug naar uitvoeren na goedkeuring, tot ze zich opnieuw heeft bewezen. Sponsors vinden deze regel het minst prettig en waarderen hem achteraf het meest. Bewijs hoort bij het systeem dat het heeft verdiend. Een nieuw model is een nieuwe klant zonder betaalgeschiedenis, hoe goed de referenties ook zijn.

Bewijs veroudert ook als er niets verandert. Elk niveau boven klaarzetten heeft een datum voor herbeoordeling, en een klasse waarvan die datum verstrijkt, zakt een niveau, precies zoals een kredietlimiet vervalt zonder herziening. Autonomie waar een jaar lang niemand naar heeft gekeken, is toegekend aan een bedrijf dat in die vorm eigenlijk niet meer bestaat.

Een stap omhoog droogt het bewijs op

Elke stap omhoog haalt een deel weg van de menselijke controle die het bewijs ervoor leverde. Bij uitvoeren en rapporteren worden minder gevallen goed bekeken, bij zelfstandig uitvoeren alleen de steekproef. De klasse houdt haar trede dan vast op een dunnere stroom bewijs dan de stroom waarmee ze die verdiende, en dat is de omgekeerde wereld. Het steekproefpercentage op de hogere treden volgt daarom uit een rekensom, niet uit gewoonte: groot genoeg dat een verdubbeling van het foutpercentage binnen een maand zichtbaar wordt. Voor een klasse met weinig volume kan dat betekenen dat een derde van de gevallen wordt gecontroleerd. Dan levert de stap omhoog weinig op, en de eerlijke conclusie is de klasse te laten waar ze was.

Terugzetten vraagt mensen die klaarstaan

Een regel die een klasse een trede terugzet, is alleen echt als iemand het werk kan opvangen dat terugkomt. Als de klasse voor leveringssplitsing zakt van uitvoeren en rapporteren naar uitvoeren na goedkeuring, komen er 400 gevallen per maand terug in een wachtrij. Heeft niemand daar tijd voor, dan verzet het team zich stilletjes tegen het terugzetten, of keurt het de teruggekomen gevallen goed zonder ze te lezen, en wordt de regel toneel. Daarom legt elke stap omhoog vast wie het werk terugneemt als de klasse wordt teruggezet, en hoeveel uur per week dat ongeveer kost. Sponsors vinden dat de nuttigste regel in het promotiedossier, omdat het de werkelijke prijs is van de autonomie waar ze om vroegen.

De meeste klassen komen in het midden uit

In de organisaties waar wij werken, eindigen de meeste klassen bij klaarzetten, uitvoeren na goedkeuring, of uitvoeren en rapporteren. Zelfstandig uitvoeren is zeldzaam. Dat bewaren we voor klassen waarin elke actie terug te draaien is en doorlopend wordt aangesloten, zoals het matchen van een bankregel met een openstaande post: elke fout komt bij de volgende aansluiting boven.

Dat is geen overdreven voorzichtigheid. Een agent verdient zichzelf zelden terug door de laatste seconde menselijke aandacht te schrappen. Dat doet hij met het lezen, controleren en voorbereiden, zodat de aandacht die overblijft kort is en goed wordt besteed. Een klasse op uitvoeren na goedkeuring, met een helder goedkeuringsverzoek, kost een beoordelaar seconden per geval. Wie die klasse naar zelfstandig uitvoeren verplaatst, wint die seconden en schrapt het enige moment waarop iemand zou merken dat de omstandigheden veranderen.

Eén ding doen we niet: één schakelaar voor de autonomie van de hele agent, ook niet voor een pilot, omdat de beslissingen met de grootste gevolgen dan tegelijk met de makkelijkste een niveau hoger gaan.

Wat er moet staan voordat de sponsor het vraagt

• Een lijst van beslissingsklassen, elk vastgelegd in elk dossier.
• Een trede per klasse, vastgelegd in configuratie buiten de agent en alleen te wijzigen via het wijzigingsproces.
• Een aanvaardbaar foutpercentage per klasse, afgesproken met de eigenaar, en het aantal foutloze gevallen dat daaruit volgt.
• Een blind beoordeelde steekproef voor elke klasse die voor een stap omhoog in aanmerking komt.
• Automatisch terugzetten bij een bevestigde late fout, veranderde invoer, een weggevallen controle achteraf, een wijziging in model of regels, of een verstreken datum voor herbeoordeling.

Het antwoord aan de sponsor

Wanneer kunnen de goedkeuringen eraf? Voor sommige beslissingen nu, en dit is het bewijs. Voor andere na nog een paar honderd gevallen. Voor sommige nooit, en dit is de rekensom. Autonomie die zo wordt toegekend, is een kredietlimiet: ze groeit met een staat van dienst, en ze wordt verlaagd op de dag dat die staat van dienst niet meer betekent wat hij betekende.