Hoe goede systemen het vertrouwen van hun gebruikers winnen

Drie weken nadat in het magazijn van een fabrikant van medische producten een systeem voor het controleren van leveringen live ging, zagen de cijfers er goed uit, maar was de werkdruk niet gedaald. We zaten een ochtend bij het team om uit te zoeken hoe dat kon. De meest ervaren magazijnleider had naast het systeem een uitgeprinte lijst op haar bureau liggen. Elke levering die het systeem bevestigde, controleerde ze nog eens met de hand: lotnummers, houdbaarheidsdata, aantallen.

Ze had niets tegen verandering. Ze deed dit werk al jaren, ze was verantwoordelijk voor wat er in de voorraad kwam, en niets in het systeem liet haar zien wanneer het te vertrouwen was. Dus vertrouwde ze het nooit en controleerde ze alles. Het systeem werkte. In de praktijk werd het omzeild.

We behandelen dit nu als een kwestie van vertrouwen dat past bij het bewijs, omdat vertrouwen te meten en te ontwerpen is. Het is ook een probleem van beheersing: de auditor toetst de bevestigingen van het systeem, en de controle die telde, gebeurde op een uitgeprinte lijst die niemand archiveert.

Het doel is vertrouwen dat past bij het bewijs

Het doel is dat mensen het systeem zoveel vertrouwen als het verdient, per geval. Te veel vertrouwen leidt tot goedkeuren zonder te kijken. Te weinig leidt tot de uitgeprinte lijst en dubbel werk. Training lost dat zelden op. Mensen bouwen vertrouwen op met bewijs uit hun eigen gevallen, niet met uitleg over hoe het systeem werkt.

Twee cijfers laten zien waar vertrouwen ontbreekt

Vanaf de eerste dag na de livegang volgen we twee cijfers, per soort werk en per team, nooit per persoon. In dat magazijn hadden we alleen naar de eigen nauwkeurigheid van het systeem gekeken, en daarom kostte het drie weken en een ochtend op de vloer om de lijst te vinden. Elk van beide cijfers had hem in de eerste dagen laten zien.

Hoe vaak mensen nacontroleren. Hoe vaak iemand de pakbon, het record in het centrale bedrijfssysteem of een eigen lijst opent voordat hij een voorstel accepteert dat hij ook direct had kunnen accepteren. Het meeste daarvan komt uit data die het systeem al heeft: geopend bewijs, gemaakte exports, de tijd tot accepteren, wijzigingen buiten de workflow om. Een hoog percentage waar het systeem betrouwbaar goed zit, betekent dat vertrouwen achterblijft bij het bewijs. Dat is informatie, geen wangedrag.

Hoe snel een correctie telt. De tijd tussen het moment dat iemand het systeem corrigeert en het moment dat het systeem zijn gedrag voor dat soort geval aanpast. Op dit cijfer letten we het scherpst. Corrigeert een expert drie keer dezelfde fout en verandert er niets, dan concludeert ze terecht dat haar correcties niet tellen, en controleert ze alles. Verandert de regel binnen een paar dagen en ziet ze de fout verdwijnen, dan groeit vertrouwen sneller dan welke demonstratie ook kan bereiken.

Het onderzoek wijst dezelfde kant op. Dietvorst, Simmons en Massey vonden in 2015 dat mensen sneller het vertrouwen in een algoritme verliezen dan in een mens nadat ze beide dezelfde fout hebben zien maken, en het algoritme mijden, zelfs als ze hebben gezien dat het beter presteert dan een mens. Hun vervolgstudie in Management Science (2018) liet zien dat mensen een onvolmaakt algoritme veel vaker gebruiken als ze de uitkomst kunnen bijstellen, al is het maar een beetje. In een lab is dat een schuifje. In de operatie is het een correctie die blijft.

Elke correctie die langer dan een week openstaat, gaat naar de wekelijkse bespreking, met de naam van wie de oplossing bezit.

De proefperiode stopt op criteria die het team mee heeft bepaald

Voordat een systeem iets zelf uitvoert, draait het in een proefperiode naast het team mee, vaak shadow mode genoemd: het behandelt dezelfde gevallen, de voorstellen worden vastgelegd en het team werkt zoals altijd. Elke dag worden de voorstellen vergeleken met wat mensen werkelijk deden.

Of een proefperiode werkt, hangt af van hoe ze eindigt. De criteria voor het einde spreken we voor de start af met het team en de proceseigenaar: hoeveel gevallen elke soort werk moet zien, welke afwijkingen een soort uitsluiten, en een bespreking van elke afwijking. Soorten werk verlaten de proefperiode een voor een zodra ze aan de criteria voldoen, te beginnen waar het systeem het sterkst is; de moeilijke volgen als het team het een tijd goed heeft zien doen. Het team ziet bewijs groeien tegen een maatstaf die het mee heeft bepaald, in plaats van een aangekondigde livedatum.

Elke afwijking eindigt in een van vier uitkomsten

In de eerste maanden loopt het team één keer per week met een engineer elk geval door waarin systeem en mens het oneens waren, en sluit elk geval af met één vastgelegde uitkomst.

• Het systeem zat fout. Een regel verandert, binnen dagen, niet weken.
• De mens zat fout. Meestal een gewoonte die is afgedreven van het beleid. De proceseigenaar beslist of de gewoonte of het beleid verandert, en laat het team dat weten.
• Beide waren te verdedigen. De proceseigenaar beslist, en het besluit wordt een geschreven regel. Dit zijn de ongeschreven regels die in hoofden zaten, vaak het nuttigste om vast te leggen.
• De invoer was het probleem. Een document van een leverancier of een fout gegeven in de stamgegevens van het bedrijf was de oorzaak, en dat wordt bij de bron opgelost.

In het begin zijn de meeste afwijkingen meestal systeemfouten, later vooral beleidsvragen. Zijn afwijkingen zeldzaam en gaan ze vooral over beleid, dan heeft het systeem voor dat soort werk het vertrouwen van het team verdiend.

De experts worden eigenaar van de regels

Een diepere oorzaak van omzeilen is vaak een rolwisseling die niemand heeft benoemd. Voor het systeem was de meest ervaren magazijnleider degene die wist hoe je een lastige levering inboekt. Daarna was ze gebruiker van een tool die haar oude werk deed, met een vage plicht om het te controleren. Dat voelt als een degradatie.

Dus veranderen de rollen expliciet. De meest ervaren mensen worden eigenaar van de regels en de vaakste oorzaken van uitzonderingen in hun gebied. Ze keuren wijzigingen goed in wat als dichtbij genoeg telt, beslissen hoe nieuwe etiketformaten van leveranciers worden behandeld, en hun namen staan bij de regels. De nauwkeurigheid van het systeem wordt hun prestatie, en kennis die in één hoofd zat, wordt regels die het hele team kan lezen.

De sponsor legt het doel schriftelijk vast

De meeste teams vragen zich af of een nieuw systeem er is om hen te vervangen, en als niemand antwoordt, beantwoorden ze die vraag zelf. Voor de proefperiode vragen we de sponsor drie dingen op te schrijven en met het team te delen: wat het team meer gaat doen, wat minder, en wat het bedrijf van plan is met de vrijgekomen capaciteit. In het werk dat wij aannemen, is dat doel capaciteit voor groei.

We vragen ook om productiedoelen tijdens de overgang op te schorten. Wie wordt afgerekend op gecontroleerde leveringen per uur, heeft goede redenen om een systeem te mijden dat hem vertraagt terwijl hij het leert.

Vertrouwen volgt de snelheid van correcties

Uiteindelijk was de uitgeprinte lijst een van de nuttigste dingen in dat magazijn. Ze markeerde de gevallen die het systeem nog niet had verdiend, en ze liet zien dat haar correcties te lang nodig hadden om te tellen. Zodra een correctie het systeem binnen een paar dagen veranderde, printte ze de lijst niet meer. Meet vanaf de eerste week na de livegang hoe snel correcties tellen, en houd dat onder een week.