Organiseer AI rond de workflow, niet rond het model

In maart namen we met de directie van een industrieel concern het AI-programma door. Het expertisecentrum had een sheet met pilots die twee kolommen vulde: contractsamenvattingen, een verkoopassistent, factuurherkenning, een chatbot voor onderhoud, een experiment met voorspellingen. De CEO vroeg welke daarvan het bedrijf zou missen als ze vrijdag werden stopgezet. Na enige discussie was het antwoord: één. Dat was de pilot die een fabrieksmanager had overgenomen en uit zijn eigen budget betaalde.

De pilots waren niet mislukt. De meeste werkten, in de zin dat de demo deed wat hij beloofde. Wat geen enkele pilot had, was iemand wiens resultaten ervan afhingen, die mensen had om op te vangen wat de pilot niet kon, en die de bevoegdheid had om het proces eromheen te veranderen. De enige overgebleven pilot had precies zo iemand. Wij denken dat dit het patroon is en niet de uitzondering, en dat het voortkomt uit de manier waarop de meeste bedrijven AI in 2023 hebben georganiseerd.

Het centrum werd opgezet rond de schaarse kennis van vorig jaar

Toen ChatGPT verscheen, was kennis over wat deze modellen konden schaars. Het was verstandig om de paar mensen die ze begrepen in een centraal team samen te brengen, dat team een innovatiebudget te geven en het door het hele bedrijf te laten experimenteren. Het expertisecentrum is georganiseerd rond het model, omdat het model in 2023 het moeilijke deel was.

Dat houdt op. Modellen zijn nu een API-aanroep. GPT-4 en Anthropics Claude 3, vorige maand uitgebracht, zijn beschikbaar voor elk bedrijf met een creditcard, en elk kwartaal worden de capabele modellen goedkoper. Het onderzoek van Andreessen Horowitz onder leiders van grote ondernemingen, "16 Changes to the Way Enterprises Are Building and Buying Generative AI" (maart 2024), zag uitgaven aan generatieve AI verschuiven van eenmalige innovatiebudgetten naar vaste softwarebudgetten. Dat is een gezond teken. Een vaste begrotingsregel is nog steeds geen eigenaar.

De eigen prikkels van het centrum maken het erger. Een team dat wordt afgerekend op de pilots die het start, start pilots. Het kan niet worden afgerekend op een workflow die het niet draait, dus kan het niet worden aangesproken op de pilots die nooit een workflow worden, en niemand anders ook niet.

Schaars blijft iets anders. Iemand die verantwoordelijk is voor de uitkomst van een workflow en bereid is het werk anders in te richten, en engineers die AI kunnen koppelen aan het ERP, de bankbestanden en het ticketsysteem waarop de workflow werkelijk draait. Geen van beide woont vanzelf in een centraal lab.

Klarna had geen beter model

De aankondiging van Klarna in februari viel op door de cijfers: een assistent die in de eerste maand twee derde van de klantenservicechats afhandelde, met volgens het bedrijf een gemiddelde oplostijd die daalde van 11 naar minder dan 2 minuten en 25% minder herhaalvragen. Het model eronder kwam van OpenAI en is voor Klarna's concurrenten op dezelfde voorwaarden beschikbaar.

Wat concurrenten niet kunnen kopiëren door hetzelfde contract te tekenen, is de rest: een organisatie die besloot dat de assistent onderdeel was van hoe de klantenservice draait, die hem koppelde aan de order- en terugbetalingssystemen waar de vraag van een klant van afhangt, en die hem mat op de eigen cijfers van de klantenservice. Kijk welke cijfers Klarna koos om te rapporteren. Niet de nauwkeurigheid van het model, niet het aandeel beantwoorde vragen, maar herhaalvragen: hoe vaak een klant terug moest komen. Alleen de eigenaar van de klantenservice ligt wakker van dat cijfer, en alleen een verandering in hoe de organisatie werkt, kan het veranderen. Hoe men ook over de krantenkoppen denkt: de waarde ontstond waar een bedrijfsfunctie eigenaar was van het resultaat.

De eenheid van AI is een workflow met een eigenaar

Wij stellen voor te organiseren rond de workflow. Order to cash, leveranciersfactuur tot betaling, schademelding tot afhandeling, ticket tot oplossing. Elke workflow heeft een bestuurder wiens cijfers hij beweegt, en die bestuurder is eigenaar van de AI erin. Eigenaarschap betekent hier iets specifieks. De eigenaar is verantwoordelijk voor vier dingen:

• Het resultaat. Gemeten op de eigen cijfers van de workflow, zoals tijd tot factuur, debiteurendagen of oplossing bij het eerste contact, niet op de nauwkeurigheid van het model.
• De uitzonderingen. Elk geval dat het systeem niet afhandelt, gaat naar mensen die daarvoor zijn ingeroosterd en opgeleid. Als uitzonderingen nergens heen kunnen, wordt het systeem omzeild.
• De regels. Welke beslissingen het systeem mag nemen, welke een mens nodig hebben en wie beide mag wijzigen. Opgeschreven en ondertekend.
• Het runbudget. De kosten om het systeem jarenlang te draaien en aan te passen, in het operationele budget van de eigenaar, niet in het innovatiefonds.

Een sponsor zit in de stuurgroep. Een eigenaar is degene die wordt gebeld als het systeem het fout heeft. Pilots hebben sponsors. Productie heeft eigenaren nodig, en een bedrijf heeft precies zoveel AI-systemen in productie als het eigenaren heeft die gebeld willen worden.

De engineers zitten bij de operatie

De vaardigheid die bepaalt of AI productie haalt, is integratie: lezen uit en schrijven naar systemen die daar nooit voor ontworpen zijn, omgaan met het bestandsformaat dat een grote leverancier zonder aankondiging heeft veranderd, weten dat een boeking in een afgesloten periode wordt geweigerd. Dat leert niemand uit een handboek, maar alleen door naast de mensen te zitten die het werk doen en te zien wat ze doen als het scherm iets onverwachts toont.

Daarom horen de engineers die de AI voor een workflow bouwen, in die workflow te werken, samen met dat team, zolang het duurt om het goed te krijgen. Niet in een centraal lab dat verzoeken via een ticketwachtrij binnenkrijgt. Vorig jaar ging het veel over prompt engineering als het nieuwe beroep. Wij verwachten dat het beroep dat ertoe doet minder in de mode is: een engineer die een ERP een correcte transactie precies één keer laat accepteren, en die het crediteurenteam bij naam kent.

Wat het centrum houdt

Dit schaft het centrum niet af. Het verandert zijn taak van het draaien van use cases naar het draaien van infrastructuur en standaarden, dichter bij een treasury dan bij een lab.

• Toegang en contracten. Goedgekeurde modellen, hostingafspraken, verwerkersovereenkomsten, één plek om capaciteit in te kopen.
• Standaarden. Hoe beslissingen worden gelogd, hoe een systeem vóór livegang op echte gevallen wordt getest, welk bewijs een workflow-eigenaar moet kunnen overleggen.
• Risicobeleid. Welke klassen beslissingen überhaupt geautomatiseerd mogen worden en wie daarvoor tekent.
• Een kleine groep specialisten die workflowteams bij moeilijke problemen helpen en weer doorgaan.

Wat het opgeeft, is de portefeuille met pilots. Als een use case in de business geen eigenaar heeft, hoort het centrum hem niet te draaien.

Software die handelt, heeft een leidinggevende nodig

Vorige maand liet Cognition Devin zien, een systeem dat softwaretaken in meerdere stappen zelf plant en uitvoert. Wat het ook blijkt te kunnen, het laat zien waar het onderzoek heen gaat: van modellen die antwoorden naar systemen die handelen. In een bedrijf betekent handelen boeken, betalen, een klant antwoorden, een record wijzigen. Ethan Mollick heeft in Co-Intelligence (april 2024) gelijk dat iedere medewerker met deze tools zou moeten experimenteren. Maar losse experimenten veranderen geen organisatie, en software die daarbinnen handelt roept een vraag op die geen experiment beantwoordt: wie geeft er leiding aan?

Hier is een voorspelling die we op papier zouden zetten. Binnen een paar jaar is dat in de meeste organisaties de lastige organisatievraag, en het juiste antwoord is de leidinggevende die het werk vandaag leidt. Niet IT en niet het centrum. Als software een derde van de leveranciersfacturen verwerkt, hoort de manager crediteurenadministratie haar aan te sturen zoals zij de mensen aanstuurt die de andere twee derde verwerken. Zij beslist wat de software mag afhandelen, ziet elke week haar werklast en haar fouten, en past haar regels aan als de business verandert. Het centrum geeft haar de middelen. Het doet het werk niet voor haar. Een bedrijf dat zijn workflow-eigenaren heeft benoemd, kan software eerder laten handelen, omdat het al weet onder wiens bevoegdheid de software handelt.

Wat dit kwartaal te doen

1. Zet een naam naast elke pilot. Schrijf bij elk item op de lijst de bestuurder wiens cijfers het verandert en die heeft ingestemd eigenaar te zijn. Stop de pilots zonder naam. Dat zijn de meeste, en dat is nuttige informatie.
2. Verplaats het geld. Financier elk overgebleven systeem uit het operationele budget van de eigenaar, inclusief de kosten om het drie jaar te draaien. Waar een eigenaar voor betaalt, gebruikt een eigenaar.
3. Verplaats de engineers. Wijs de bouwers voor de duur van het werk toe aan de workflow, bij het team dat hem draait.
4. Maak het centrum kleiner tot een platform. Houd contracten, standaarden, risicobeleid en een kleine groep specialisten. Stop met het meten op het aantal pilots.
5. Verander de definitie van klaar. Een systeem is in productie als het in de wekelijkse cijfers van zijn eigenaar staat en de uitzonderingen in iemands functieomschrijving zijn opgenomen.

Tel eigenaren

Een lijst met pilots meet nieuwsgierigheid. Een lijst met eigenaren meet hoeveel er in de business echt is veranderd: elke naam staat voor een workflow waar iemand heeft gezegd, dit is van ons, dit is wat het veranderde, en dit is wie opvangt wat het niet kan. Tel eigenaren, niet pilots.