KI gehört in den Workflow, nicht ins Modelllabor

Im März gingen wir mit dem Vorstand einer Industriegruppe deren KI-Programm durch. Das Kompetenzzentrum hatte eine Folie mitgebracht, auf der die Piloten zwei Spalten füllten: Vertragszusammenfassungen, ein Vertriebsassistent, Rechnungserkennung, ein Wartungs-Chatbot, ein Prognoseexperiment. Der Vorstandsvorsitzende fragte, welche davon das Unternehmen vermissen würde, wenn man sie am Freitag abschaltete. Nach einiger Diskussion lautete die Antwort: einen. Den, den ein Werksleiter übernommen hatte und aus seinem eigenen Budget bezahlte.

Gescheitert waren die Piloten nicht. Die meisten hielten in der Demo, was sie versprachen. Aber bei keinem gab es jemanden, dessen Zahlen davon abhingen, der Leute hatte, um aufzufangen, was der Pilot nicht konnte, und der den Prozess drumherum ändern durfte. Der eine Pilot, der überlebte, hatte genau so jemanden. Wir halten das für die Regel, nicht für die Ausnahme. Es ist die Folge davon, wie sich die meisten Unternehmen 2023 für KI aufgestellt haben.

Die Zentrale entstand um das knappe Wissen des Vorjahres

Als ChatGPT erschien, war das Wissen darüber knapp, was diese Modelle können. Es war vernünftig, die wenigen Fachleute in einem zentralen Team zu bündeln, ihm ein Innovationsbudget zu geben und es im ganzen Unternehmen experimentieren zu lassen. Das Kompetenzzentrum ist um das Modell herum organisiert, weil das Modell 2023 der schwierige Teil war.

Das ändert sich gerade. Ein Modell ist heute ein API-Aufruf. GPT-4 und Anthropics Claude 3, im vergangenen Monat erschienen, stehen jedem Unternehmen mit Kreditkarte zur Verfügung, und leistungsfähige Modelle werden jedes Quartal billiger. Andreessen Horowitz hat Führungskräfte großer Unternehmen befragt („16 Changes to the Way Enterprises Are Building and Buying Generative AI“, März 2024). Ergebnis: Ausgaben für generative KI wandern aus einmaligen Innovationsbudgets in die laufenden Softwarebudgets. Das ist ein gutes Zeichen. Ein fester Budgetposten ersetzt aber noch keinen Verantwortlichen.

Die Anreize der Zentrale verstärken das Problem. Ein Team, das an der Zahl gestarteter Piloten gemessen wird, startet Piloten. An einem Workflow, den es nicht betreibt, lässt es sich nicht messen. Also wird ihm nicht angelastet, dass aus den Piloten nie Produktivsysteme werden. Niemand anderem allerdings auch.

Knapp ist heute etwas anderes: jemand, der für das Ergebnis eines Workflows geradesteht und bereit ist, die Arbeitsweise zu ändern, und Engineers, die KI an ERP, Bankdateien und Ticketsystem anbinden können, auf denen der Workflow tatsächlich läuft. Beides findet sich nicht von selbst in einem zentralen Labor.

Klarna hatte kein besseres Modell

Klarnas Ankündigung im Februar fiel durch ihre Zahlen auf: Ein Assistent übernahm im ersten Monat zwei Drittel der Chats im Kundenservice. Nach Angaben des Unternehmens sank die durchschnittliche Zeit bis zur Lösung von 11 auf unter 2 Minuten, und es gab 25 Prozent weniger Folgeanfragen. Das Modell dahinter stammt von OpenAI und steht Klarnas Wettbewerbern zu denselben Konditionen zur Verfügung.

Was Wettbewerber nicht mit demselben Vertrag einkaufen können, ist alles andere: eine Organisation, die entschieden hat, dass der Assistent fester Teil des Kundenservice ist, die ihn an die Bestell- und Erstattungssysteme angebunden hat, auf die es bei einer Kundenanfrage ankommt, und die ihn an den Kennzahlen des Kundenservice gemessen hat. Aufschlussreich ist, welche Zahl Klarna hervorhob. Nicht die Modellgenauigkeit, nicht den Anteil beantworteter Fragen, sondern Folgeanfragen: wie oft ein Kunde sich erneut melden musste. Diese Zahl interessiert nur die Leitung des Kundenservice, und nur eine Veränderung im Betrieb kann sie verbessern. Wie man auch zu den Schlagzeilen steht: Der Nutzen entstand dort, wo ein Fachbereich für das Ergebnis verantwortlich war.

Die Einheit für KI ist ein Workflow mit einem Verantwortlichen

Wir empfehlen, KI entlang der Workflows zu organisieren. Order to Cash, von der Lieferantenrechnung bis zur Zahlung, vom Schadenfall bis zur Regulierung, vom Ticket bis zur Lösung. Jeder Workflow hat eine Führungskraft, deren Kennzahlen er beeinflusst, und dieser Führungskraft gehört auch die KI darin. Verantwortung ist hier klar umrissen. Die verantwortliche Person steht für vier Dinge ein:

• Das Ergebnis. Gemessen an den Kennzahlen des Workflows, etwa Zeit bis zur Rechnungsstellung, Forderungslaufzeit oder Lösungsquote beim Erstkontakt, nicht an der Modellgenauigkeit.
• Die Ausnahmen. Jeder Fall, den das System nicht bearbeitet, geht an Mitarbeitende, die dafür eingeplant und geschult sind. Wenn Ausnahmen nirgendwo landen können, wird das System umgangen.
• Die Regeln. Welche Entscheidungen das System treffen darf, welche einen Menschen brauchen und wer das eine wie das andere ändern darf. Schriftlich festgehalten und abgezeichnet.
• Das Betriebsbudget. Die Kosten für Betrieb und Weiterentwicklung über Jahre, im operativen Budget der verantwortlichen Person, nicht im Innovationstopf.

Ein Sponsor sitzt im Lenkungsausschuss. Der Verantwortliche ist derjenige, bei dem das Telefon klingelt, wenn das System danebenliegt. Piloten haben Sponsoren. Der Produktivbetrieb braucht Verantwortliche. Ein Unternehmen hat genau so viele KI-Systeme im Produktivbetrieb, wie es Verantwortliche hat, die bereit sind, diesen Anruf entgegenzunehmen.

Die Engineers gehören in den Fachbereich

Ob KI in den Produktivbetrieb kommt, entscheidet die Integration: aus Systemen lesen und in Systeme schreiben, die dafür nie gebaut wurden. Mit dem Dateiformat umgehen, das ein großer Lieferant ohne Vorankündigung geändert hat. Wissen, dass eine Buchung in einer geschlossenen Periode abgewiesen wird. Das lernt man, indem man neben den Menschen sitzt, die die Arbeit machen, und beobachtet, was sie tun, wenn der Bildschirm etwas Unerwartetes zeigt.

Deshalb sollten die Engineers, die die KI für einen Workflow bauen, auch in diesem Workflow arbeiten, mit diesem Team, so viele Monate, wie es braucht, bis alles stimmt. Nicht in einem zentralen Labor, das Anfragen über ein Ticketsystem entgegennimmt. Im vergangenen Jahr wurde viel über Prompt Engineering als neuen Beruf gesprochen. Wir erwarten, dass der Beruf, auf den es ankommt, weniger glamourös ist: ein Engineer, der ein ERP dazu bringt, eine korrekte Transaktion genau einmal anzunehmen, und der das Team in der Kreditorenbuchhaltung beim Namen kennt.

Was die Zentrale behält

Die Zentrale wird damit nicht abgeschafft. Ihre Aufgabe ändert sich: Sie betreibt keine Anwendungsfälle mehr, sondern Infrastruktur und Standards. Sie ähnelt dann eher einer Treasury als einem Labor.

• Zugang und Verträge. Freigegebene Modelle, Hosting-Vereinbarungen, Auftragsverarbeitungsbedingungen, eine Stelle für den Einkauf von Kapazität.
• Standards. Wie Entscheidungen protokolliert werden, wie ein System vor dem Go-live an echten Fällen getestet wird und welche Nachweise ein Verantwortlicher vorlegen können muss.
• Risikorichtlinie. Welche Arten von Entscheidungen überhaupt automatisiert werden dürfen und wer das genehmigt.
• Ein kleines Spezialistenteam, das Workflow-Teams bei schwierigen Problemen unterstützt und dann weiterzieht.

Abgeben muss sie das Pilotportfolio. Hat ein Anwendungsfall im Fachbereich keinen Verantwortlichen, sollte die Zentrale ihn auch nicht betreiben.

Software, die handelt, braucht eine Führungskraft

Im vergangenen Monat stellte Cognition Devin vor, ein System, das mehrstufige Softwareaufgaben selbst plant und ausführt. Was auch immer daraus wird, die Richtung der Forschung ist klar: von Modellen, die antworten, zu Systemen, die handeln. Im Unternehmen heißt handeln: buchen, zahlen, einem Kunden antworten, einen Datensatz ändern. Ethan Mollick hat in Co-Intelligence (April 2024) recht, wenn er fordert, dass alle Mitarbeitenden mit diesen Werkzeugen experimentieren sollten. Einzelne Experimente verändern aber keinen Betrieb. Und Software, die im Betrieb handelt, wirft eine Frage auf, die kein Experiment beantwortet: Wer führt sie?

Eine Prognose, zu der wir stehen: In wenigen Jahren wird das in den meisten Unternehmen die schwierige Organisationsfrage sein. Die richtige Antwort ist die Führungskraft, die die Arbeit heute schon verantwortet. Nicht die IT und nicht die Zentrale. Wenn Software ein Drittel der Lieferantenrechnungen bearbeitet, sollte die Leiterin der Kreditorenbuchhaltung sie so führen wie die Mitarbeitenden, die die anderen zwei Drittel bearbeiten. Sie entscheidet, was die Software übernehmen darf, sieht jede Woche deren Auslastung und Fehler und passt die Regeln an, wenn sich das Geschäft verändert. Die Zentrale stellt ihr die Werkzeuge. Die Verantwortung nimmt sie ihr nicht ab. Ein Unternehmen, das die Verantwortlichen für seine Workflows benannt hat, kann Software früher handeln lassen, weil schon feststeht, in wessen Auftrag sie handelt.

Was in diesem Quartal zu tun ist

1. Jedem Piloten einen Namen zuordnen. Für jeden Eintrag die Führungskraft notieren, deren Kennzahlen er beeinflusst und die zugesagt hat, ihn zu verantworten. Piloten ohne Namen stoppen. Das werden die meisten sein, und auch das ist eine wertvolle Erkenntnis.
2. Das Budget umschichten. Jedes verbleibende System aus dem operativen Budget des Verantwortlichen finanzieren, einschließlich der Betriebskosten für drei Jahre. Was ein Verantwortlicher selbst bezahlt, das nutzt er auch.
3. Die Engineers umsetzen. Die Entwickler für die Dauer der Arbeit dem Workflow zuordnen, direkt beim Team, das ihn betreibt.
4. Die Zentrale zur Plattform verschlanken. Verträge, Standards, Risikorichtlinie und ein kleines Spezialistenteam behalten. Die Zentrale nicht länger an der Zahl der Piloten messen.
5. Neu definieren, wann etwas fertig ist. Ein System ist produktiv, wenn es in den Wochenzahlen seines Verantwortlichen auftaucht und die Bearbeitung seiner Ausnahmen in einer Stellenbeschreibung steht.

Verantwortliche zählen

Eine Liste von Piloten misst Neugier. Eine Liste von Verantwortlichen misst, wie viel sich im Geschäft tatsächlich verändert hat. Hinter jedem Namen steht ein Workflow, für den jemand gesagt hat: Das gehört uns, das hat es verändert, und wir fangen auf, was es nicht kann. Zählen Sie Verantwortliche, nicht Piloten.