Human in the Loop steht in fast jeder KI-Richtlinie, die mir in den letzten zwei Jahren untergekommen ist. André Cramer hat Ende August in seinem Newsletter #DRANBLEIBEN #202 aufgeschrieben, warum dieser Satz allein niemanden schützt. Ich finde den Text sehr stark, und dieser Artikel ist meine Antwort darauf.
Im ersten Teil fasse ich zusammen, was Cramer zeigt. Lies ihn trotzdem selbst, er hat deutlich mehr drin, als ich hier wiedergeben kann. Im zweiten Teil steht, was ich aus der Arbeit mit Geschäftsführungen und Beiräten ergänze und wo ich einen Schritt weitergehen würde.
Was Cramer zeigt
Sein Ausgangspunkt: Mit generativer KI verschiebt sich die Arbeit vom Erzeugen zum Prüfen, und Prüfen ist teuer. Er stützt sich dabei auf Dennis Horn, der bei Übermedien am Beispiel einer KI-Meldung über eine Stadtratssitzung durchgerechnet hat, was ernsthafte Kontrolle kostet: Man müsste das Protokoll lesen, und wer das tut, kann die Meldung oft gleich selbst schreiben. Horns Zuspitzung dazu: „Gute KI-Systeme erzeugen die schlechteste Aufsicht.“ Cramer legt Blooms Lernzieltaxonomie daneben. Erstellen rutscht an den Anfang, die anspruchsvolle menschliche Arbeit wandert ans Ende, zum Bewerten, und genau diese Ebene üben wir seltener, während wir sie häufiger brauchen.
Daraus baut er ein Bild, das ich seitdem nicht mehr loswerde: die Zange. Die eine Backe heisst Fähigkeit: Wer das Bewerten abgibt, verlernt es. Die andere heisst Energie: Wer gewissenhaft prüft, ist abends leer. Beide greifen auf verschiedenen Zeitskalen, Übung verschwindet über Monate und Kraft über Stunden, und deshalb fällt es niemandem auf, solange es läuft. Als historischen Beleg bringt er Norman Mackworth, der 1948 gezeigt hat, dass die Trefferquote von Menschen an Radarschirmen nach etwa dreissig Minuten Überwachung messbar sinkt.
Die aktuellen Zahlen kommen aus einer Befragung des BCG Henderson Institute unter 1.488 Beschäftigten in den USA, veröffentlicht am 5. März in der Harvard Business Review. Wo KI echte Routinearbeit übernommen hat, lagen die Burnout-Werte um rund 15 Prozent niedriger. Wo Menschen viel KI-Output überwachen und prüfen, stiegen mentale Erschöpfung um 12 Prozent und Informationsüberlastung um 19 Prozent. Bei den 14 Prozent, die einen Zustand beschreiben, den die Forschenden AI Brain Fry nennen, lag die Zahl schwerer Fehler um 39 Prozent höher, und 34 Prozent dachten aktiv über eine Kündigung nach, gegenüber 25 Prozent bei allen anderen.
Dann die Rechnung, die jeder Business-Case aufmacht: Aus zwei Stunden werden zwanzig Minuten, also hundert Minuten Gewinn. Cramer zeigt, dass diese hundert Minuten nicht frei bleiben. ActivTrak hat für seinen State of the Workplace Report über 443 Millionen Arbeitsstunden aus 1.111 Organisationen ausgewertet. In der Gruppe, die vor und nach der KI-Einführung verglichen wurde, stieg die Zeit in E-Mails um 104 Prozent und in Chats um 145 Prozent, die tägliche Fokuszeit sank um 9 Prozent. Aruna Ranganathan und Xingqi Maggie Ye von Berkeley Haas haben acht Monate in einem Tech-Unternehmen beobachtet, wie Beschäftigte sich mit KI zusätzliche Aufgaben nehmen, oft ohne dass jemand sie darum gebeten hätte. Und Carl Benedikt Frey erinnert in der New York Times an die Waschmaschine, die den Beruf der Wäscherin verdrängt hat, ohne dass das Waschen verschwunden wäre.
Bei McKinsey nimmt Cramer sich die fünf Prinzipien für brain-powered organizations von Jacqueline Brassey und Kolleginnen vor. Die ersten beiden unterschreibt er, vor allem den Rat, Altes zu streichen, bevor Neues dazukommt. An der Wortwahl Brain Capital stört er sich: Kapital muss die einzelne Person aufbauen, eine Ressource muss die Organisation einteilen.
Sein Schluss: Echte Kontrolle braucht drei Dinge gleichzeitig, nämlich Zeit, Kompetenz und das Mandat, Nein zu sagen. Fehlt eines davon, landet die Verantwortung in dem, was die Anthropologin Madeleine Clare Elish die moralische Knautschzone nennt, bei der Person mit der geringsten Kontrolle über das Ergebnis. Und er endet mit der Frage, um die es eigentlich geht: Wer bei euch hat Zeit, Kompetenz und Mandat, ein plausibles Ergebnis als unfertig zu bezeichnen, und was kostet es diese Person, das zu tun?
Was ich ergänze
Ich teile Cramers Analyse. Drei Dinge fehlen mir trotzdem, weil sie dort ansetzen, wo ich mit Unternehmen arbeite: bei der Entscheidung, welcher Use Case sich lohnt, beim Bau der Abläufe und in der Governance.
Prüfzeit gehört in den Business-Case
Wenn wir bei CTRL+ALT+LEAD mit einem Unternehmen Use Cases bewerten, ist die gesparte Zeit die Zahl, auf die alle schauen. Die Prüfzeit gehört direkt daneben, und zwar bevor jemand das Budget freigibt.
Rechne das einmal durch. Ein Angebot, das bisher zwei Stunden gedauert hat, entsteht mit KI in zwanzig Minuten. Wenn die Prüfung danach vierzig Minuten braucht, weil jemand Preise und Lieferzeiten gegen das ERP abgleichen muss, bleiben sechzig Minuten Gewinn statt hundert. Landen diese vierzig Minuten bei einer Person, die schon ein Dutzend andere Freigaben auf dem Tisch hat, sieht die Rechnung noch einmal anders aus als im Steering Committee.
Deshalb mein erster Vorschlag: In jede Use-Case-Bewertung gehören drei zusätzliche Angaben. Wer prüft, wie lange dauert eine Prüfung realistisch, und wie viele Prüfungen kommen pro Tag bei dieser Person zusammen. Ein Use Case, der diese Fragen nicht beantworten kann, ist noch nicht entscheidungsreif.
Die Freigabe ist eine Rolle
Cramer beschreibt, wie sich die Prüflast verteilt, ohne dass jemand das bewusst entschieden hat. Ich würde daraus eine Bauanweisung machen. Wenn ein Unternehmen seine Abläufe auf KI umstellt, gestaltet es Prozesse, Daten, Tools und Agenten, und es sollte die Freigabe genauso gestalten wie jede andere Rolle im Ablauf.
Konkret heisst das: Die Person, die freigibt, hat ein Zeitbudget, das im Kalender steht und nicht aus Überstunden kommt. Sie hat ein Kompetenzprofil, das zum Inhalt passt, den sie prüft. Und sie hat ein schriftlich festgelegtes Recht, einen Vorgang anzuhalten, ohne dafür einen Vorgesetzten fragen zu müssen. Erst dann ist Human in the Loop mehr als ein Satz in der Richtlinie. Fehlt das, gibt es die Rolle trotzdem, nur hat sie niemand entworfen.
Eine Inventur für die nächste Beiratssitzung
Als digitaler Beirat würde ich Human in the Loop aus der IT-Richtlinie holen und in die Governance legen. In einer KI-Strategie ist der Satz schnell geschrieben, in der Beiratssitzung lässt er sich mit einer einfachen Inventur überprüfen.
An welchen Stellen gibt bei uns ein Mensch KI-Ergebnisse frei? Wie viele Freigaben sind das pro Person und Tag? Und wie oft hat in den letzten drei Monaten jemand eine davon gestoppt?
Die letzte Frage ist die unangenehmste. Ist die Antwort null, hast du entweder ein fehlerfreies System oder einen symbolischen Kontrollpunkt. Nach allem, was Horn über Automation Bias schreibt, würde ich nicht auf das fehlerfreie System wetten.
Die Banken sind nur früher dran
Am 8. Oktober hat in Berlin die Tarifrunde für die privaten Banken begonnen. Der Deutsche Bankangestellten-Verband fordert dort bis zu drei Entlastungstage pro Quartal für Beschäftigte, deren Arbeit durch KI dichter wird. Verhandlungsführer Wolfgang Ermann sagt laut t3n: „Wo Arbeit dichter, komplexer oder verantwortungsvoller wird, braucht der Betrieb einen Ausgleich.“ Der Arbeitgeberverband lehnt das ab, die erste Runde endete ohne Angebot, am 2. November geht es in Frankfurt weiter.
Cramer liest die Entlastungstage als Kompensation statt Gestaltung, da gehe ich mit. Ich lese die Forderung zusätzlich als Signal an alle Geschäftsführungen ausserhalb der Banken. Wer die Prüflast nicht selbst gestaltet, wird sie irgendwann verhandeln müssen, mit dem Betriebsrat, in der Tarifrunde oder über die Kündigungen der Leute, die am gewissenhaftesten geprüft haben.
