Der Mensch als letzte Verteidigungslinie – oder nur ein „Meatproxy“?

Warum Bill Gates’ Konzept „Human Reserved“ theoretisch sinnvoll ist – aber in der Praxis scheitern könnte

Künstliche Intelligenz und Robotik verändern die Arbeitswelt grundlegend. Bill Gates warnt davor, dass zahlreiche Tätigkeiten in Bereichen wie Recht, Kundenservice, Gesundheitswesen, Softwareentwicklung und Industrie innerhalb des nächsten Jahrzehnts automatisiert werden könnten.

Sein vorgeschlagener Gegenentwurf ist das, was er „Human Reserved“ nennt: Bestimmte Aufgaben sollen weiterhin in der Verantwortung von Menschen bleiben, selbst wenn Maschinen technisch in der Lage wären, sie auszuführen.

Die Idee ist überzeugend – und zugleich grundlegend problematisch.

Die zentrale Herausforderung liegt in der Lücke zwischen menschliche Kontrolle zu verlangen und tatsächlich die Voraussetzungen für eine sinnvolle menschliche Kontrolle zu schaffen.

Unternehmen setzen KI vor allem ein, um Arbeit schneller, günstiger und skalierbarer zu machen. Eine echte menschliche Überprüfung erfordert dagegen Zeit, Fachwissen und Geld. Wenn diese Ressourcen nicht bewusst in den Prozess eingebaut werden, kann der Mensch auf kaum mehr als den letzten Klick zur Freigabe reduziert werden.

Die betreffende Person bleibt rechtlich oder organisatorisch verantwortlich, versteht die Empfehlung aber möglicherweise nicht mehr gut genug, um sie infrage zu stellen.

An diesem Punkt ist der Mensch nicht mehr die letzte Instanz.

Er wird zum „Meatproxy“: einem menschlichen Stellvertreter, der einer Entscheidung formale Legitimität verleiht, obwohl diese Entscheidung faktisch bereits von einer Maschine getroffen wurde.

Damit stellt sich die wichtigere Frage:

Hat ein Mensch tatsächlich noch die Kontrolle – oder steht ein Mensch lediglich am Ende des Workflows?

Der entscheidende Test ist nicht, ob ein Mensch irgendwo im Prozess beteiligt ist.

Entscheidend ist, ob diese Person noch über das Wissen, die Zeit, die Befugnis und die praktische Möglichkeit verfügt, eine andere Entscheidung zu treffen.

Was meint Bill Gates mit „Human Reserved“?

Gates vergleicht seinen Vorschlag mit einem Naturschutzgebiet.

Ein bestimmtes Gebiet könnte technisch für eine Bebauung zur Verfügung stehen. Die Gesellschaft kann sich jedoch bewusst dafür entscheiden, es zu schützen, weil der Verlust dieses Gebiets unerwünscht wäre.

Genauso könnten bestimmte Tätigkeiten technisch automatisierbar sein und dennoch bewusst dem Menschen vorbehalten bleiben.

Ein Beispiel, das Gates nennt, ist die Pflege seines an Alzheimer erkrankten Vaters. Die menschliche Verbindung, die durch Pflegekräfte entsteht, könne seiner Ansicht nach nicht einfach durch einen Roboter ersetzt werden.

Ähnlich stellt er die Frage, ob eine Maschine jemals diejenige sein sollte, die einem Patienten mitteilt, dass seine Erkrankung tödlich verlaufen wird.

Technisch könnte eine Maschine diese Nachricht übermitteln.

Gesellschaftlich und ethisch argumentiert Gates jedoch, dass diese Verantwortung beim Menschen bleiben sollte.

Wichtig ist dabei, dass Gates’ ursprünglicher Essay „The Turbulent AI Era Is Here. The Choices We Make Now Are Critical“ differenzierter ist, als manche Schlagzeilen vermuten lassen.

Er fordert nicht, dass ganze Berufsgruppen einfach vor KI geschützt werden sollen.

Im Bildungsbereich und bei psychologischer Unterstützung beschreibt er beispielsweise hybride Modelle, in denen Menschen weiterhin die Verantwortung tragen, während KI ihre Fähigkeiten erweitert.

Er erkennt außerdem an, dass die Grenzen von Land zu Land unterschiedlich sein können.

Ein Land mit einem erheblichen Mangel an Pflegekräften könnte Pflege-Roboter anders bewerten als ein Land, das sich bewusst dafür entscheidet, menschliche Pflege als gesellschaftlichen Wert zu erhalten.

Gates bringt außerdem ein wirtschaftliches Argument vor.

Bestimmte Tätigkeiten könnten vorübergehend geschützt werden, wenn eine schnelle Automatisierung große Mengen an Arbeitsplätzen vernichten würde und den betroffenen Beschäftigten gleichzeitig nur wenige realistische Möglichkeiten zur Umschulung blieben.

Darüber hinaus hat er Steuern oder Gebühren auf Roboter und KI-Nutzung vorgeschlagen, um Umschulungen und soziale Sicherungssysteme zu finanzieren.

Damit präsentiert Gates kein vollständiges regulatorisches Konzept.

Er stellt vielmehr ein gesellschaftliches Gestaltungsproblem zur Diskussion.

Wer entscheidet, welche Tätigkeiten geschützt werden sollen?

Nach welchen Kriterien?

Wie verhindern wir, dass Unternehmen solche Regeln umgehen?

Und wie können solche Schutzmechanismen in einer internationalen Wirtschaft funktionieren?

Diese Fragen sind weiterhin offen.

Die Vorteile von „Human Reserved“

1. Menschliche Beziehungen schützen

Bei manchen Dienstleistungen ist die menschliche Beziehung nicht nur das Mittel zur Erbringung der Leistung. Sie ist selbst Teil der Leistung.

Pflege, Trauerbegleitung, Bildung, Therapie und die Übermittlung verheerender Nachrichten beinhalten mehr als die bloße Übermittlung korrekter Informationen.

Blickkontakt, Mitgefühl, situatives Bewusstsein und die Bereitschaft, Verantwortung für einen anderen Menschen zu übernehmen, besitzen einen eigenen Wert.

Eine KI kann empathisch klingende Sprache erzeugen.

Das bedeutet jedoch nicht automatisch, dass zwischen dem Menschen und dem System eine wechselseitige menschliche Beziehung besteht.

Wenn menschliche Nähe ausschließlich danach bewertet wird, wie überzeugend eine Formulierung klingt, reduzieren wir etwas zutiefst Menschliches auf eine Benutzeroberfläche.

2. Normative Entscheidungen schützen

Viele Entscheidungen lassen sich nicht auf die Berechnung einer einzigen objektiv richtigen Antwort reduzieren.

Sie beinhalten Werturteile:

• Welches Risiko ist akzeptabel?
• Welche Interessen sollten Vorrang haben?
• Wann ist eine Ausnahme gerechtfertigt?
• Welche langfristige Strategie entspricht den Zielen einer Organisation?
• Welches Ergebnis ist gesellschaftlich wünschenswert?

KI kann Argumente, Daten und Szenarien strukturieren.

Die zugrunde liegenden Werte dürfen jedoch nicht stillschweigend in Trainingsdaten, Systemanweisungen oder Optimierungszielen verschwinden.

„Human Reserved“ kann deshalb etwas Grundsätzlicheres bedeuten:

Die Maschine darf die Analyse liefern – aber Menschen bestimmen, welche Ziele überhaupt verfolgenswert sind.

3. Widerstandsfähigkeit in Ausnahmesituationen

Automatisierte Systeme sind besonders effektiv, wenn sie häufig auftretende und strukturierte Fälle bearbeiten.

Seltene Ausnahmen sind etwas anderes.

Veränderte Rahmenbedingungen, ungewöhnliche Kombinationen von Faktoren oder fehlerhafte Eingabedaten können systematische Fehler verursachen.

Menschen können Widersprüche erkennen, fehlenden Kontext ergänzen und einen Prozess stoppen, bevor sich ein Fehler weiter ausbreitet.

Das wird besonders wichtig, wenn ein einzelner Fehler schwerwiegende Folgen haben könnte – oder wenn eine Automatisierung denselben Fehler tausendfach reproduzieren kann.

4. Gesellschaftliche Stabilität

Arbeit bietet mehr als Einkommen.

Sie kann schaffen:

• Soziale Zugehörigkeit
• Anerkennung
• Tagesstruktur
• Berufliche Identität
• Persönlichen Sinn

Die schnelle Verdrängung großer Gruppen von Beschäftigten kann daher gesellschaftliche Kosten verursachen, die in einer klassischen Wirtschaftlichkeitsrechnung niemals auftauchen.

Ein Unternehmen kann Einsparungen bei den Personalkosten berechnen, ohne die weiterreichenden gesellschaftlichen Folgen von Massenarbeitslosigkeit zu berücksichtigen.

Ein zeitlich begrenzter Schutz bestimmter Tätigkeiten könnte den Übergang verlangsamen und Zeit für Umschulungen, neue Geschäftsmodelle und politische Anpassungen schaffen.

5. Vertrauen und gesellschaftliche Akzeptanz

Menschen akzeptieren KI eher, wenn sie sich ihr gegenüber nicht völlig machtlos fühlen.

Ein erreichbarer menschlicher Ansprechpartner, ein funktionierender Beschwerdeprozess und die Möglichkeit, eine automatisierte Entscheidung überprüfen zu lassen, können Vertrauen schaffen.

Aber es gibt eine entscheidende Voraussetzung:

Der Mensch muss tatsächlich eingreifen können.

Ein Mensch, der lediglich bestätigen kann, was das System empfiehlt, bietet keine sinnvolle Kontrolle.

Der zentrale Widerspruch: Kontrolle verbraucht genau die Zeit, die KI einsparen sollte

Das größte praktische Problem von Gates’ Vorschlag liegt in der wirtschaftlichen Logik des KI-Einsatzes.

KI soll Recherche, Analyse, Schreiben und Entscheidungsvorbereitung beschleunigen.

Wenn ein Mensch anschließend jedoch jeden relevanten Schritt rekonstruieren und überprüfen muss, verschwindet ein großer Teil der eingesparten Arbeitszeit wieder.

Organisationen stehen deshalb vor einem grundlegenden Zielkonflikt:

• Je gründlicher ein Mensch das Ergebnis überprüft, desto kleiner wird der Zeitvorteil.
• Je größer der Druck ist, den Zeitvorteil tatsächlich zu realisieren, desto oberflächlicher wird die Überprüfung.
• Je zuverlässiger KI im Alltag erscheint, desto weniger wahrscheinlich ist es, dass Menschen sie infrage stellen.
• Je weniger Aufgaben Menschen selbst ausführen, desto schneller verlieren sie die Fähigkeit, seltene Fehler zu erkennen.

Eine Regel wie „Die endgültige Entscheidung muss immer von einem Menschen getroffen werden“ löst diesen Konflikt nicht.

Sie kann ihn sogar verschleiern.

Auf dem Organigramm bleibt der Mensch verantwortlich.

In der Praxis kann das System jedoch den Großteil der Informationen, der Argumentation und des Entscheidungsprozesses kontrollieren.

Vom Entscheidungsträger zum „Meatproxy“

Eine Person wird zum Meatproxy, wenn sie zwar formal beteiligt bleibt, aber keine unabhängige Entscheidungsfunktion mehr ausübt.

Warnsignale sind unter anderem:

• KI-Empfehlungen werden fast immer akzeptiert.
• Der Mensch hat nur einen Bruchteil der Zeit, die früher für die Bewertung eines Falls erforderlich war.
• Nutzer sehen nur eine Zusammenfassung statt der zugrunde liegenden Quellen.
• Das System erzeugt überzeugende Erklärungen, ohne Unsicherheiten oder Gegenargumente klar darzustellen.
• Der Mensch kann die Empfehlung technisch ablehnen, muss dies aber besonders begründen.
• Geschwindigkeit und Fallvolumen fließen in die Leistungsbewertung ein, sorgfältige Prüfung dagegen nicht.
• Fachwissen wird nicht mehr regelmäßig angewendet und nimmt allmählich ab.
• Wenn etwas schiefgeht, wird die Verantwortung dem menschlichen Freigeber zugeschoben, obwohl diese Person nur wenig Kontrolle über System, Daten oder Modellverhalten hatte.

Die Forscherin Madeleine Clare Elish beschreibt ein verwandtes Phänomen als „moral crumple zone“.

Der Begriff beschreibt Situationen, in denen Menschen die Verantwortung für das Versagen eines automatisierten Systems übernehmen, obwohl ihre tatsächliche Kontrolle über dieses System begrenzt war.

Der Mensch schützt die Gesellschaft dann nicht unbedingt vor der Maschine.

Stattdessen schützt er möglicherweise das technische und organisatorische System vor Verantwortung und Rechenschaft.

Automatisierungsbias und der Verlust menschlicher Expertise

Eine übermäßige Abhängigkeit von automatisierten Empfehlungen ist kein Problem, das erst durch generative KI entstanden ist.

Frühere Forschungen zum Automatisierungsbias zeigten, dass Entscheidungsunterstützungssysteme zwar die Gesamtleistung verbessern können, gleichzeitig aber dazu führen können, dass Nutzer automatisierte Empfehlungen fälschlicherweise akzeptieren.

Generative KI kann dieses Problem verschärfen, weil sie nicht lediglich eine Zahl, einen Score oder eine Warnung ausgibt.

Sie erzeugt eine kohärente Erklärung in natürlicher Sprache.

Und diese Erklärung kann überzeugend klingen.

Aber Plausibilität ist kein Beweis für Korrektheit.

Eine überzeugende Erklärung kann das Vertrauen sogar erhöhen, obwohl sie nicht korrekt wiedergibt, wie das System zu seiner Schlussfolgerung gelangt ist.

Das Generative Artificial Intelligence Profile des National Institute of Standards and Technology (NIST) warnt ausdrücklich vor einer übermäßigen Abhängigkeit von zunehmend leistungsfähigen KI-Systemen. Automatisierungsbias kann zu erfundenen Informationen, Verzerrungen und einer Homogenisierung von Ergebnissen beitragen.

Es gibt ein weiteres verwandtes Problem: den Out-of-the-Loop-Effekt.

Wenn Menschen aufhören, eine Aufgabe aktiv selbst auszuführen, können sie ihr Situationsbewusstsein und ihre praktischen Fähigkeiten verlieren.

Wenn ein seltener Systemfehler schließlich dazu führt, dass sie übernehmen müssen, sind sie möglicherweise ausgerechnet dann am schlechtesten vorbereitet, wenn ihre Expertise am dringendsten benötigt wird.

Lisanne Bainbridge beschrieb dieses Problem bereits 1983 als eine der „Ironien der Automatisierung“. Spätere Forschungen von Mica Endsley und Esin Kiris untersuchten das Out-of-the-Loop-Problem experimentell.

Die Ironie ist einfach:

Je zuverlässiger eine Automatisierung unter normalen Bedingungen funktioniert, desto weniger Übung erhalten Menschen für außergewöhnliche Situationen.

Eine menschliche Rückfallebene ist deshalb nicht automatisch zuverlässig, nur weil ein Mensch verfügbar ist.

Was muss ein Mensch tatsächlich verstehen?

Es wäre unrealistisch, von jedem KI-Nutzer zu verlangen, die mathematische Architektur eines Large Language Models zu verstehen.

Auch Nutzer herkömmlicher Software verstehen nicht jede einzelne Codezeile.

Die entscheidende Frage lautet vielmehr:

Auf welcher Ebene muss menschliches Verständnis vorhanden sein, damit echte Kontrolle möglich ist?

Ebene	Fähigkeit des Menschen	Reicht das für echte Kontrolle?
Kenntnisnahme	Der Nutzer sieht das Ergebnis.	Nein
Plausibilitätsprüfung	Das Ergebnis erscheint aufgrund von Erfahrung und Kontext vernünftig.	Nur für risikoarme, leicht reversible Aufgaben
Verifizierung	Quellen, Annahmen und kritische Zwischenschritte können überprüft werden.	Für viele Entscheidungen mittleren Risikos geeignet
Unabhängiges Urteil	Der Mensch könnte ohne KI eine begründete Entscheidung treffen und erkennen, wann er von der KI abweichen sollte.	Erforderlich bei folgenreichen individuellen Entscheidungen
Systemkompetenz	Die Organisation versteht Systemgrenzen, Fehlermuster, Datenabhängigkeiten und Monitoring-Verfahren.	Für einen verantwortungsvollen Gesamtbetrieb erforderlich

Nicht jeder Mitarbeiter muss über jede dieser Kompetenzstufen verfügen.

Die Organisation muss jedoch eindeutig festlegen, wer über welche Fähigkeiten verfügt.

Ein Sachbearbeiter könnte beispielsweise für die inhaltliche Entscheidung verantwortlich sein, während ein anderes Team die Modellqualität, den Datenschutz, die Sicherheit und systemische Verzerrungen überwacht.

Verantwortung sollte nicht einfach der Person zugewiesen werden, die auf „Genehmigen“ geklickt hat.

Die Risiken eines dauerhaften „Human Reserve“

Gates’ Vorschlag schützt wichtige Werte, könnte aber gleichzeitig neue Probleme schaffen.

Höhere Kosten und geringere Verfügbarkeit

Menschliche Dienstleistungen sind begrenzt und teuer.

In Regionen mit einem Mangel an Ärzten kann eine hochwertige KI-gestützte Erstberatung besser sein als überhaupt keine Beratung.

Dasselbe gilt für Bildung, psychologische Unterstützung und Pflege.

Wenn eine Dienstleistung ausschließlich Menschen vorbehalten bleibt, kann sich der Zugang sogar verschlechtern.

Die humane Lösung ist deshalb nicht automatisch diejenige mit dem höchsten Anteil menschlicher Arbeit.

Manchmal entsteht der menschliche Nutzen gerade dadurch, dass KI eine Dienstleistung bezahlbar und verfügbar macht.

Bestehende Berufe statt menschlicher Werte schützen

Berufsgruppen könnten „Human Reserved“ nutzen, um sich gegen Wettbewerb und technologischen Wandel zu schützen.

In diesem Fall würde die Regel weder Würde, Beziehungen noch Sicherheit schützen.

Sie würde bestehende Marktpositionen schützen.

Ineffiziente Prozesse könnten bestehen bleiben, obwohl Automatisierung Kunden und Gesellschaft eindeutig zugutekäme.

Deshalb sollten wir nicht zwangsläufig ganze Berufe schützen.

Wir sollten bestimmte Beziehungen, Entscheidungen und Verantwortungsbereiche schützen.

Menschen sind nicht automatisch besser

Auch Menschen machen Fehler.

Sie übersehen Informationen, treffen inkonsistente Entscheidungen und werden durch Vorurteile, Müdigkeit, Anreize und persönliche Interessen beeinflusst.

Eine Entscheidung ist nicht automatisch besser, nur weil sie von einem Menschen getroffen wurde.

Bei manchen Aufgaben kann ein angemessen getestetes automatisiertes System konsistenter, fairer und zuverlässiger sein als eine unstrukturierte menschliche Entscheidung.

Das Ziel sollte deshalb nicht lauten:

Mensch gegen Maschine.

Sondern:

Die richtige Fähigkeit für das jeweilige Risikoniveau.

Internationale Wettbewerbsnachteile

Wenn ein Land menschliche Beteiligung vorschreibt, während ein anderes denselben Prozess vollständig automatisiert, können erhebliche Kostenunterschiede entstehen.

Unternehmen könnten Tätigkeiten ins Ausland verlagern oder automatisierte Dienstleistungen aus anderen Ländern beziehen.

Gates selbst bezeichnet dies als ungelöstes Problem.

Ohne internationale Koordination könnte ein Vorbehalt für menschliche Tätigkeiten entweder zu einem Wettbewerbsnachteil oder zu einer weitgehend symbolischen Regel werden, die nur schwer durchsetzbar ist.

Neue Formen sozialer Ungleichheit

Zwei gegensätzliche Entwicklungen sind möglich.

Wohlhabendere Kunden könnten persönliche menschliche Dienstleistungen erhalten, während alle anderen auf günstigere KI-Alternativen verwiesen werden.

Umgekehrt könnte eine verpflichtende menschliche Beteiligung Dienstleistungen so teuer machen, dass Menschen mit geringerem Einkommen den Zugang verlieren.

Ein sinnvoller Rahmen muss deshalb mehr fragen als:

„Ist ein Mensch beteiligt?“

Er muss auch fragen:

„Wer hat Zugang zu menschlicher Unterstützung – und wer kann sie sich leisten?“

Vier mögliche Betriebsmodelle

1. Vollständige Automatisierung

So funktioniert es:

Die KI erledigt die Aufgabe von Anfang bis Ende mit wenig oder gar keiner menschlichen Beteiligung.

Hauptvorteile:

• Maximale Geschwindigkeit
• Hohe Skalierbarkeit
• Konsistente Ergebnisse

Hauptrisiken:

• Fehler können sich schnell verbreiten.
• Menschen haben nur wenig Kontrolle über einzelne Entscheidungen.

Geeignet für:

Routineaufgaben, die standardisiert und messbar sind und sich leicht rückgängig machen lassen.

2. KI-Empfehlung + menschliche Freigabe

So funktioniert es:

Die KI gibt eine Empfehlung ab, die anschließend von einem Menschen geprüft und freigegeben wird.

Hauptvorteile:

• Einfach in bestehende Workflows integrierbar
• Ein Mensch bleibt formal beteiligt

Hauptrisiken:

• Menschen könnten einfach bestätigen, was die KI empfiehlt.
• Die Verantwortung bleibt möglicherweise beim Menschen, obwohl die KI die Entscheidung faktisch getroffen hat.

Geeignet für:

Aufgaben, bei denen der Mensch ausreichend Zeit, Fachwissen und Befugnis besitzt, um die Empfehlung tatsächlich zu überprüfen.

3. Menschliches Urteil zuerst, KI danach

So funktioniert es:

Der Mensch nimmt zunächst eine eigene Einschätzung vor, bevor er die Empfehlung der KI sieht. Anschließend liefert die KI eine zweite Meinung.

Hauptvorteile:

• Bewahrt unabhängiges menschliches Urteilsvermögen
• Die KI kann die menschliche Einschätzung hinterfragen oder ergänzen.

Hauptrisiken:

• Benötigt mehr Zeit
• Kann zu doppelter Arbeit führen

Geeignet für:

Seltene oder besonders folgenschwere Entscheidungen, bei denen unabhängiges menschliches Urteil entscheidend ist.

4. Risikobasierte Kontrolle

So funktioniert es:

Das Ausmaß der menschlichen Beteiligung richtet sich nach den möglichen Folgen eines KI-Fehlers.

Hauptvorteile:

• Die meiste Kontrolle dort, wo sie am wichtigsten ist
• Vermeidet unnötigen menschlichen Aufwand bei risikoarmen Aufgaben

Hauptrisiken:

• Die Risikoklassifizierung selbst kann falsch oder unvollständig sein.

Geeignet für:

Die meisten realen KI-Anwendungen in Organisationen.

Der beste Ansatz?

In der Praxis sollten Organisationen wahrscheinlich nicht verlangen, dass ein Mensch jede einzelne KI-Entscheidung freigibt.

Stattdessen ist es sinnvoller, das Ausmaß der menschlichen Kontrolle an das jeweilige Risiko anzupassen.

Risikoarme Aufgaben können weitgehend automatisiert werden.

Aufgaben mit mittlerem Risiko können KI-Empfehlungen mit einer sinnvollen menschlichen Überprüfung kombinieren.

Bei Entscheidungen mit hohem Risiko sollte unabhängiges menschliches Urteilsvermögen erhalten bleiben.

Das Ziel besteht nicht darin, Menschen überall einzubinden. Das Ziel ist, Menschen dort tatsächlich in Kontrolle zu halten, wo es darauf ankommt.

Ein praktisches Modell für menschliche Kontrolle

Grün: Automatisierung mit Monitoring

Aufgaben der grünen Kategorie haben begrenzte Auswirkungen, leicht erkennbare Fehler und einfache Möglichkeiten zur Korrektur.

Beispiele:

• Formatierung
• Vorläufige Verschlagwortung
• Erkennung von Duplikaten
• Interne Entwürfe
• Routineklassifizierung

Die KI kann hier weitgehend autonom arbeiten.

Organisationen benötigen jedoch weiterhin Protokollierung, Qualitätskennzahlen, regelmäßige Stichproben und einen einfachen Mechanismus, um fehlerhafte Ergebnisse rückgängig zu machen.

Gelb: Überprüfbare Entscheidungsunterstützung

Aufgaben der gelben Kategorie können relevante, aber in der Regel reversible Folgen haben.

Die KI erstellt eine Empfehlung.

Der Mensch überprüft die entscheidenden Fakten und Quellen, anstatt jeden technischen Verarbeitungsschritt vollständig zu rekonstruieren.

Das System sollte mindestens Folgendes bereitstellen:

• Originalquellen
• Zentrale Annahmen
• Bekannte Unsicherheiten
• Mögliche Gegenargumente
• Fehlende oder widersprüchliche Informationen
• Die möglichen Folgen einer falschen Entscheidung

Eine lediglich überzeugende Erklärung reicht nicht aus.

Rot: Unabhängiges menschliches Urteil

Entscheidungen der roten Kategorie haben irreversible oder schwer reversible Folgen, betreffen den Verlust von Rechten, erhebliche finanzielle Auswirkungen, Gesundheitsrisiken oder besonders wichtige ethische bzw. persönliche Fragen.

Hier sollte der Mensch idealerweise ein erstes eigenes Urteil bilden, bevor er die Empfehlung der KI sieht.

Die KI kann anschließend dienen als:

• Rechercheassistent
• Zweitmeinung
• Quelle für Gegenargumente
• Konsistenzprüfung

Je nach Konsequenzen können zusätzliche Schutzmaßnahmen erforderlich sein, beispielsweise das Vier-Augen-Prinzip, eine dokumentierte Begründung und eine Trennung zwischen Empfehlung und Freigabe.

Die geringeren Zeiteinsparungen auf dieser Ebene sind kein Designfehler.

Sie sind der Preis für echte Kontrolle.

Sieben Voraussetzungen, um den Meatproxy-Effekt zu verhindern

1. Ein eigenes und finanziertes Budget für Kontrolle

Überprüfung benötigt Arbeitszeit.

Wenn diese Zeit nicht ausdrücklich eingeplant und finanziert wird, existiert menschliche Kontrolle nur auf dem Papier.

Organisationen sollten für jede Risikokategorie festlegen, welcher Prüfaufwand realistisch erforderlich ist und wer dafür verantwortlich ist.

2. Zugang zu Primärquellen

Nutzer müssen von einer KI-generierten Antwort zu den zugrunde liegenden Dokumenten und Daten gelangen können, die für die Entscheidung relevant sind.

Eine weitere KI-generierte Zusammenfassung ist keine unabhängige Quelle.

3. Das Recht und die Fähigkeit zu widersprechen

Wer eine KI-Empfehlung ablehnen soll, benötigt sowohl fachliche als auch organisatorische Befugnis dazu.

Widerspruch sollte nicht automatisch als Leistungsproblem betrachtet werden.

Außerdem muss es einen klaren Eskalationsweg für schwierige Fälle geben.

4. Menschliche Expertise erhalten

Regelmäßige manuelle Arbeit, Blindtests ohne KI-Empfehlungen, Schulungen und die gemeinsame Analyse von Fehlern können dazu beitragen, Fachwissen zu erhalten.

Ein Rückfallsystem, das niemals geübt wird, ist kein zuverlässiges Rückfallsystem.

5. Unabhängige Qualitätsmessung

Organisationen sollten den Erfolg von KI nicht ausschließlich daran messen, wie viele Fälle schneller abgeschlossen werden.

Sie sollten auch überwachen:

• Fehlertypen
• Korrekturen
• Beschwerden
• Beinahe-Fehler
• Unterschiede zwischen menschlichen und KI-Entscheidungen
• Menschliche Leistung ohne KI-Unterstützung

Eine konstant nahezu 100-prozentige Zustimmungsrate kann ein Warnsignal sein.

Sie kann auf eine hervorragende Modellleistung hindeuten.

Sie kann aber auch bedeuten, dass Menschen die Ergebnisse nicht mehr wirklich überprüfen.

6. Sichtbare Einschränkungen statt künstlicher Gewissheit

KI-Systeme sollten Unsicherheiten, fehlende Informationen und bekannte Einschränkungen klar kommunizieren.

Erklärungen sollten Nutzern helfen, eine Antwort zu bewerten – nicht sie lediglich davon überzeugen, ihr zu vertrauen.

7. Verantwortung muss tatsächlicher Kontrolle folgen

Verantwortung sollte entsprechend dem tatsächlichen Einfluss verteilt werden auf:

• Systembetreiber
• Entwickler
• Datenlieferanten
• Führungskräfte
• Fachexperten
• Entscheidungsträger

Die Person am Ende des Workflows sollte nicht automatisch zum Haftungsableiter für Fehler werden, die an anderer Stelle im System entstanden sind.

Regulierung allein reicht nicht aus

Der AI Act der Europäischen Union verfolgt bei Hochrisiko-KI-Systemen ein ähnliches Prinzip.

Menschliche Kontrolle soll es Menschen ermöglichen, die Fähigkeiten und Grenzen eines Systems zu verstehen, Automatisierungsbias zu berücksichtigen, Ergebnisse richtig zu interpretieren, Ergebnisse zu übersteuern oder zu ignorieren und das System bei Bedarf zu stoppen.

Auch das freiwillige AI Risk Management Framework des National Institute of Standards and Technology (NIST) betont klar definierte Rollen, Kompetenzanforderungen, Schulungen, risikobasierte Ressourcen und kontinuierliches Monitoring.

Diese Anforderungen sind wichtig.

Sie lösen jedoch nicht den zugrunde liegenden wirtschaftlichen Konflikt.

Kein Gesetz und keine Richtlinie schaffen automatisch:

• Fachwissen
• Prüfzeit
• Organisatorische Befugnisse
• Die Bereitschaft, ein KI-System infrage zu stellen

Eine Organisation kann einem Menschen formal eine Rolle in einem Prozess zuweisen und gleichzeitig den Prozess so gestalten, dass dieser Mensch praktisch keine realistische Möglichkeit hat, etwas anderes zu tun als das Ergebnis zu bestätigen.

Effektive Kontrolle ist keine Funktion eines Freigabeknopfes.

Sie ist eine Eigenschaft des gesamten Betriebsmodells.

Beispiel: KI in Software für IP-Management

Betrachten wir Software für das Management von Patenten und Marken.

Eine sinnvolle Aufteilung der Verantwortlichkeiten könnte folgendermaßen aussehen:

Aufgabe	Rolle der KI	Erforderliche menschliche Rolle
Dokumenttyp erkennen und Schlagwörter vorschlagen	Weitgehend automatisierte Verarbeitung	Stichproben und einfache Korrekturen
Dateiinhalte zusammenfassen	Entwurf mit Quellenangaben	Prüfung vor externer oder strategischer Nutzung
Rechercheergebnisse strukturieren	Ergebnisse organisieren, Ähnlichkeiten und Lücken identifizieren	Relevanz und rechtliche Bedeutung beurteilen
Fristen oder rechtlichen Status bewerten	Informationen vorbereiten und Widersprüche kennzeichnen	Verbindliche Überprüfung anhand zuverlässiger offizieller und regelbasierter Quellen
Empfehlung zur Aufrechterhaltung oder Aufgabe eines Schutzrechts	Kosten, Portfoliokontext und Szenarien darstellen	Unabhängige geschäftliche und rechtliche Entscheidung
Negative verfahrensbezogene Entscheidung kommunizieren	Formulierung vorbereiten	Verantwortung für den Inhalt übernehmen und sensible Kommunikation persönlich führen

Das Design der Software ist entscheidend.

Ein System, das Zeit spart, indem es Kontext verbirgt, schwächt die menschliche Kontrolle.

Ein System, das Zeit spart, indem es Quellen, Widersprüche und entscheidungsrelevante Informationen strukturiert, kann sie dagegen stärken.

Dieser Unterschied ist fundamental.

Fazit: Menschliche Kontrolle ist kein kostenloses Feature

Bill Gates hat recht damit, eine Frage aufzuwerfen, die in der KI-Debatte häufig übersehen wird:

Nicht alles, was technisch automatisiert werden kann, sollte automatisch auch automatisiert werden.

Menschliche Beziehungen, normative Urteile, Verantwortung und gesellschaftliche Stabilität besitzen einen Wert, der sich nicht vollständig über Verarbeitungszeit und Kosten ausdrücken lässt.

Das Konzept „Human Reserved“ bleibt jedoch unvollständig, solange es nicht mit der wirtschaftlichen Realität von Organisationen verbunden wird.

Unternehmen setzen KI ein, weil sie Zeit sparen wollen.

Sinnvolle menschliche Kontrolle kostet Zeit.

Wenn Organisationen nicht bereit sind, diesen Preis zu bezahlen, wird der Mensch zum Meatproxy: Er genehmigt Entscheidungen, die er nicht mehr unabhängig beurteilen kann, und übernimmt Verantwortung für Systeme, die er nicht selbst entwickelt hat.

Die Lösung ist weder uneingeschränkte Automatisierung noch die universelle Forderung nach einem menschlichen Klick auf „Freigeben“.

Was wir brauchen, ist eine bewusste Verteilung von Verantwortung:

• Automatisierung für reversible, messbare Routineaufgaben.
• Überprüfbare KI-Unterstützung für Entscheidungen mit mittlerem Risiko.
• Unabhängiges menschliches Urteil für irreversible und normative Entscheidungen.
• Menschliche Beziehungen dort, wo die Beziehung selbst Teil der Dienstleistung ist.

„Human Reserved“ sollte deshalb nicht zu einem Schutzgebiet für ganze Berufsgruppen werden.

Es sollte zu einem geschützten Raum für menschliches Urteilsvermögen, Verantwortung und Beziehungen werden.

Denn menschliche Kontrolle kostet Zeit, Fachwissen, Befugnisse und Geld.

Wenn Organisationen sinnvolle menschliche Kontrolle versprechen, müssen sie alle vier bereitstellen.

Andernfalls ist der Mensch nicht die letzte Verteidigungslinie.

Er ist lediglich die letzte Unterschrift.

Weiterführende Literatur

• Bill Gates — The Turbulent AI Era Is Here. The Choices We Make Now Are Critical (2026)
• Europäische Union — Verordnung (EU) 2024/1689, der EU AI Act, insbesondere Artikel 14 zur menschlichen Kontrolle
• National Institute of Standards and Technology (NIST) — Artificial Intelligence Risk Management Framework
• National Institute of Standards and Technology (NIST) — Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile (2024)
• Lisanne Bainbridge — Ironies of Automation (Automatica, 1983)
• Mica R. Endsley & Esin O. Kiris — The Out-of-the-Loop Performance Problem and Level of Control in Automation (Human Factors, 1995)
• Madeleine Clare Elish — Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction (2019)
• Kate Goddard, Abdul Roudsari & Jeremy C. Wyatt — Automation Bias: A Systematic Review of Frequency, Effect Mediators, and Mitigators (2012)