Explainable AI: Warum wir verstehen müssen, was KI denkt

Autor: Dirk Röthig, CEO VERDANTIS Impact Capital
Datum: 9. April 2026
Kategorie: KI-Wettbewerb / Technologie

Künstliche Intelligenz trifft täglich Millionen von Entscheidungen, die das Leben von Menschen direkt beeinflussen. Kreditgenehmigungen, Stellenauswahlverfahren, medizinische Diagnosen, strafrechtliche Risikoeinschätzungen. Und in den meisten Fällen können die betroffenen Menschen nicht nachvollziehen, warum die Maschine so entschieden hat. Explainable AI (XAI) – erklärbare Künstliche Intelligenz – ist der Versuch, diese Blackbox zu öffnen. Nicht nur aus ethischen Gründen, sondern weil es zunehmend auch eine rechtliche und geschäftliche Notwendigkeit ist.

Das Blackbox-Problem

Moderne KI-Systeme – insbesondere tiefe neuronale Netze – sind von Natur aus schwer zu interpretieren. Ein Netz mit Milliarden von Gewichtungsparametern, das sich über Hunderte von Schichten erstreckt, folgt keiner menschlich lesbaren Logik. Es gibt keine "Wenn-Dann"-Regeln, die man extrahieren könnte. Es gibt nur Gewichte, Aktivierungsfunktionen und Gradienten.

Das war lange akzeptabel, wenn die Konsequenzen gering waren – etwa beim Empfehlungsalgorithmus für Streaming-Inhalte. Wenn aber ein KI-System über Kredit, Freiheit oder Gesundheit entscheidet, ist die Forderung nach Erklärbarkeit nicht nur moralisch begründet, sondern zunehmend rechtlich kodifiziert.

Die Datenschutz-Grundverordnung (DSGVO) enthält in Art. 22 das "Recht auf Erklärung" für automatisierte Einzelentscheidungen mit signifikanten Auswirkungen. Der EU AI Act (2024) geht weiter: Hochrisiko-KI-Systeme müssen nachweislich erklärbar sein, und die technische Dokumentation muss Behörden und Auditoren zugänglich sein.

Die wichtigsten XAI-Methoden

XAI ist kein einzelnes Verfahren, sondern ein Werkzeugkasten verschiedener Methoden, die für unterschiedliche Anforderungen geeignet sind.

LIME (Local Interpretable Model-Agnostic Explanations): LIME erklärt einzelne Vorhersagen, indem es das Verhalten des Modells in der Umgebung einer spezifischen Instanz durch ein einfacheres, interpretierbares Modell approximiert. Beispiel: Wenn ein Kreditantrag abgelehnt wurde, erklärt LIME, welche Merkmale (Einkommen, Schuldenquote, Beschäftigungsdauer) den größten Einfluss auf diese spezifische Entscheidung hatten.

SHAP (Shapley Additive Explanations): SHAP basiert auf dem spieltheoretischen Konzept der Shapley-Werte und berechnet den Beitrag jedes Merkmals zur Vorhersage fair und konsistent. Im Gegensatz zu LIME sind SHAP-Werte global kohärent – die Erklärungen für einzelne Instanzen summieren sich zum globalen Modellverhalten auf. Das ist ein wichtiger Vorteil für Audit-Zwecke.

Attention Mechanisms: In Transformer-Architekturen (GPT, BERT) visualisieren Attention-Maps, auf welche Teile der Eingabe das Modell bei der Generierung einer Ausgabe "geachtet" hat. Das ist nicht dasselbe wie kausale Erklärung, gibt aber hilfreiche Hinweise auf die Informationsgewichtung.

Concept-based Explanations: Neuere Methoden wie TCAV (Testing with Concept Activation Vectors) gehen über Feature-Attribution hinaus und fragen: "Welche menschlich verständlichen Konzepte nutzt das Modell?" Das ist näher an der Art, wie Menschen denken.

Counterfactual Explanations: Statt zu erklären, warum eine Entscheidung getroffen wurde, erklären Counterfactuals, was sich hätte ändern müssen, damit eine andere Entscheidung gefallen wäre. "Ihr Kredit wurde abgelehnt. Wenn Ihr Jahreseinkommen 5.000 Euro höher gewesen wäre, wäre der Antrag genehmigt worden." Das ist für Betroffene oft die nützlichste Form der Erklärung.

Grenzen der Erklärbarkeit

Dirk Röthig formuliert eine wichtige Einschränkung: "Es gibt einen fundamentalen Trade-off zwischen Modellkomplexität und Erklärbarkeit. Die mächtigsten Modelle sind die am schwersten erklärbaren. XAI-Methoden approximieren Erklärungen – sie liefern keine kausale Einsicht in das Modellverhalten."

Das ist keine Kleinigkeit. Studien haben gezeigt, dass LIME-Erklärungen für dasselbe Modell bei leicht veränderten Eingaben erheblich schwanken können – sie sind instabil. SHAP-Werte sind mathematisch konsistent, aber ihre Interpretation als "kausale" Beiträge ist nicht gerechtfertigt.

Forscher der Harvard John A. Paulson School of Engineering haben 2024 ein Papier veröffentlicht, das zeigt, dass gängige XAI-Methoden in der Praxis oft "post-hoc Rationalisierungen" liefern – plausible, aber nicht notwendigerweise wahre Erklärungen für das Modellverhalten. Das ist ein ernsthaftes Problem für regulatorische Anwendungen, die auf Erklärbarkeit angewiesen sind.

Anwendungsbeispiele aus der Praxis

Medizinische Diagnostik: IBM's Watson for Oncology war ein Frühbeispiel für die Notwendigkeit von Erklärbarkeit: Ärzte akzeptierten keine Behandlungsempfehlungen, die sie nicht nachvollziehen konnten – unabhängig von der statistischen Treffsicherheit des Systems. Heute integrieren KI-Diagnosesysteme systematisch Erklärungsschichten, die Ärzten zeigen, welche Bildbereiche oder Biomarker die Diagnose getrieben haben.

Finanzen: Kreditinstitute nutzen XAI nicht nur für Compliance, sondern auch für interne Modellvalidierung. Wenn SHAP-Werte zeigen, dass ein Kredit-Scoring-Modell stark auf ethnisch korrelierten Proxy-Variablen basiert, ist das ein Frühwarnzeichen für Diskriminierungsrisiken.

Autonome Fahrzeuge: In sicherheitskritischen Systemen wird von Regulatoren verlangt, dass Entscheidungen der Fahrsoftware nachvollziehbar sind. XAI-Methoden helfen Ingenieuren, zu verstehen, warum ein System in einer bestimmten Situation so und nicht anders reagiert hat – entscheidend für Unfallanalyse und -prävention.

VERDANTIS und XAI

Für VERDANTIS Impact Capital ist XAI vor allem aus Governance-Perspektive relevant. KI-Systeme, die in Impact-relevanten Kontexten eingesetzt werden – Biodiversitätsbewertung, CO2-Kreditverifizierung, Bodenqualitätsanalyse –, müssen erklärbar sein, um Vertrauen bei Investoren, Regulatoren und Projektpartnern zu schaffen.

Unsere Analyse: Unternehmen, die XAI proaktiv implementieren und Erklärbarkeit als Qualitätsmerkmal kommunizieren, haben einen Vertrauensvorsprung gegenüber Wettbewerbern, die weiterhin auf Blackbox-Systeme setzen. Insbesondere im Kontext der EU AI Act-Compliance wird XAI-Fähigkeit zu einem klaren Differenzierungsmerkmal.

Fazit: Erklärbarkeit als demokratische Anforderung

Explainable AI ist letztlich eine demokratische Anforderung. In einer Gesellschaft, die auf dem Prinzip beruht, dass Entscheidungen, die Menschen betreffen, nachvollziehbar und anfechtbar sein müssen, darf KI keine Ausnahme sein. Die Technologie ist noch nicht perfekt. Aber die Richtung ist klar: Hin zu Systemen, die nicht nur richtig entscheiden, sondern auch erklären können, warum.

Das ist kein Luxus. Es ist eine Grundvoraussetzung für legitime KI.

Über den Autor:
Dirk Röthig ist CEO von VERDANTIS Impact Capital und analysiert die regulatorischen und ethischen Dimensionen der KI-Entwicklung. Er schreibt über die Schnittstellen von Technologie, Governance und nachhaltiger Wertschöpfung.
Website: verdantiscapital.com | dirkroethig.com
Kontakt: dirk.roethig2424@gmail.com