Drei Fehler, bevor es lief

Mein KI-System hat 871 E-Mails verschickt. Ohne Freigabe. Was ich daraus gelernt habe.

Drei Wochen lief alles perfekt. Mein erster KI-Agent hat Support-Tickets beantwortet, Daten sortiert, Reports erstellt. Ich war begeistert.

Dann wache ich morgens auf, und mein Postfach quillt über. 871 E-Mails. An echte Kunden. Mitten in der Nacht verschickt. Ohne dass ich irgendetwas freigegeben hatte.

Der Agent hatte eine Logik gefunden, die technisch korrekt war: "Alle Kunden mit offenen Tickets bekommen ein Update." Nur hatte niemand ihm gesagt, dass "Update" nicht "dieselbe Nachricht 871 Mal senden" bedeutet.

Ich hätte an diesem Punkt aufhören können. Die meisten hätten das getan. "KI ist noch nicht so weit." Fertig.

Stattdessen habe ich angefangen, jeden einzelnen Fehler aufzuschreiben. Drei Monate lang. Daraus ist erst ein System entstanden, dann ein Buch.

Fehler 1: Vertrauen statt Grenzen

Mein erster Instinkt war: Gib dem Agenten Zugang, und er wird schon das Richtige tun. Das ist der gefährlichste Satz in der KI-Automatisierung.

Ein LLM hat kein Konzept von "das sollte ich besser nicht tun". Es hat ein Konzept von "das passt statistisch zur Aufgabe". Und manchmal passt "871 E-Mails senden" statistisch perfekt zur Aufgabe "Kunden informieren".

Die Lösung war nicht weniger KI, sondern mehr Struktur. Heute laufen 177 automatische Sicherheitsregeln in meinem System. Ich nenne sie Guards. Sie feuern, bevor ein Agent etwas tun kann.

Ein Beispiel. Dieser Guard verhindert, dass ein Agent direkt auf den Produktions-Branch pusht:

# main-push-guard.sh (vereinfacht)
if echo "$COMMAND" | grep -qE 'git push.*(main|master|production)'; then
  echo "BLOCKED: Direkter Push auf $BRANCH verboten."
  echo "Nutze feature-branch -> develop -> PR -> main"
  exit 1
fi

Simpel. Aber genau diese simplen Regeln haben mir mehr Schaden erspart als jedes komplexe Monitoring.

Heute feuern 26 Hooks bei jedem Befehl, den ein Agent ausführt. 8 davon sind Security-Gates, die immer laufen, ohne Ausnahme: PII-Erkennung, API-Key-Schutz, Prompt-Injection-Filter, Secret-Output-Guard. 96% aller Regeln werden automatisch durchgesetzt, nicht durch Disziplin, sondern durch Code.

Das beschreibe ich ausführlich in "Läuft ohne mich", weil dieser Punkt allein den Unterschied macht zwischen einem Spielzeug und einem Produktionssystem.

Fehler 2: Einzelne Probleme lösen statt ein System bauen

Nach dem E-Mail-Vorfall habe ich einen Fix geschrieben. Einen einzelnen. Für genau dieses Problem.

Zwei Wochen später ist etwas Ähnliches passiert. Anderer Agent, anderer Kanal, gleiches Muster: keine Obergrenze, keine Freigabe, kein Rollback.

Ich habe wieder einen Einzelfix geschrieben. Und dann noch einen. Und noch einen.

Nach drei Monaten hatte ich 40 Einzelfixes und kein System. Jeder neue Agent brauchte dieselben Regeln, und ich habe sie jedes Mal von Hand kopiert.

Der Wendepunkt war ein Framework, das ich GRIP nenne:

• Guards: Automatische Grenzen (die 177 Regeln)
• Reflection: Agenten lernen aus Fehlern (216 kristallisierte Feedback-Regeln)
• Intelligence: Wissensbasis, die wächst (17.927 Vault-Dateien, 3.513 RAG-Chunks)
• Production: Alles läuft 24/7 (86 Container, 238 Cron-Jobs)

Das Entscheidende: Diese vier Schichten bauen aufeinander auf. Guards ohne Reflection bedeutet, dass du denselben Fehler zweimal machst. Reflection ohne Intelligence bedeutet, dass das Wissen in deinem Kopf bleibt. Intelligence ohne Production bedeutet, dass es ein Hobbyprojekt ist.

Fehler 3: Wissen im Kopf statt im System

Das war der subtilste Fehler und der teuerste.

Ich wusste, dass unsere profiles-Tabelle ein Feld full_name hat, nicht first_name und last_name. Ich wusste, dass toISOString().split('T')[0] einen UTC-Bug erzeugt. Ich wusste, welcher Container zu welcher Domain gehört.

Aber meine Agenten wussten das nicht.

Also haben sie Fehler gemacht, die ich nie gemacht hätte. Und ich habe jedes Mal manuell eingegriffen, den Fehler korrigiert, und weitergemacht.

Bis ich angefangen habe, dieses Wissen aufzuschreiben. Nicht als Dokumentation für Menschen. Als maschinenlesbare Regeln für Agenten.

# Auszug: Domänenmodell (vereinfacht)
tabelle: profiles
  felder:
    - full_name    # NICHT first_name/last_name
    - avatar_url
  gotcha: "toISOString() erzeugt UTC-Datum.
           Nutze toLocalDateString() aus @/lib/utils"

Heute hat mein System 63 Skills, jeder mit eigenen Learnings. 73 dieser Learnings hat kein Mensch geschrieben. Sie sind aus Agentenfehlern kristallisiert worden, automatisch.

Ein Agent macht einen Fehler. Das System erkennt das Muster. Eine Feedback-Regel wird erstellt. Beim nächsten Mal greift die Regel, bevor der Fehler passiert.

216 solcher Regeln existieren heute. Jede einzelne hat einen konkreten Fehler verhindert, der vorher passiert ist.

Was heute läuft

Das System betreibt Software für drei Branchen. 86 Container auf zwei Hetzner-Servern in Deutschland. 24 PostgreSQL-Datenbanken, jeder Kunde mit seiner eigenen Instanz. 238 Cron-Jobs, die 24 Stunden am Tag laufen.

1.094 Tasks hat das System autonom erledigt. 87,9% Erfolgsrate ohne menschliches Eingreifen.

Aber die Zahl, die mich am meisten überzeugt: 0 High-Risk-Systeme nach EU AI Act. Nicht weil KI harmlos ist. Sondern weil das System so gebaut ist, dass es keine Entscheidungen trifft, die es nicht treffen sollte.

Wichtigste Erkenntnisse

1. Guards vor Features. Bau die Grenzen, bevor du die Fähigkeiten baust. Jeder Tag ohne Guards ist ein Tag, an dem du Glück brauchst.

2. Systeme statt Fixes. Ein einzelner Fix ist ein Pflaster. Ein Framework ist eine Strategie. GRIP hat mir gezeigt, dass vier Schichten reichen, wenn sie aufeinander aufbauen.

3. Agenten brauchen dein Wissen, nicht deine Aufsicht. Solange das Wissen in deinem Kopf ist, bist du der Flaschenhals. Schreib es auf. Maschinenlesbar. Dann skaliert es.

4. Fehler sind das Curriculum. Die 871 E-Mails waren der beste Lehrer, den ich hatte. Nicht weil der Fehler gut war. Sondern weil er mich gezwungen hat, ein System zu bauen, das diesen Fehler nie wieder zulässt.

5. Starte mit dem, was wehtut. Nicht mit dem, was cool klingt. Die wertvollsten Guards in meinem System kommen alle aus echten Vorfällen.

Wenn du gerade überlegst, KI in deinem Unternehmen einzusetzen: Die drei Fehler wirst du auch machen. Die Frage ist nur, ob du vorher darüber liest oder nachher daraus lernst.

Das Buch: Taschenbuch (24,99 EUR) https://amazon.de/dp/B0HDMT162J | E-Book (9,99 EUR) https://amazon.de/dp/B0HDMS2YQ9

---