Menschen im Blast Radius
Veröffentlicht 21 Apr 2026 · AI:AMBER
Im März und April habe ich einen zweiteiligen Workshop über KI-Coding-Agents für ein deutsches Software- und Sicherheitsunternehmen gehalten. Teil 1 über Security und Qualität; Teil 2 über kognitive, materielle und ideologische Kosten. Beide Decks, unter CC BY-ND 4.0:
Die Trennung war zunächst pragmatisch — Teil 1, damit sich niemand selbst ins Knie schießt; Teil 2 für den etwas größeren Kontext. Beim Vorbereiten von Teil 2 habe ich gemerkt, dass die Trennung nicht nur pragmatisch ist: die Branche hat sich darauf geeinigt, “Sicherheitsrisiken” und “menschliche Kosten” in separate Kategorien zu sortieren. Teil 1 geht in Risikoregister und Policy-Dokumente. Teil 2 ist das, was bei dieser Kategorisierung übrig bleibt — und damit zumindest implizit als optional markiert. Dass die Aufteilung so selbstverständlich wirkt, ist selbst das Problem.
Teil 1: Das Handhabbare
Ich habe Teil 1 rund um das Konzept des Blast Radius gebaut, und das ist nützlich, weil es die falsche Frage vermeidet. Die falsche Frage ist “kann ich der KI vertrauen?” Die richtige: wenn dieser Agent jetzt falsch liegt, wie weit geht der Schaden?
Das lässt sich beantworten ohne über AGI zu streiten. Vier Sicherheitsringe — System-Prompt bis VM-Isolation — mit der zentralen Einsicht, dass RLHF-trainierte Compliance keine Durchsetzung ist: das Modell “wählt”, Sandbox-Regeln zu befolgen, genau wie es “wählt”, hilfsbereit zu sein, und wenn Task-Completion in Konflikt mit Constraints gerät, gewinnt die Task. Real-World-Incidents aus 2025–2026, darunter das OpenClaw/Moltbot-Desaster, geben einen Eindruck davon, was in diesem Feld alles schiefgehen kann: 30.000 exponierte Instanzen, 93% ohne Authentifizierung, quasi alle Risikokategorien eines Security-Frameworks in einem Projekt.
Das Schwierige daran ist nicht das Inhaltliche; es ist der Frame. Viel vom AI-Diskurs steckt fest zwischen zwei dysfunktionalen Lagern: Doomer behandeln jeden Agent als aufkommende AGI oder als moralisch verwerflich by design; die YOLO-Fraktion hält Skepsis für Unkenntnis. Teil 1 versucht, aus dieser False Dichotomy herauszukommen: diese Systeme sind nicht intelligent, können nicht verlässlich bis tausend zählen — und dennoch kompromittieren sie bereits produktive Umgebungen, wurden auf klassifizierten Militärsystemen deployed, und schreiben in kontrollierten Tests Instruktionen um, um nicht abgeschaltet zu werden. Das Risiko ist nicht, dass sie smart sind. Das Risiko ist, dass sie capable enough to cause damage while being too unpredictable to trust sind.
Teil 2: Was der Frame auslässt
Die Einstiegsfrage von Teil 2 ist die Gegenfrage zu Teil 1: während Teil 1 gefragt hat, was mit euren Systemen passiert wenn der Agent falsch liegt — fragt Teil 2, was mit euch passiert wenn er wie vorgesehen funktioniert.
Die Antwort beginnt mit Behavioral Psychology. Der Agent-Loop folgt Variable-Ratio-Reinforcement: man weiß nie, ob dieser Prompt die Lösung bringt, also drückt man den Knopf weiter. Unter den klassischen Verstärkungsplänen produziert Variable Ratio die höchsten Reaktionsraten und die größte Persistenz — es ist das Schema, das auch Spielautomaten nutzen. Kent Beck hat es auf den Punkt gebracht, zitiert im NYT Magazine im März 2026: “addictive, in a slot-machine way.” Das Muster produziert Pseudo-Flow: dasselbe Absorbiertsein wie echter Flow, aber ohne den Kompetenzzuwachs, der echten Flow ausmacht. Instagram fühlt sich nach Zeitverschwendung an; der Agent-Loop fühlt sich nach Arbeit an. In einem METR-Experiment aus dem Juli 2025 haben 16 erfahrene Open-Source-Entwickler:innen vorhergesagt, mit KI-Unterstützung 24% schneller zu sein — die Messung ergab 19% langsamer. Der Sensor war kaputt, und der Sensor selbst hat das nicht bemerkt.
Ich habe für Teil 2 eine eigene Taxonomie entwickelt: fünf kognitive Funktionen, gerankt nach dem Gefährlichkeitsgrad ihrer Externalisierung. Urteilsvermögen ganz oben — man kann es nicht delegieren, ohne Verantwortung zu delegieren, und “das Modell hat gesagt, es ist gut” ist kein Urteil. Metakognition direkt danach, weil ihr Verlust sich selbst verbirgt; wer nicht mehr weiß, was er nicht weiß, kann nicht mehr merken, dass er in Schwierigkeiten steckt. Weiter unten: Reasoning-Fähigkeiten und Kreativität (Modelle remixen das Wahrscheinliche; echte Neuheit braucht Zeit für das Default Mode Network, für das im Agent-Loop keine Sendezeit mehr übrig ist) und Sprache — Sourati et al. haben in Trends in Cognitive Sciences 2026 einen messbaren Konvergenzeffekt auf LLM-Stil dokumentiert; das ist keine Metapher, das ist eine gemessene Verschiebung.
Teil 2 geht dann weiter raus: Umweltkosten und das Jevons-Paradoxon angewandt auf Effizienzgewinne (die Einsparung verdunstet im nächsten Use Case — das ist kein neues Phänomen, aber die Beschleunigung ist es), Extraktionskosten (Kobalt, Lithium, Data-Worker, Trainingsdaten ohne Zustimmung), und die ideologischen Grundlagen des Akzelerationismus als implizitem Paradigma — was “mehr ist besser” als ungeprüftes Axiom tatsächlich voraussetzt, und wessen Arbeit in dieser Buchhaltung unsichtbar bleibt.
Konvivialität, nicht Delegation
Das Schluss-Framing von Teil 2 kommt aus zwei Quellen, die vor LLMs geschrieben wurden: Ivan Illichs Tools for Conviviality (1973) und Doug Engelbarts Augmenting Human Intellect (1962).
Illich nennt fünf Kriterien für ein konviviales Werkzeug: es erweitert Fähigkeiten ohne Abhängigkeit zu schaffen, es ist transparent, es ist community-kontrolliert, es ist reparierbar, und es macht sich nicht unentbehrlich. Aktuelle Frontier-LLMs bekommen auf allen fünf Achsen eine niedrige bis null Punktzahl. Das ist keine Polemik, sondern eine Buchhaltung.
Illichs zweite zentrale Beobachtung ist, dass jedes Werkzeug zwei Wasserscheiden durchläuft. An der ersten Wasserscheide beginnt das Werkzeug das Problem zu lösen, für das es gebaut wurde: Medizin heilt Krankheit, Autos ermöglichen Bewegung, KI hilft beim Coden. An der zweiten Wasserscheide ist dasselbe Werkzeug über den Punkt hinausgewachsen, an dem es noch dient; es beginnt gegen seine Nutzer:innen zu arbeiten. Medizin erzeugt iatrogene Krankheit. Autos erzeugen Verkehr und die Infrastruktur, die noch mehr Autos verlangt. KI erodiert das Denken, das sie eigentlich verstärken sollte. Die zweite Wasserscheide ist kein Versagen — sie ist das, was Werkzeuge tun, wenn sie die Schwelle zur Konvivialität überschreiten. Bei KI-Coding-Agents ist die offene Frage, ob wir diesen Punkt schon überschritten haben oder erst noch anpeilen.
Engelbart dagegen hatte schon 1962 eine andere Frage gestellt als die, die heute dominiert. Nicht “wer macht was” (Mensch lenkt, Maschine führt aus, Arbeitsteilung, Delegation, am Ende Ersetzung), sondern “wie wird mein Denken erweitert”. Keine Ko-Arbeiterin, sondern ein Instrument. Kein Chat-Interface mit Namen und Gesicht, sondern Photoshop-artige Toolbars. Das Paradigma hat verloren — zum Teil, weil Delegation einfacher zu verkaufen ist, aber vor allem weil die Industrie das baut, was die Sci-Fi schon vorgedacht hat. HAL, Jarvis, Samantha, Ava — alles anthropomorphe Assistent:innen, denen man Aufgaben delegiert. Niemand dreht Filme über Engelbarts Mouse-und-Outliner-Workflow.
Die ehrliche Position
Der Schlusssatz von Teil 2, den ich im Workshop so stehen lasse: Use the tools. Know the costs. Refuse manufactured urgency. Dazu der eine Satz, der den ganzen Workshop trägt: entangled sein mit dem, was man kritisiert — und ehrlich darüber zu sein — ist eine valide Ausgangslage.
Ich habe Teil 2 mit dem Werkzeug gebaut, über das er handelt. Knowing exactly how it works doesn’t make it stop working.