Warum der größte Risikofaktor im öffentlichen KI-Einsatz nicht der Algorithmus ist
Die Debatte um Künstliche Intelligenz im öffentlichen Sektor dreht sich meist um dieselben Fragen: Sind die Modelle fair? Sind sie erklärbar? Sind sie präzise genug? Doch während sich Politik, Verwaltung und Forschung auf diese Aspekte konzentrieren, bleibt ein strukturelles Problem weitgehend unbeachtet – mit erheblichen Folgen für Rechtsstaatlichkeit und Vertrauen.
Denn in immer mehr Verwaltungsprozessen entscheidet heute formal noch ein Mensch, faktisch jedoch ein System.
Die stille Verschiebung von Verantwortung
KI-Systeme im öffentlichen Sektor werden selten als vollautomatische Entscheidungsträger eingesetzt. Stattdessen klassifizieren sie Risiken, priorisieren Fälle, bewerten Plausibilität oder schlagen Maßnahmen vor. Offiziell bleibt die Entscheidung beim Menschen. In der Praxis jedoch entstehen andere Dynamiken: Zeitdruck, Fallzahlen und organisatorische Vorgaben führen dazu, dass Systemoutputs übernommen werden – oft ohne explizite Abweichung, ohne individuelle Begründung, ohne klaren Verantwortungsakt.
Wenn eine Entscheidung dann negative Konsequenzen hat – etwa die Ablehnung einer Sozialleistung oder eines Aufenthaltstitels – bleibt unklar, wer eigentlich verantwortlich ist. Die Verwaltung verweist auf menschliche Entscheidungshoheit. Der Mensch verweist auf das System. Haftung diffundiert.
Das Problem liegt nicht in der Technik selbst, sondern in einer unsichtbaren Substitution menschlicher Verantwortung.
Warum bestehende Lösungsansätze nicht ausreichen
Transparenz- und Explainability-Initiativen zielen darauf ab, KI-Modelle verständlicher zu machen. Ethikleitlinien formulieren Prinzipien für verantwortungsvollen Einsatz. Regulatorische Vorhaben versuchen, Risikoklassen zu definieren. All das adressiert wichtige Aspekte – greift aber am Kern vorbei. Denn selbst ein erklärbares, regelkonformes und korrekt arbeitendes KI-System kann Verantwortung faktisch ersetzen. Das zentrale Defizit ist nicht mangelnde Einsicht in den Algorithmus, sondern das Fehlen eines verbindlichen Verantwortungsankers dort, wo Entscheidungen Wirkung entfalten.
Solange diese strukturelle Ebene nicht adressiert wird, bleibt Verantwortung eine formale Fiktion.
Ein Perspektivwechsel: Nicht Entscheidungen, sondern Substitution prüfen
Vor diesem Hintergrund gewinnt ein neuer Ansatz an Bedeutung: Statt Entscheidungen oder Modelle zu bewerten, rückt er die Struktur der Entscheidungsentstehung in den Fokus.
Die Frage lautet nicht: War die Entscheidung richtig?
Sondern: Wurde menschliche Verantwortung unzulässig durch ein System ersetzt?
Dieser Perspektivwechsel ist fundamental. Er verlagert die Debatte von Modellqualität und Ethik hin zu Haftung, Zurechenbarkeit und Beweisbarkeit – also genau den Kategorien, die im öffentlichen Sektor handlungsrelevant sind.
Non-Substitution Infrastructure: Verantwortung sichtbar machen
Aus diesem Denken heraus entsteht derzeit ein neues Konzept: eine sogenannte Non-Substitution Infrastructure. Dabei handelt es sich nicht um ein weiteres KI-System, sondern um eine forensische Metaschicht, die bestehende Entscheidungsprozesse analysiert. Solche Systeme rekonstruieren Entscheidungsflüsse, identifizieren Stellen, an denen KI-Outputs normative Wirkung entfalten, und prüfen, ob an diesen Punkten eine explizite menschliche Verantwortungsübernahme dokumentiert ist. Wo das nicht der Fall ist, wird eine Verantwortungsbruchstelle sichtbar gemacht – nachvollziehbar, reproduzierbar und juristisch anschlussfähig.
Das Ergebnis ist kein Urteil und keine Empfehlung, sondern ein strukturiertes Nachweisartefakt: ein Bericht, der belegt, wo Verantwortung faktisch ersetzt wurde.
Warum das für den öffentlichen Sektor relevant ist
Gerade in hoheitlichen Kontexten – etwa bei Aufenthaltsentscheidungen, Sozialleistungen oder Sanktionen – sind die Konsequenzen für Betroffene existenziell. Gleichzeitig ist der Automatisierungsdruck hoch. Eine Infrastruktur, die Verantwortungsersetzung sichtbar und angreifbar macht, verändert hier die Anreizstruktur grundlegend. Nicht-Substitution wird damit keine moralische Forderung mehr, sondern eine Frage von Rechtssicherheit, Versicherbarkeit und institutionellem Risiko. Verantwortung zu übernehmen wird wieder rational – nicht, weil es gefordert wird, sondern weil es notwendig ist.
Technik als Voraussetzung für Rechtsstaatlichkeit
Die eigentliche Pointe dieses Ansatzes ist technischer Natur: Verantwortung verschwindet heute nicht aus bösem Willen, sondern weil Systeme so gebaut sind, dass sie Verantwortungsdiffusion ermöglichen. Wer das ändern will, braucht keine besseren Appelle, sondern bessere Infrastruktur.
Wenn KI im öffentlichen Sektor langfristig akzeptiert werden soll, reicht es nicht, sie fairer oder erklärbarer zu machen. Es braucht Systeme, die sicherstellen, dass Verantwortung nicht unsichtbar wird, wenn Technik wirksam wird.
Denn am Ende entscheidet nicht die KI über das Vertrauen in den Staat – sondern die Frage, wer haftet, wenn etwas schiefgeht.
Weitere Infos
Non-Substitution Infrastructure (nogor.de)
