Wie man KI in der Verwaltung so einsetzt, dass man ihr nicht glauben muss, sondern sie überprüfen kann.
Ein Antrag, Freitagnachmittag. Eine KI hat die Unterlagen gelesen, die fehlenden Nachweise markiert, den Fall zusammengefasst und einen Bescheid vorgeschlagen. Auf dem Bildschirm steht ein sauberer, plausibler, freundlich formulierter Text. Die Sachbearbeiterin soll ihn abzeichnen.
Man könnte das für den Fortschritt halten. Tatsächlich beginnt hier erst die eigentliche Frage. Sie lautet nicht, ob die KI das kann, denn das kann sie offensichtlich. Sie lautet, ob man dem glauben darf, was sie über ihre eigene Arbeit sagt. In einem Verwaltungsvorgang ist das keine akademische Unterscheidung. Am Ende steht eine Entscheidung, die jemand verantwortet, mit vollem Namen.
Plausibel ist dabei die schwächste aller Zusicherungen. Eine KI erzeugt überzeugende Ergebnisse von Natur aus, auch dann, wenn sie danebenliegt. Überzeugend zu klingen ist ihr Normalzustand, nicht ihr Gütesiegel.
Ein System, das nicht weiß, wie gut aussieht
Der Grund dafür ist unspektakulär und folgenreich. Ein Sprachmodell hat keinen eingebauten Begriff von richtig, es hat einen Begriff von wahrscheinlich. Luca Mezzalira bringt es auf einen Satz, der die Debatte ordnet: Agenten wissen nicht, wie gut aussieht. [^s002] Sie erzeugen, was plausibel klingt, und Plausibilität ist im Zweifel genau die Eigenschaft, die einen Fehler unsichtbar macht.
Für ein Fachverfahren heißt das, dass sich die Qualität eines KI-Schritts nicht aus dem Schritt selbst ablesen lässt. Man braucht eine zweite Instanz, die urteilt, mit einem Maßstab, der nicht vom Agenten stammt. Ohne diese Instanz hat man keine Prüfung, sondern eine gut formulierte Meinung.
Der Mensch im Loop prüft nur, wenn er etwas zu prüfen hat
„Der Mensch bleibt im Loop“ ist die Standardantwort auf fast jede Sorge. Am Ende schaut jemand drauf, also ist alles abgesichert. So einfach ist es nicht. Der Satz trägt nur so lange, bis man fragt, womit dieser Mensch eigentlich prüft.
Wer eine freundliche Zusammenfassung vorgelegt bekommt und sonst nichts, kontrolliert nicht, er nickt ab. Mariyam Ayoob hat den Loop, den solche Systeme versprechen, real nachgebaut: Ein Agent wählt eine Aktion, ein Prüfer bewertet sie gegen die Regeln, bei Verstoß folgt ein weiterer Versuch. Die Zahl der falschen Aktionen sank, aber zwei blieben, und in beiden hatte der Prüfer den Verstoß korrekt erkannt. Der Agent behielt seine Aktion trotzdem. Ayoobs Lehre daraus gehört an jeden Schreibtisch, an dem KI Vorgänge vorbereitet: Erkennen ist nicht dasselbe wie Reparieren. [^s234] Und eine sicher klingende Aktion ist nicht automatisch die richtige. Ablehnen wirkt vorsichtig und ist falsch, wenn der Fall gar nicht in die eigene Zuständigkeit gehört.
Kontrolle heißt deshalb etwas Konkreteres als noch einmal hinsehen. Sie heißt, zu messen, was der Agent wirklich getan hat, an seinen überprüfbaren Wirkungen, nicht an seiner eigenen Auskunft. Welche Daten hat er gelesen, welche Regel angewandt, welche Grenze berührt. Ein fehlender Nachweis zählt dann gegen den Vorgang, nicht als harmlose Null. Fehlende Evidenz spricht dagegen, nie dafür.
Prüfbar heißt widerlegbar
Bilgin Ibryam hat für das obere Ende dieser Entwicklung einen Satz, der sich auf jede selbstprüfende KI übertragen lässt: Der Prüfer ist der Unterschied zwischen einem Loop und einem Gefühl. Ohne Prüfer hat man wiederholtes Nachfragen, mit Prüfer kann ein Verfahren konvergieren. [^s233] Ein Agent, der sich selbst bewertet und für gut befindet, hat keinen Prüfer. Er hat ein Gefühl, sauber ausformuliert.
Daraus folgt eine Haltung, die im Verwaltungskontext unbequem, aber richtig ist. Vertrauenswürdig ist nicht das System, das sich vertrauenswürdig nennt. Vertrauenswürdig ist das System, dessen Aussagen über die eigene Arbeit man widerlegen könnte und die der Widerlegung standhalten. Jede solche Aussage sollte eine Prüfung sein, die durchfallen kann, kein Schaubild, das eine Absicht beschreibt. Wo der Nachweis fehlt, muss das System im Zweifel laut scheitern, statt leise zu beruhigen. Das ist der Denkstil der Sicherheitstechnik und der empirischen Wissenschaft, angewandt auf ein Feld, das sonst von Vorführungen lebt.
Was das für die Verwaltung heißt
Die Frage, ob KI in Fachverfahren mitarbeiten darf, ist damit weniger eine der Fähigkeit als eine der Nachweisbarkeit. Nicht, ob das System einen Bescheid vorschlagen kann, sondern ob jemand nach drei Monaten rekonstruieren kann, worauf der Vorschlag beruhte, wo ein Mensch entschieden hat und warum. Plausibel ist nicht geprüft. Der Unterschied zwischen einer beeindruckenden Vorführung und einem belastbaren Verwaltungsvorgang liegt nicht in der Klugheit der Antwort. Er liegt darin, ob man ihr glauben muss oder ob man sie überprüfen kann.
[^s002]: Mezzalira — Agents don’t know what good looks like
[^s233]: Ibryam — From Test-Driven to Loop-Driven Development
[^s234]: Ayoob — Can a Rubric Gate Stop an Agent From Taking the Wrong Action?
