Die erste Phase der KI-Euphorie war geprägt von einer ziemlich einfachen Vorstellung: Je mehr ein Modell weiß, je mehr Kontext es bekommt, je allgemeiner es einsetzbar ist, desto größer der Nutzen. In der Praxis zeigt sich gerade das Gegenteil. Wer alles gleichzeitig in ein einziges System kippt, bekommt nicht automatisch bessere Ergebnisse, sondern oft nur mehr Kosten, mehr Unschärfe und mehr Steuerungsaufwand.
Weniger Kontext, mehr Struktur
Das beginnt schon bei einer scheinbar technischen Kleinigkeit wie dem Context Window. In vielen Organisationen werden Sprachmodelle noch immer so genutzt, als müsse man ihnen vorsichtshalber das ganze Telefonbuch mitgeben, damit sie am Ende eine einzige Nummer finden. Ganze Tool-Beschreibungen, Schemata, Beispiele und Prozesslogiken landen im Prompt, obwohl für die konkrete Aufgabe nur ein kleiner Ausschnitt relevant wäre. Das ist teuer, langsam und fehleranfällig. Effizient wird KI erst dann, wenn sie nicht alles sieht, sondern nur das, was sie in genau diesem Moment braucht.
Dahinter steckt eine grundsätzlichere Verschiebung: weg von der Idee des einen allwissenden Systems, hin zu einer Architektur der gezielten Zuständigkeit. Kleine Programme, klar geschnittene Aufrufe, delegierte Anfragen und saubere Rückgaben entlasten nicht nur das Modell, sondern auch die Organisation. Die KI wird dadurch berechenbarer. Und genau das ist der Punkt, an dem aus technischem Spielzeug ein betriebsfähiges System wird. Gerade in größeren Organisationen, und erst recht bei Bund, Ländern und ihren IT-Dienstleistern, ist das mehr als eine Komfortfrage. Dort müssen Prozesse, Zuständigkeiten und Entscheidungen nachvollziehbar bleiben.
Wirtschaftlich wird KI erst, wenn nicht jede Aufgabe das teuerste Modell braucht
Auch der zweite Irrtum der frühen KI-Phase hält sich hartnäckig: dass man sich im Zweifel einfach das leistungsfähigste Modell einkauft und damit das Problem löst. In der Demo mag das funktionieren. Im Betrieb scheitert es meist an etwas sehr Unromantischem: Kosten.
Denn nicht jede Aufgabe ist gleich. Manche brauchen tiefe Analyse, schwierige Ableitungen oder eine besonders belastbare Qualitätsprüfung. Andere bestehen aus Klassifikation, Extraktion, Vorstrukturierung oder standardisierten Assistenzaufgaben. Wer beides mit demselben Modell bearbeitet, zahlt zu viel und nutzt die Technik schlecht. Wirtschaftlichkeit entsteht deshalb nicht durch ein einziges Supermodell, sondern durch einen sinnvollen Modell-Mix.
Im öffentlichen Sektor kommt noch etwas hinzu: Nicht jede Aufgabe ist nur eine Kostenfrage. Lokale und selbstgehostete Modelle sind dort oft auch unter dem Aspekt von Rechten, Datenschutz und Souveränität interessant. Wenn einfache oder sensible Aufgaben in einer kontrollierten Umgebung bleiben können, verändert das nicht nur die Rechnung, sondern auch das Maß an Steuerbarkeit. Gerade für Verwaltung ist das entscheidend. Digitale Souveränität entsteht nicht nur auf der Ebene großer Programme oder politischer Leitbilder, sondern im operativen Zuschnitt der Systeme. Also bei der Frage, welche Daten wohin gehen, welche Logik intern bleibt und welche Abhängigkeiten man sich im Alltag einhandelt. Leistungsfähige externe Modelle behalten ihren Platz, vor allem bei komplexen Analysen oder schwierigen Ableitungen. Aber sie sind dann Teil eines bewussten Systems – nicht die automatische Antwort auf jede Frage.
Für Organisationen bedeutet das eine neue Form von KI-Kompetenz. Es reicht nicht mehr, ein Modell bedienen zu können. Man muss Aufgaben schneiden, Komplexität einschätzen und den richtigen Werkzeugeinsatz organisieren. Die eigentliche Intelligenz liegt dann nicht nur im Modell, sondern im System, das entscheidet, welches Modell wann überhaupt arbeiten soll.
Komplexität braucht keine Alleskönner, sondern klare Rollen
Am sichtbarsten wird diese Entwicklung bei agentischen Systemen. Auch hier lag die erste Intuition nahe: Wenn ein einzelner Agent schon viel kann, dann müsste ein sehr großer, sehr flexibler Universalagent doch am besten funktionieren. Die Realität sieht anders aus. Gerade in komplexen, regulierten oder fachlich stark differenzierten Prozessen wird ein solcher Universalagent schnell zum Risiko. Zuständigkeiten verschwimmen, Ergebnisse werden schwerer prüfbar, Fehler lassen sich schlechter eingrenzen, Halluzinationen wirken gravierender, und der Steuerungsaufwand steigt.
Robuster sind Systeme, die Komplexität nicht in einer Instanz bündeln, sondern in klar abgegrenzte Rollen zerlegen. Ein koordinierender Agent delegiert an spezialisierte Agenten. Einer prüft Regeln, einer bearbeitet Fachdaten, einer übernimmt Compliance-Fragen, ein anderer orchestriert Kommunikation oder Validierung. Jeder Teilbereich bleibt damit verständlicher, testbarer und im Zweifel auch austauschbarer. Aus einem schwer beherrschbaren Akteur wird ein Team mit Zuständigkeiten.
Gerade für die öffentliche Verwaltung kommt noch eine zweite Unterscheidung hinzu, die in vielen KI-Debatten zu kurz kommt: die zwischen Fallarbeit und Stammdatenlogik. Auf der einen Seite stehen offene, wissensintensive Vorgänge – Fälle, Rückfragen, Schriftverkehr, Bewertungen, Ausnahmen, Ermessensspielräume. Auf der anderen Seite stehen strukturierte Geschäftsobjekte, Register, Rechte, Tarife, Validierungen, Regeln und verlässliche Datenbestände. Verwaltung arbeitet fast nie nur in einer dieser Welten, sondern ständig in beiden zugleich.
Genau deshalb reicht weder der reine Chat noch die reine Fachanwendung. Der eigentliche Fortschritt entsteht dort, wo beides verbunden wird: wenn ein Agent im offenen Fallkontext arbeiten kann, zugleich aber auf definierte Geschäftsobjekte, Rechte- und Regelprüfungen sowie transaktionssichere Stammdaten zugreift. Dann wird KI nützlich, ohne zum Schattenverfahren zu werden. Die flexible, wissensintensive Seite hilft beim Verstehen, Vorbereiten, Formulieren und Strukturieren. Die strukturierte Seite sorgt dafür, dass Verwaltungslogik, Validierung und Verbindlichkeit erhalten bleiben.
Das ist nicht nur ein technischer Entwurf, sondern fast schon eine Organisationslehre für das KI-Zeitalter. Denn je komplexer ein Prozess ist, desto wichtiger wird die saubere Trennung von Aufgaben, Wissen und Verantwortung. Genau deshalb passt dieser Ansatz auch so gut zu modellgetriebenen und plattformbasierten Systemen. Wenn Fachlichkeit, Projektlogik, Datenobjekte und technische Basis ohnehin voneinander getrennt sind, lassen sich auch Agenten präziser auf diese Ebenen ansetzen. Das reduziert Kontextlast, senkt Kosten und erhöht die Chance, dass Ergebnisse nachvollziehbar bleiben. Für Verwaltungen ist das besonders relevant, weil dort nicht nur Effizienz zählt, sondern auch Verlässlichkeit, Prüfbarkeit, Rechteklarheit und institutionelle Verantwortung.
Vielleicht ist das die eigentliche Lehre aus der zweiten KI-Phase in Organisationen: Nicht Größe schafft Reife, sondern Struktur. Nicht das eine Modell entscheidet über den Erfolg, sondern die Fähigkeit, Komplexität in kleine, steuerbare Einheiten zu übersetzen und flexible Fallarbeit mit stabiler Daten- und Regelwelt zu verbinden. Für die öffentliche Verwaltung kommt noch etwas hinzu: Diese Ordnung ist kein technisches Detail, sondern eine Voraussetzung für Souveränität. Wer KI produktiv machen will, braucht deshalb weniger Magie und mehr Architektur. Oder anders gesagt: Der Fortschritt liegt nicht im größten Prompt, sondern in der klügeren Ordnung.
