Was macht ein agentisches System vertrauenswürdig?

25. Juni 2026 · Kim Nguyen, Kryptograf · Agentische KI, Cybersicherheit, Reversibilität

Kim Nguyen, der zu vertrauenswürdiger KI, digitalen Identitäten und quantensicherer Kryptografie arbeitet, zog Ende Juni eine Nachlese zum Eröffnungspanel der Cybersecurity-Konferenz des Hasso-Plattner-Instituts. Thema war die Bedrohungslage 2026, auf dem Podium unter anderem Martina Link vom Bundeskriminalamt und die Journalistin Eva Wolfangel.

Seine Kernthese: KI industrialisiert Cyberangriffe und ihre Abwehr gleichermaßen, und die nächste Stufe sind agentische Systeme, die Vorfälle eigenständig bewerten und Gegenmaßnahmen selbst umsetzen. Entscheidend für die Zukunft der Cybersicherheit sei dabei die Frage, ob Vertrauen technisch und organisatorisch verankert wird: digitale Identitäten für KI-Agenten, kryptografisch abgesicherte Kommunikation, überprüfbare Herkunft von Daten, belastbare Governance. Sein Schluss: Die wichtigste Anwendung von KI könnte darin bestehen, die digitale Infrastruktur sicher genug zu machen, damit KI überall verantwortungsvoll eingesetzt werden kann.

Mein Einwurf spitzte die organisatorische Hälfte zu:

Der Satz, dass nicht das stärkere Modell entscheidet, sondern ob wir Vertrauen verankern, trifft den Kern. Ich würde die organisatorische Hälfte noch zuspitzen: Neben Identität, Kryptografie und überprüfbarer Herkunft ist der menschliche Letztentscheid die eigentliche Vertrauensbedingung. Ein agentisches System ist genau so weit vertrauenswürdig, wie seine Schritte nachvollziehbar und reversibel bleiben, also umkehrbar, bevor Schaden entsteht. Manipulationsresistenz sichert das Modell, Reversibilität sichert die Folgen. Gerade in der Verwaltung, wo eine Entscheidung Menschen unmittelbar trifft, wird das zur Architekturfrage.

Nguyen antwortete darauf:

Danke für den Impuls, in der Tat wird ein adäquates Governance Konzept immer auch diesen Aspekt mit betrachten und einschließen müssen, eventuell natürlich in unterschiedlicher Gewichtung und Ausprägung.

Damit steht die Umkehrbarkeit als anerkannter Bestandteil eines Governance-Konzepts im Raum, mit dem Vorbehalt unterschiedlicher Gewichtung. Genau dieser Vorbehalt bleibt offen: Bei einem agentischen System, das im Angriffsfall in Sekunden reagiert, konkurriert die Umkehrbarkeit mit der Geschwindigkeit, die den Einsatz überhaupt rechtfertigt. Wo die Gewichtung im Ernstfall liegt, entscheidet sich in der Architektur, lange bevor ein Vorfall eintritt.

Stand: 1. August 2026. Original-Post.


Beitrag veröffentlicht

in

Schlagwörter: