Ich bin kürzlich über eine dieser typischen Tech-Grafiken gestolpert – von ByteByteGo. Zuerst dachte ich: spannend für Entwickler, aber nichts für Behörden. Dann hab ich nochmal hingeschaut.
Was diese Grafik zeigt – der sogenannte Generative AI Stack – ist im Prinzip ein Bauplan für moderne KI-Anwendungen.
Und: Wenn man ihn durch die Brille des öffentlichen Sektors betrachtet, wird klar: Das ist mehr als nur Technik. Das ist ein Werkzeugkasten für die digitale Transformation von Verwaltung, Bildung, Justiz, Gesundheit – kurz: vom Staat.
Und wenn wir die Open Source Variante danebenlegen, wird nochmal deutlicher, wie wichtig Transparenz und Souveränität dabei sind.
1. Cloud Hosting & Inferenz – das Fundament
Hier geht’s um die Rechenpower:
AWS, Azure, GCP, Nvidia – das sind die üblichen Verdächtigen.
Für den öffentlichen Sektor:
Cloud? Ja. Aber: kontrolliert, datenschutzkonform, skalierbar.
Sobald personenbezogene Daten oder sensible Prozesse ins Spiel kommen, braucht’s hohe Standards – und oft auch europäische oder souveräne Alternativen.
Open Source nah dran:
Containerisierung mit Kubernetes, Hosting auf Sovereign Cloud (z. B. von IONOS), oder eigene Hardware kombiniert mit Ollama für lokale Modelle.
2. Foundation Models – die Basismodelle
Hier sitzen die großen Sprachmodelle:
GPT, Claude, Gemini, DeepSeek, Mistral, Meta Llama, Gemma.
Für uns:
Sie bilden die Grundlage für Textverständnis, Entscheidungsunterstützung, Bürgerkommunikation.
Aber wichtig: Nicht alle Modelle sind offen nutzbar.
Open Source Varianten:
Llama 3, Mistral, Gemma 2, Phi, Qwen – leistungsstark, auditierbar, lokal einsetzbar.
Genau hier entsteht digitale Souveränität:
Ein Modell, das wir selbst hosten und trainieren können – ohne Blackbox.
3. Frameworks – damit’s in der Praxis funktioniert
Hier wird gebaut.
LangChain, Hugging Face, PyTorch, TensorFlow, FastAPI – diese Tools verbinden Modelle mit echten Anwendungen.
Für Verwaltungen und staatliche Einrichtungen:
Hier entstehen digitale Assistenten, Chatbots, Formularhilfen, Recherchetools – direkt aus den Fachabteilungen heraus.
Alles Open Source.
Diese Tools sind frei nutzbar, anpassbar, auditierbar – und genau deshalb so wertvoll für Behördenprojekte.
4. Daten & Orchestrierung – KI mit Gedächtnis
Datenbanken wie Pinecone, Weaviate, Milvus, PGVector, FAISS machen KI kontextfähig.
Sie ermöglichen sogenanntes Retrieval-Augmented Generation – also: die KI greift gezielt auf Wissen zu, statt zu raten.
Für Behörden:
Ein Modell, das Verwaltungsvorschriften, Gesetzestexte, Fachverfahren semantisch durchsucht – und sinnvolle Antworten liefert.
Open Source Tools:
Weaviate, Milvus, PGVector, FAISS – top Lösungen, frei nutzbar und gut integrierbar in öffentliche IT.
5. Fine-Tuning – wir bringen der KI Verwaltung bei
Nicht jedes Modell versteht automatisch Fachbegriffe, Paragrafen oder Verwaltungspraxis.
Tools wie OctoML, Weights & Biases, Hugging Face helfen, Modelle gezielt weiterzutrainieren.
Beispiel:
Ein Modell, das zwischen SGB II und SGB V unterscheiden kann – und weiß, was ein „Widerspruchsbescheid“ ist.
Das braucht Anpassung auf reale Daten.
🔹 Open Source Tools:
Hugging Face Transformers, PEFT, LoRA-Training, OpenLLM – alles verfügbar und gut dokumentiert.
6. Embeddings & Labeling – Kontext statt nur Text
Hier geht’s darum, Texte so aufzubereiten, dass KI sie semantisch versteht.
Tools wie Nomic, JinaAI, Cohere, Scale AI unterstützen dabei.
Für Behörden bedeutet das:
Formulare, Anträge, Bescheide werden maschinenlesbar, klassifizierbar, durchsuchbar.
Open Source Alternativen:
Nomic, JinaAI, LLMWare, Haystack – performant, modular, Open Source.
7. Synthetic Data – wenn echte Daten fehlen oder zu sensibel sind
Gretel, Tonic AI, Mostly AI – sie erzeugen realistische Testdaten, ohne echten Datenschutz zu gefährden.
Das ist Gold wert für Trainingszwecke – vor allem im Gesundheitsbereich oder Sozialwesen.
🔹 Open Source Tools:
SDV (Synthetic Data Vault), YData, Mimesis – leistungsfähig und unter freier Lizenz nutzbar.
8. Model Supervision & Sicherheit – Vertrauen durch Kontrolle
Am oberen Ende: Tools wie WhyLabs, Helicone, Fiddler für Monitoring und LLM Guard, Garak, Arthur AI für Sicherheit.
Im öffentlichen Sektor nicht optional:
Transparenz, Nachvollziehbarkeit, Missbrauchsschutz sind Pflicht.
Egal ob Chatbot oder Fachverfahren – wir brauchen Sichtbarkeit.
Open Source Optionen:
Traceloop, PromptLayer, OpenLLM’s telemetry, Giskard – bieten Metriken, Feedback-Loops, Sicherheitschecks.
Fazit:
Was zeigen uns diese beiden Grafiken?
Dass generative KI längst kein exklusives Innovationsthema mehr ist.
Sie ist strategisches Werkzeug – auch und gerade für den Staat.
Und Open Source?
Das ist der Schlüssel zur digitalen Eigenständigkeit.
Transparenz, Kostenkontrolle, Sicherheit – und vor allem:
Gestaltungsfreiheit.
Also: KI nicht einfach konsumieren – sondern souverän einsetzen. Offen. Kontrolliert. Für alle.
Vielen Dank!
