Nicht jedes Modell muss in dieselbe Cloud
Wir betrachten Infrastruktur als Portfolio. Öffentliche Inhalte können über einen leistungsfähigen kommerziellen Dienst verarbeitet werden, während interne Dokumente auf einem europäischen Server oder eigener Hardware bleiben. Besonders sensible Prozesse können vollständig lokal oder mit einem vorgeschalteten Pseudonymisierungsschritt laufen.
Die Entscheidung wird pro Datenfluss getroffen: Welche Daten gehen hinein? Was wird gespeichert? Wer kann Protokolle sehen? Welche Qualität ist erforderlich? Wie hoch sind Last und Antwortzeit? Erst danach wählen wir Modell, Hosting und Integrationsweg.
Drei realistische Betriebsmodelle
Eine lokale Workstation oder ein kompakter Server eignet sich für begrenzte interne Wissens- und Dokumentenprozesse. Dedizierte GPU-Infrastruktur bietet mehr Leistung, erfordert aber professionellen Betrieb. Eine EU-Cloud skaliert leichter und kann eine gute Balance bilden, wenn Verträge und technische Maßnahmen zum Schutzbedarf passen.
- On-Premises: maximale physische Kontrolle, eigener Betriebsaufwand
- Dedizierter EU-Server: kontrollierbare Umgebung mit flexibler Skalierung
- Managed API: schnelle Einführung, dafür genaue Anbieter- und Datenflussprüfung
- Hybrid: Daten und Aufgaben nach Risiko auf mehrere Umgebungen verteilen
Open Source und agentische Frameworks bewusst einsetzen
Offene Modelle und Agenten-Frameworks – beispielsweise selbst gehostete Systeme wie Hermes Agent – können Unabhängigkeit und Anpassbarkeit erhöhen. Sie bringen zugleich neue Pflichten mit: Containerisierung, Werkzeugrechte, Geheimnisverwaltung, Updates, Modelltests und laufendes Monitoring.
Wir behandeln einen Agenten nicht wie einen Chatbot, sondern wie einen technischen Benutzer. Er bekommt nur die Werkzeuge und Daten, die seine Rolle benötigt. Kritische Aktionen verlangen Freigaben; sensible Ausgaben werden protokolliert und stichprobenartig geprüft.