LLMs im Unternehmen: Klare Regeln statt Schatten-KI
Die unbequeme Wahrheit zuerst: Ihre Mitarbeiter nutzen bereits Sprachmodelle. Studien und Praxiserfahrung zeigen seit Jahren dasselbe Bild – ein erheblicher Teil der Belegschaft verwendet ChatGPT, Gemini oder Claude beruflich, häufig über private Accounts und ohne Wissen der IT. Das ist die eigentliche Ausgangslage jeder LLM-Governance: Es geht nicht darum, ob KI ins Unternehmen kommt. Sie ist schon da.
Warum Verbote scheitern
Ein LLM-Verbot erzeugt keine Sicherheit, sondern Schatten-KI: Die Nutzung verlagert sich auf private Geräte, wo weder Datenschutz noch Qualität kontrollierbar sind. Gleichzeitig verzichtet das Unternehmen auf massive Produktivitätsgewinne bei Texten, Recherche, Auswertungen und Code. Die sinnvolle Antwort ist ein geregelter, offizieller Weg, der besser ist als der inoffizielle.
Die drei Bausteine pragmatischer LLM-Governance
1. Datenklassen-Ampel. Nicht jedes Dokument ist gleich sensibel. Eine einfache Ampel – grün (öffentliche und interne Allgemeininformationen), gelb (interne Geschäftsdaten, nur in freigegebenen Tools), rot (personenbezogene Daten, Kundendaten, Geschäftsgeheimnisse, nur in dafür geprüften Umgebungen) – ist an einem Nachmittag definiert und deckt 90 % der Alltagsfragen ab.
2. Ein offizielles Werkzeug. Mitarbeiter brauchen einen freigegebenen Zugang, der mindestens so gut ist wie das private ChatGPT: ein Unternehmens-Account mit Auftragsverarbeitungsvertrag, ohne Training auf eigenen Daten – oder, für sensible Bereiche und regulierte Branchen, eine On-Premises- bzw. EU-gehostete Lösung. Erst wenn der offizielle Weg bequem ist, stirbt die Schatten-KI.
3. Befähigung statt Belehrung. Eine zweistündige Schulung, die zeigt, was die Werkzeuge im eigenen Fachbereich können (und wo sie halluzinieren), bringt mehr als jede Richtlinie im Intranet. Die Regel „Ergebnisse werden geprüft, Verantwortung bleibt beim Menschen” muss gelebt werden, nicht nur unterschrieben.
Was der EU AI Act dazu sagt
Für die meisten Mittelständler ist der Einsatz von LLMs als Werkzeug regulatorisch gut machbar: Es gelten vor allem Transparenz- und Kompetenzpflichten (Stichwort „AI Literacy” nach Art. 4). Kritisch wird es erst bei Hochrisiko-Anwendungen wie automatisierten Personalentscheidungen. Wer seine Anwendungsfälle klassifiziert und dokumentiert, hat die wesentlichen Hausaufgaben erledigt – und kann gelassen skalieren.
Fazit
LLM-Governance ist kein Compliance-Projekt, sondern eine Produktivitätsentscheidung: Der geregelte Einsatz schlägt sowohl das Verbot als auch den Wildwuchs. Drei Bausteine, ein Nachmittag Ampel-Definition, ein offizielles Tool, eine gute Schulung – damit ist der Mittelstand weiter als die Mehrheit seiner Wettbewerber.
Über den Autor: Robert Hannemann ist Experte für KI-Strategie und KI-Einführung im Mittelstand, Autor von „Alles wird anders" und Gründer der manyos technology GmbH. Kontakt: robert@manyos.it