Wer nach „AI Governance Framework” sucht, findet vor allem zwei Dinge: Rahmenwerke von Standardisierungsgremien mit hunderten Seiten und Beratungsangebote, die genau diese Rahmenwerke für Sie umsetzen wollen.

Beides ist für ein Unternehmen mit fünfzig oder zweihundert Mitarbeitern die falsche Größenordnung.

Was ein Mittelständler braucht, ist ein Rahmen, der an einem Tag aufgesetzt und danach mit wenig Aufwand gepflegt werden kann. Aus unseren Projekten haben sich dafür fünf Bausteine herauskristallisiert. Sie decken das ab, was der EU AI Act verlangt, was Kunden nachfragen und was Sie selbst wissen sollten. Nicht mehr.

Baustein 1: Das Inventar

Eine Tabelle, nicht mehr. Für jedes KI-System im Unternehmen eine Zeile:

  • Name des Systems und Anbieter
  • Wofür es genutzt wird
  • Welche Daten hineinfließen, insbesondere: personenbezogene Daten ja oder nein
  • Wer es nutzt und wer es eingeführt hat
  • Ob das System Entscheidungen trifft oder nur vorbereitet
  • Wo es läuft: eigene Infrastruktur, EU-Cloud, US-Anbieter

Das Inventar ist die Grundlage für alles Weitere. Ohne Inventar keine Risikobewertung, keine Richtlinie mit Substanz, kein Nachweis.

Der häufigste Fehler: Nur die offiziell eingeführten Systeme aufzunehmen. Das Inventar muss auch die Tools enthalten, die einzelne Mitarbeiter privat abonniert haben, und die KI-Funktionen, die in bestehender Software aufgetaucht sind. Fragen Sie in jeder Abteilung nach. Sie werden überrascht sein.

Baustein 2: Die Risikoeinstufung

Nicht jedes KI-System braucht die gleiche Aufmerksamkeit. Ein Tool, das interne Meeting-Notizen zusammenfasst, ist etwas anderes als ein System, das Bewerbungen vorsortiert.

Der EU AI Act gibt dafür eine brauchbare Logik vor, die Sie auch dann nutzen können, wenn Sie gar nicht unter die strengen Pflichten fallen:

Verboten sind bestimmte Anwendungen, etwa manipulative Systeme oder Social Scoring. Für die allermeisten Unternehmen irrelevant, aber schnell geprüft.

Hochrisiko sind Systeme in sensiblen Bereichen: Personalauswahl, Kreditentscheidungen, Zugang zu Bildung, kritische Infrastruktur, bestimmte Produktsicherheitsbereiche. Wer hier ein System einsetzt, muss ab Dezember 2027 umfangreiche Pflichten erfüllen. Vorher lohnt es sich, zu prüfen, ob man das System überhaupt braucht oder ob es reicht, dass ein Mensch die Entscheidung trifft und die KI nur zuarbeitet.

Transparenzpflichtig sind Systeme, die mit Menschen interagieren oder Inhalte erzeugen. Der Chatbot auf der Website muss als KI erkennbar sein. Diese Pflichten gelten seit August 2026.

Minimales Risiko ist der Rest, und das ist bei den meisten Mittelständlern die große Mehrheit: Textentwürfe, Übersetzungen, Zusammenfassungen, interne Suche.

Für jedes System im Inventar tragen Sie eine dieser vier Stufen ein. Das dauert pro System wenige Minuten.

Baustein 3: Die Richtlinie

Zwei bis vier Seiten. Nicht mehr. Eine Richtlinie, die niemand liest, ist keine Richtlinie.

Was hineingehört:

Erlaubte und nicht erlaubte Tools. Eine Liste freigegebener Systeme. Alles andere braucht eine Freigabe. Der Weg zur Freigabe ist beschrieben und dauert nicht Wochen.

Datenregeln. Welche Daten dürfen in welche Systeme? Faustregel für den Start: Personenbezogene Daten und Geschäftsgeheimnisse nur in Systeme mit Vertrag, EU-Datenverarbeitung und Ausschluss von Training auf Ihren Daten.

Entscheidungsregeln. KI darf vorbereiten, Menschen entscheiden. Überall dort, wo eine KI-Ausgabe Konsequenzen für Menschen hat, prüft ein Mensch, bevor gehandelt wird.

Kennzeichnung. Wann werden KI-Inhalte gegenüber Kunden kenntlich gemacht.

Ansprechpartner. Wer entscheidet, wer hilft, wer wird informiert, wenn etwas schiefgeht.

Baustein 4: Zuständigkeit und Schulung

Eine Person trägt den Hut. Sie muss nicht alles selbst können, aber sie ist der Punkt, an dem Fragen landen und Entscheidungen fallen.

Dazu kommt Schulung. Der AI Act verlangt seit Februar 2025, dass Mitarbeiter, die mit KI arbeiten, dafür ausreichend kompetent sind. Das bedeutet nicht, dass jeder ein Zertifikat braucht. Es bedeutet, dass jeder weiß, was die Tools können, was sie nicht können, welche Regeln gelten und wo die typischen Fehler liegen. Eine Stunde pro Jahr, dokumentiert mit Teilnehmerliste, deckt das für die meisten Unternehmen ab.

Baustein 5: Nachweis und Überprüfung

Der letzte Baustein macht aus den ersten vier ein System.

Nachweis: Inventar, Risikoeinstufung, Richtlinie und Schulungsbelege liegen an einem Ort, versioniert, mit Datum. Wenn ein Kunde, ein Auditor oder eine Behörde fragt, können Sie es in fünf Minuten vorlegen.

Überprüfung: Einmal im Quartal wird das Inventar durchgesehen. Neue Systeme aufgenommen, abgeschaltete gestrichen, Einstufungen geprüft. Einmal im Jahr die Richtlinie. Das ist ein Termin von einer Stunde, kein Projekt.

Monitoring der laufenden Systeme: Für Systeme, die tatsächlich in Prozessen arbeiten, braucht es eine einfache Antwort auf die Frage: Woran merken wir, dass die Qualität sinkt? Stichproben, Fehlerquoten, Beschwerden. Was gemessen wird, muss jemand anschauen.

Der sechste Baustein, der in keinem Rahmenwerk steht

Anbieterunabhängigkeit. Alle fünf Bausteine setzen voraus, dass das KI-System morgen noch da ist und sich so verhält wie heute. Das entscheidet aber nicht Ihr Unternehmen, sondern der Anbieter.

Wer geschäftskritische Prozesse auf KI baut, braucht deshalb neben der Governance eine Architektur, die einen Anbieterwechsel übersteht. Was dazugehört, steht in einem eigenen Artikel: Wenn der KI-Anbieter den Stecker zieht.

Wie lange das dauert

Für ein Unternehmen mit bis zu zweihundert Mitarbeitern und einer Handvoll KI-Systemen:

  • Inventar: ein halber Tag, wenn Sie in allen Abteilungen nachfragen
  • Risikoeinstufung: eine Stunde
  • Richtlinie: ein halber Tag mit Vorlage
  • Zuständigkeit und erste Schulung: eine Stunde
  • Ablage und Prüfrhythmus: eine Stunde

Ein bis zwei Tage insgesamt. Danach eine Stunde pro Quartal. Das ist der Preis für Kontrolle über ein Thema, das die meisten Unternehmen heute komplett ungesteuert laufen lassen.

Sie wollen die fünf Bausteine bei sich aufsetzen? Wir bringen die Vorlagen mit und gehen sie gemeinsam durch. Ein Tag, danach steht der Rahmen.