Was bedeutet KI-Governance – und warum ist das Thema gerade jetzt so relevant?

Mit dem EU AI Act treten neue regulatorische Anforderungen in Kraft, während Unternehmen gleichzeitig gefordert sind, den Einsatz von KI mit ihren Werten, Zielen und Compliance-Strukturen in Einklang zu bringen. Zeit also, den Begriff KI-Governance genauer unter die Lupe zu nehmen.

KI-Governance in Organisationen

Ein erster Blick in die Wissenschaft führt über Mäntymäki et al. zu einer bereits recht griffigen Definition:

“AI governance is a system of rules, practices, processes, and technological tools that are employed to ensure an organization’s use of AI technologies aligns with the organization’s strategies, objectives, and values; fulfills legal requirements; and meets principles of ethical AI followed by the organization.”

Diese Definition betont zum einen klassische Governance-Instrumente wie

  • Regeln, wie etwa Richtlinien und Standards,
  • Praktiken, konkrete Handlungsweisen und etablierte Routinen, und
  • Prozesse, also strukturierte Abläufe von Entwicklung und Einsatz, ins Zentrum.

Sie beinhaltet auch den Einsatz von Tools zur Steuerung und Kontrolle von KI-Systemen über deren gesamten Lebenszyklus hinweg. Mäntymäki et al. weisen darauf hin, dass auch strukturelle Elemente der Organisation, wie etwa Ethik-Boards, mit inbegriffen sind.

Diese Elemente fügen sich in ein übergreifendes Steuerungssytem ein. Es soll sicherstellen, dass KI-Technologie

  1. mit Strategie, Zielen und Werten einer Organisation im Einklang steht,
  2. rechtliche Anforderungen erfüllt und
  3. ethischen KI-Prinzipien, denen die Organisation sich verpflichtet sieht, befolgt.

Dabei ist KI-Governance keine isolierte Aktivität, sondern vielmehr eine neue Facette der IT-Governance, die wiederum in die organisationsweite Governance-Struktur eingebettet ist.

Ein einfaches Beispiel: In vielen Unternehmen bestehen bereits datenbezogene Kontrollstrukturen, etwa durch GDPR-Umsetzungen. Häufig ergeben sich nun neue Fragestellungen, etwa wie vorhandene oder neu gesammelte Daten für das Training von KI-Systemen genutzt werden können. Hier zeigt sich: Fragen zu Datenverwendung – z. B. ob eine Einwilligung für KI-Training nötig ist – stehen im Zentrum der Verzahnung von Datenschutz und KI-Governance. Ein Beispiel von Meta zeigt, wie kontrovers diese Fragen aktuell diskutiert werden.

Die hier verwendete Definition gibt uns also bereits einen ersten kleinen Fahrplan für KI-Governance in Organisationen:

  • Rahmenbedingungen müssen entweder definiert (z.B. die eigene Strategie) oder analysiert werden (z.B. rechtlicher Rahmen),
  • Bestehende Abläufe (also die IT-Governance) müssen erweitert und angepasst werden.

Das ist natürlich eine vereinfachende Sicht - als Spoiler möchte ich deshalb schon festhalten: Hier setzen Standards wie ISO/IEC 42001 (auf Organisationsebene) und ISO/IEC/IEEE 24748-7000 (auf Produktebene) an, wobei sie Strukturen vorgeben, mit denen diese Schritte operationalisiert werden können.

KI-Governance als hoheitliche Aufgabe

Der EU AI Act ist das noch recht neue Gesetz der Europäischen Union, welches dedizierte Vorgaben für Entwicklung und Einsatz von KI-Systemen macht. Dabei kommt eine Risiko-Klassifizierung zum Einsatz, die insbesondere für Hoch-Risiko-Systeme sehr konkrete Auflagen vorsieht. Diese werden wir sicherlich auch hier im Blog noch eingehend beleuchten.

Der EU AI Act belegt Organisationen mit Verpflichtungen für bestimmte KI-Systeme. Die Erfüllung solcher Auflagen, etwa durch Firmen, ist ein Teil von organisatorischer KI-Governance, wie wir bereits gesehen haben. Zusätzlich etabliert der EU AI Act neue staatliche Aufsicht. Diese umfasst nicht nur das EU AI Office, sondern auch nationale Aufsichtsbehörden und mehr. Der entsprechende Abschnitt im EU AI Act ist ebenfalls mit dem Titel Governance überschrieben.

Es lohnt sich auch hier genau mitzuverfolgen, wie sich die Umsetzung dieser Vorgaben entwickelt - nicht zuletzt werden die so etablierten Aufsichtstellen eine entscheidende Rolle bei der Umsetzung und Durchsetzung des AI Acts spielen. Und: Bestimmte Auflagen treffen nicht nur Hoch-Risiko-Systeme.

Zusammenfassung

Wir haben zwei Facetten der KI-Governance betrachtet:

  • Für Organisationen bezeichnet KI-Governance die Gesamtheit an Regeln, Praktiken, Prozessen und technischen Tools, mit denen Organisationen sicherstellen, dass der Einsatz von KI im Einklang mit ihrer Strategie, ihren Werten sowie rechtlichen und ethischen Anforderungen steht.

    Der Begriff lässt sich nicht losgelöst betrachten: KI-Governance ist eng mit bestehenden Governance-Strukturen wie IT- und Data-Governance verbunden und erweitert diese um neue Anforderungen.

    Wie wir in zukünftigen Blogs sehen werden: Natürlich werfen neue Prozesse auch Zuständigkeitsfragen auf, die die Unternehmen klären müssen.

  • Auf staatlicher Ebene gewinnt KI-Governance ebenfalls an Bedeutung. Der EU AI Act etabliert neue Aufsichtsstrukturen, die rechtliche Verpflichtungen, insbesondere für Hochrisiko-KI-Systeme, prüfen und durchsetzen.

Die Governance-Strukturen der Unternehmen dienen damit sowohl internen Zielen – etwa der Sicherstellung eines effektiven und verantwortungsvollen KI-Einsatzes – als auch externen Anforderungen, wie gesetzlichen Auflagen und Transparenzpflichten gegenüber Aufsichtsbehörden.