KI: Weniger als 20 % der automatisierten Entscheidungen haben einen identifizierten Verantwortlichen

In der neuesten Ausgabe ihres CIO Compass erweitert Sopra Steria Next die Debatte über die Souveränität von KI-Systemen: Es geht nicht nur darum, wo Daten und Modelle gespeichert sind, sondern auch darum, wer die Kontrolle über die daraus resultierenden Entscheidungen hat.

Große Organisationen haben ein Jahrzehnt damit verbracht, ihre Daten zu verwalten. Sie haben sich kaum oder gar keine Gedanken über Regierungsentscheidungen gemacht. Doch generative und agentenbasierte KI beschränkt sich nicht mehr nur auf Empfehlungen: Es priorisiert, löst aus und führt Aktionen aus. In der neuesten Ausgabe ihres CIO Compass mit dem Titel „KI ist nichts ohne Kontrolle und Zweck" bietet Sopra Steria Next, der Beratungszweig von Sopra Steria, CIOs einen neundimensionalen Rahmen zur Steuerung nicht nur von Daten, sondern auch von automatisierten Entscheidungen und deren Folgen.

Kennzahlen* aus dem Bericht:

• Bei weniger als 20 % der von KI beeinflussten oder ausgeführten Entscheidungen gibt es einen identifizierten Geschäftsinhaber, explizite Regeln und eine formale Verantwortlichkeit.
• Weniger als 25 % der KI-gesteuerten Entscheidungen in der Produktion lassen sich vollständig nachverfolgen und wiedergeben.
• Ein automatisierter Entscheidungsfehler kann 10- bis 100-mal mehr Betriebsabläufe, Kunden oder Umsätze beeinträchtigen als ein herkömmlicher IT-Vorfall.

Was ist KI-Souveränität?

Es geht nicht nur darum zu wissen, wo die Daten gehostet werden und wo die Modelle ausgeführt werden. Dazu gehört auch die Möglichkeit, jederzeit nachzuweisen, wer automatisierte Entscheidungen kontrolliert, erklärt und darüber entscheidet. Die Abhängigkeit von Anbietern hat sich von der Infrastruktur hin zur Kognition verlagert, und diese Abhängigkeit ist schwerer umzukehren. Mit dieser Publikation ruft Sopra Steria Next CIOs dazu auf, einen fünfschichtigen „Souveränitäts-Stack" explizit zu machen, der Daten, Modelle, Plattformen, APIs und Entscheidungen umfasst, wobei für jede Schicht eine Frage gestellt wird: Wer betreibt es? Wer kann es ersetzen? Wer trägt die Verantwortung?

„Die neue Frage, die wir uns jetzt stellen müssen, betrifft Entscheidungen, die KI bereits getroffen hat, ohne dass jemand dafür zur Rechenschaft gezogen wurde", sagt Valérie Thiblet, Partnerin für Daten und KI bei Sopra Steria Next. „Ein System, das nicht in Echtzeit gestoppt werden kann, ist nicht regiert. Es wird lediglich beobachtet. Und was sich nicht regieren lässt, kann man nicht industrialisieren."

Das Dokument benennt mehrere kritische Punkte für IT-Abteilungen: der Aufstieg der Schatten-KI, die die Rückverfolgbarkeit und Kostenkontrolle untergräbt, bevor die Verantwortlichen überhaupt davon Kenntnis erlangen; Modell-Governance, die immer noch als optionale Ebene behandelt wird; und das KI-Gesetz, bei dem das Hauptrisiko nicht in der vorsätzlichen Nichteinhaltung, sondern in der versehentlichen Nichteinhaltung aufgrund mangelnder Vorbereitung liegt.

Klicken Sie hier, um mehr zu lesen.

Medienkontakt: Aurélien Flaugnatti, [email protected]