Risiken kontrollieren

Als das kalifornische Unternehmen OpenAI im November 2022 erstmals ChatGPT veröffentlichte, wurde vielen schlagartig bewusst, welches Potenzial in Chatbots und anderen Anwendungen Künstlicher Intelligenz (KI) steckt. Allerorten sind Teams dabei, mögliche Wettbewerbsvorteile und Anwendungsfelder auszuloten.

Bei aller Euphorie sollten Unternehmen jedoch die rechtlichen Anforderungen, Bußgelder und Haftungsrisiken im Blick behalten. Während derzeit die KI-Verordnung der EU (AI Act), deren finale Veröffentlichung noch im zweiten Quartal 2024 erwartet wird, mit ihren Anforderungen und Verboten intensiv diskutiert wird, stehen auch der im AI Act hinterlegte Bußgeldkatalog und eventuelle Schadensersatzansprüche Dritter im Raum. Solche Schadensersatzansprüche können sich beispielsweise aus der künftigen KI-Haftungs- und der künftigen Produkthaftungsrichtlinie ergeben. Letztere gilt erstmals und ausdrücklich auch für fehlerhafte Software und damit auch für KI.

Schadensersatz und Bußgelder vermeiden

Je nach Gesetz können Schadensersatzansprüche wegen des Verschuldens des Verantwortlichen drohen (Entwurf KI-Haftungsrichtlinie) oder unabhängig von dessen Verschulden (Entwurf Produkthaftungsrichtlinie). Der Bundesgerichtshof (BGH) und der Europäische Gerichtshof (EuGH) haben jedoch klargestellt, dass man sich vor beiden Haftungsrisiken schützen kann, wenn man die sogenannten "Verkehrssicherungspflichten" einhält und dies gut dokumentiert (BGH-Urteil vom 16. Juni 2019, Aktenzeichen VI ZR 107/08 sowie EuGH-Urteil vom 27. März 2014, Aktenzeichen C-314/12). Derjenige, der eine Gefahrenlage gleich welcher Art schafft, muss also die notwendigen und zumutbaren Vorkehrungen treffen, um andere möglichst nicht zu schädigen. Verkehrssicherungspflichten umfassen "diejenigen Maßnahmen, die ein umsichtiger und verständiger, in vernünftigen Grenzen vorsichtiger Mensch für notwendig und ausreichend hält" (BGH-Urteil vom 1. Oktober 2013, VI ZR 369/12). Mit anderen Worten: Ein systematisches und dokumentiertes Risikomanagement ist gefragt. Ein Risikomanagementsystem bietet dafür eine Struktur, sodass Unternehmen potenzielle Risiken identifizieren, analysieren, bewerten, steuern und überwachen können.

Wie kann man nun konkret ein Risikomanagementsystem einrichten, das hilft, Verkehrssicherungspflichten einzuhalten, die bei der Erstellung und dem Betrieb von Chatbots gefordert sind, wenn es sich dabei nicht um ein "Hochrisiko-KI-System" handelt und kein "systemisches Risiko" gegeben ist? Dies soll folgendes Beispiel zeigen:

Ein Werkzeughersteller führt in seinem Unternehmen einen Chatbot ein, der Bedienern einer Werkzeug-Testmaschine Fragen zu Fehlermeldungen und zu deren Behebung beantwortet. Dabei soll die Kommunikation in natürlicher Sprache erfolgen. Die Fähigkeit, natürliche Sprache zu verarbeiten und zu erzeugen, kann in Chatbots gleich doppelt genutzt werden: Zum einen, um aus unternehmenseigenen Dateien und Systemen Informationen abzufragen, und zum anderen, um aus diesen abgefragten Informationen dann eine Antwort für einen Nutzer in natürlicher Sprache zu erstellen.

Als Basis für die Erstellung des Chatbots nutzt der Werkzeughersteller ein vortrainiertes "Large Language Modell" (LLM – in der Sprache der KI-Verordnung: "KI-Modell mit allgemeinem Verwendungszweck"), das von einem Dritten beschafft und dann mit unternehmenseigenen Daten für die spezifische Anwendung nachtrainiert wird ("Finetuning"). Dieses Finetuning dient dem Zweck, dem vortrainierten LLM die unternehmens- oder anwendungsspezifischen Begrifflichkeiten beizubringen, um die Qualität der Antworten zu verbessern.

Bei dem beschriebenen Beispiel können hierfür u. a. die Beschreibungen früherer Fehler und deren Lösungen verwendet werden. Aber auch Informationen aus anderen unternehmenseigenen Systemen lassen sich für das Nachtrainieren des LLM heranziehen. Es entsteht also ein Chatbot, der Zugang zu unternehmensinternen Dateien und Systemen hat (z. B. Systeme für die Ressourcenplanung ERP oder Kundenmanagementsysteme CRM) und dafür trainiert wurde, die Inhalte dieser Systeme zu verstehen. Die Bediener der Werkzeug-Testmaschine sind damit in der Lage, mit ihren Daten in ihrer Sprache zu sprechen ("Chat-with-your-Data"-Ansatz). Im Sinne der KI-Verordnung handelt es sich bei diesem Chatbot um ein KI-System mit integriertem "KI-Modell [LLM] mit allgemeinem Verwendungszweck".

Nun kann es passieren, dass der Chatbot eine Anfrage zum Fehler der Testmaschine falsch beantwortet und dies zu einem Schaden bei einem Kunden führt, der ein falsch getestetes Werkzeug einsetzt. Unter bestimmten Umständen trägt der Werkzeughersteller die Beweislast dafür, dass er den entstandenen Schaden nicht zu vertreten hat. Das bedeutet, dass er nachweisen muss, dass er seine Verkehrssicherungspflichten während des gesamten Entwicklungsprozesses und während des Betriebs erfüllt hat.

Risikomanagementsystem einrichten

Ein qualifiziertes und professionelles Risikomanagementsystem ermöglicht diesen Nachweis. Wesentlich ist dabei, die mit dem Chatbot einhergehenden Risiken während der Erstellung und der Nutzung Schritt für Schritt herauszufinden und zu bewerten. Daraus werden die jeweils angemessenen Maßnahmen zur Vermeidung von Schäden abgeleitet und wirksam umgesetzt. All diese Schritte sind mit detaillierter Begründung zu dokumentieren (Risikomanagement). Für die Erstellung eines Chatbots bietet sich als Risikomanagementsystem die entsprechende Anwendung des Risikomanagement-Standards CRISP-DM an ("Cross Industry Standard Process for Data Mining"). Er muss jedoch für Chatbots angepasst und gegebenenfalls erweitert werden.

Dieser Standard wurde entwickelt, um Data Mining in einzelne, einfach zu definierende Schritte zu unterteilen, er wird aber auch für andere datengetriebene Lösungen genutzt. Dabei geht es u. a. um folgende Aufgaben: Anwendungszweck beschreiben, Abnahmekriterien für den Chatbot festlegen sowie die Datensätze bestimmen und aufbereiten, auf die der Chatbot zur Beantwortung der Fragen zugreift. Weitere Schritte sind die sorgfältige Auswahl eines vortrainierten LLM, die Entwicklung des Algorithmus für das Nachtrainieren bzw. Finetuning (Modellierung), und die Integration des Modells in den Chatbot, also das KI-System. Essenziell ist die abschließende Evaluation des Chatbots mit Tests und Bewertung der Ergebnisse. Dabei wird überprüft, ob die zuvor festgelegten Abnahmekriterien eingehalten werden und keine weiteren Fehler vorliegen. Gegebenenfalls muss vor der Nutzung nachgebessert werden. Aber auch im laufenden Betrieb muss der Chatbot weiter überwacht werden, sodass kontinuierlich Fehler erkannt und behoben werden können. Verknüpft man auf diese Weise das System des CRISP-DM-Standards mit den rechtlichen Verkehrssicherungspflichten, kann sichergestellt werden, dass kein Risiko übersehen wird.

Infos über das Sprachmodell einholen

Im Rahmen der Entwicklung des Chatbots ist die Auswahl des vortrainierten LLM von besonderer Bedeutung. Unternehmen müssen sich angemessen über dessen Eigenschaften informieren, damit sie ihre Verkehrssicherungspflichten einhalten können. Juristen legen hier ähnliche Maßstäbe an wie bei der Auswahl von Personal, das für die Durchführung von Aufgaben im Unternehmen eingesetzt wird. Die neue KI-Verordnung gibt Benutzern von LLM eine bessere Orientierung, denn voraussichtlich ab Mai 2025 müssen Anbieter von LLM umfassende Informationen vorlegen.

Diese müssen u. a. Folgendes umfassen: Beschreibung des Modells und die Aufgaben, die es erfüllen kann, Art und Wesen der KI-Systeme, in die es integriert werden kann, sowie Architektur und Anzahl der Parameter. Des weiteren sind u. a. die Entwurfsspezifikationen des LLM und des Trainingsverfahrens inklusive Trainingsmethoden und -techniken sowie gegebenenfalls Informationen über die für das Trainieren, Testen und Validieren verwendeten Daten in dokumentierter Form bereitzustellen. Bis Mai 2025 gilt die Faustregel: Je weniger zunächst über die Eignung des Sprachmodells bekannt ist, desto höher sind die Risiken und desto höher sind die Anforderungen, die an die Sorgfalt des Unternehmens gestellt werden.

Unternehmen, die Chatbots rechtssicher entwickeln und betreiben wollen, sollten also großen Wert auf ein gut strukturiertes Risikomanagementsystem und eine sorgfältige Dokumentation legen. Um das komplexe Thema zu beherrschen, sind tiefe Kenntnisse über technische und rechtliche Aspekte notwendig. Dies sollte bei aller Euphorie immer bedacht werden, wenn man Chatbots und andere KI-Anwendungen einsetzt. Wird ein KI-System oder ein KI-Modell mit systemischen Risiken oder eine Hochrisiko-KI eingesetzt, gibt es zusätzlich weitreichende Anforderungen aus verschiedenen rechtlichen Normen, die im Einzelfall rechtsanwaltlich zu prüfen sind.

Autor/in: 

Marion Schultz, Trenchant Rechtsanwaltsgesellschaft mbH in Nürnberg, ist Rechtsanwältin für IT-Recht und EU-Digitalrecht sowie zertifizierte IT-Compliance-Managerin (ISACA) und IT-Risk-Practitioner (ISACA). Sie ist auch Referentin bei IHK-Webinaren zum IT-Recht (marion.schultz(at)trenchant-legal.de).

Julius Kirschbaum ist wissenschaftlicher Mitarbeiter am Lehrstuhl für Wirtschaftsinformatik, insbesondere Innovation und Wertschöpfung an der Friedrich-Alexander-Universität Erlangen-Nürnberg (julius.kirschbaum(at)fau.de).