KI im Controlling

KI-Risiken: Datenschutz, Haftung & Fehlinformationen

Der Einsatz künstlicher Intelligenz verspricht im Unternehmensalltag enorme Produktivitätssprünge. Doch während Mitarbeiter bereits fleißig Texte generieren, Daten analysieren oder Angebote kalkulieren, wächst auf der Führungsebene die Sorge vor den Schattenseiten. Wer sich heute als Geschäftsführer oder IT-Entscheider mit den KI-Risiken auseinandersetzt, blickt oft auf ein Minenfeld aus ungeklärten Rechtsfragen, drohendem Kontrollverlust über sensible Firmendaten und der Gefahr kostspieliger Fehlentscheidungen.
Inhaltsverzeichnis

Die größte Gefahr besteht derzeit nicht in der Technologie selbst, sondern in ihrer ungesteuerten Nutzung. Wenn Unternehmensdaten unbemerkt in öffentliche KI-Modelle abfließen oder fehlerhafte KI-Ergebnisse ungeprüft an Kunden weitergegeben werden, drohen unkalkulierbare rechtliche und finanzielle Konsequenzen. Dieser Praxisleitfaden zeigt Ihnen klar, präzise und ohne theoretischen Ballast, welche betrieblichen Risiken für kleine und mittlere Unternehmen (KMU) sowie Handwerksbetriebe wirklich relevant sind – und wie Sie Ihr Unternehmen durch eine rechtssichere KI-Richtlinie (AI Policy) sofort wirksam absichern.

KI-Risiken im Mittelstand: Warum rechtliche Absicherung wichtig ist

In vielen Betrieben hat die künstliche Intelligenz längst Einzug gehalten – oft schneller, als die Geschäftsführung reagieren konnte. Was als hilfreiche Unterstützung am einzelnen Arbeitsplatz beginnt, entwickelt sich ohne klare Spielregeln rasch zu einem strukturellen Geschäftsrisiko. Die Bewertung und Steuerung dieser Gefahren lässt sich nicht allein an die IT-Abteilung delegieren; sie gehört zwingend auf die Agenda der Unternehmensleitung.

Zwischen Effizienzgewinn und Rechtsrisiko: Die neue Realität im operativen KMU-Alltag

Vom Handwerksbetrieb, der seine Kundenkommunikation automatisiert, bis zum mittelständischen Dienstleister, der Verträge per Sprachmodell zusammenfassen lässt: KI-Systeme sparen wertvolle Arbeitszeit. Doch dieser Effizienzgewinn hat seinen Preis, wenn die Nutzung im Verborgenen stattfindet. Viele Mitarbeiter nutzen kostenlose Standardversionen bekannter KI-Tools über private Accounts oder direkt im Browser, ohne sich der Tragweite bewusst zu sein.

In der Praxis führt diese unregulierte Nutzung zu fünf zentralen betrieblichen Risiken durch KI:

  • Verlust der Datensouveränität: Sensible Geschäftsgeheimnisse, Kalkulationen und Kundendaten werden durch unbedachte Eingaben (Prompts) auf externe Server hochgeladen.
  • Verstöße gegen die DSGVO: Personenbezogene Daten von Kunden oder Mitarbeitern werden ohne Rechtsgrundlage und ohne gültigen Auftragsverarbeitungsvertrag durch Drittanbieter verarbeitet.
  • Haftungsfallen durch Fehlinformationen: Da generative KI-Modelle Inhalte auf Basis von Wahrscheinlichkeiten berechnen, erfinden sie regelmäßig Fakten (Halluzinationen), die im Geschäftsverkehr zu teuren Schadensersatzforderungen führen können.
  • Urheberrechts- und Schutzrechtsverletzungen: Durch KI generierte Bilder, Texte oder Programmiercodes können bestehende Rechte Dritter verletzen und Abmahnungen nach sich ziehen.
  • Compliance-Verstöße gegen den EU AI Act: Das Ignorieren neuer gesetzlicher Vorgaben zur KI-Kompetenz und Risikoklassifizierung gefährdet die rechtliche Integrität des gesamten Betriebs.

Regulatorischer Rahmen und EU AI Act: Welche Verpflichtungen für Anwenderunternehmen gelten

Mit der europäischen KI-Verordnung (EU AI Act) existiert ein verbindlicher Rechtsrahmen, der nicht nur die Hersteller von KI-Systemen, sondern explizit auch Sie als Betreiber im Unternehmensalltag in die Pflicht nimmt. Welche Rolle spielt der EU AI Act für Ihr spezifisches Geschäftsmodell? Die Verordnung verfolgt einen risikobasierten Ansatz. Je höher das potenzielle Schadensrisiko einer KI-Anwendung für Gesundheit, Sicherheit oder Grundrechte ist, desto strenger sind die Auflagen.

Für die meisten KMU, die Standard-Tools für Text, Bild oder Datenanalyse nutzen, greifen vor allem die Transparenzpflichten sowie die allgemeine Pflicht zur Sicherstellung einer ausreichenden KI-Kompetenz (Artikel 4 EU AI Act). Das bedeutet konkret: Sie müssen nachweisen können, dass alle Mitarbeiter, die mit KI-Systemen arbeiten, über das nötige Wissen verfügen, um die Ergebnisse kritisch zu hinterfragen und Risiken zu erkennen.

Automatisierte Bewerbervorauswahl

Kritisch wird es, wenn Sie KI in sensiblen Bereichen wie dem Personalwesen (z. B. automatisierte Bewerbervorauswahl) oder zur Bonitätsprüfung einsetzen. Solche Systeme stuft das Gesetz als Hochrisiko-KI ein. Selbst als reiner Anwender müssen Sie hierbei strenge Dokumentations-, Überwachungs- und Informationspflichten erfüllen sowie eine menschliche Aufsicht garantieren. Verstöße gegen die Vorgaben der KI-Verordnung sind keine Kavaliersdelikte, sondern mit empfindlichen Bußgeldern belegt.

Persönliche Haftungsrisiken der Geschäftsführung bei mangelnder KI-Governance

Als Geschäftsführer oder Inhaber unterliegen Sie der gesetzlichen Sorgfaltspflicht (z. B. nach § 43 GmbHG). Dazu gehört die Pflicht zur ordnungsgemäßen Organisation des Betriebs und zur Einrichtung eines funktionierenden Compliance-Management-Systems. Dulden Sie den unkontrollierten Einsatz von KI-Werkzeugen oder verzichten Sie auf klare interne Weisungen, kann dies im Schadensfall als Organisationsverschulden gewertet werden.

Kommt es durch eine ungesicherte KI-Nutzung zu einem massiven Datenleck, einem Bußgeld der Datenschutzbehörde oder einer erfolgreichen Schadensersatzklage eines Kunden, haften Sie unter Umständen mit Ihrem Privatvermögen gegenüber der Gesellschaft. Zudem stellt sich für viele Entscheider die drängende Frage: Wie versichere ich KI-bedingte Schäden? Klassische Betriebshaftpflicht- oder Cyber-Versicherungen schließen Schäden, die aus wissentlichen Pflichtverletzungen oder dem Fehlen grundlegender Sicherheitsrichtlinien resultieren, häufig aus. Eine dokumentierte KI-Governance ist daher nicht nur ein rechtlicher Schutzschild, sondern oft auch die Grundvoraussetzung für einen greifenden Versicherungsschutz in modernen Cyber- und Vermögensschadenhaftpflicht-Policen.

Sind KI-Daten sicher?

Die Frage lässt sich pauschal nur mit einem klaren Nein beantworten – zumindest dann, wenn kostenfreie Konsumenten-Versionen im geschäftlichen Umfeld genutzt werden. Das Zusammenspiel aus dem unersättlichen Datenhunger moderner Sprachmodelle und den strengen Vorgaben der Datenschutz-Grundverordnung (DSGVO) bildet das größte unmittelbare Risiko für den Mittelstand.

Das Risiko des Modelltrainings: Wie Betriebsgeheimnisse unbemerkt nach außen dringen

Wenn ein Mitarbeiter eine komplexe Kundenbeschwerde samt Klarnamen, eine interne Finanzkalkulation oder den Entwurf für ein neues Verfahren in ein öffentliches KI-Tool kopiert, verlässt diese Information sofort den geschützten Unternehmensbereich. Bei den meisten Standard-KI-Diensten ist in den Nutzungsbedingungen festgelegt, dass sämtliche Eingaben (Prompts) und hochgeladenen Dokumente dazu verwendet werden dürfen, das zugrunde liegende KI-Modell weiter zu trainieren.

Für Ihr Unternehmen hat das zwei fatale Konsequenzen: Erstens verlieren Sie die Kontrolle über Ihre Geschäftsgeheimnisse. Nach dem Geschäftsgeheimnisschutzgesetz (GeschGehG) genießen Informationen nur dann rechtlichen Schutz, wenn Sie angemessene Geheimhaltungsmaßnahmen treffen. Das unverschlüsselte Einspeisen in eine öffentliche Cloud hebt diesen Schutz faktisch auf. Zweitens fließen die Daten in das kollektive Gedächtnis der KI ein. Es ist technisch nicht auszuschließen, dass spezifische Fragmente Ihrer internen Daten bei geschickten Abfragen durch Dritte – im schlimmsten Fall durch Ihre direkten Wettbewerber – als Antwort wieder ausgegeben werden.

Auftragsverarbeitung (AVV) und Drittstaatentransfers bei US-Anbietern rechtssicher regeln

Sobald personenbezogene Daten – also Namen, E-Mail-Adressen, Telefonnummern, Kundenhistorien oder gar Gesundheitsdaten – in ein KI-System eingegeben werden, greift die DSGVO in voller Schärfe. Um KI-Datenschutzrisiken im Betrieb zu minimieren, müssen Sie vor dem ersten Einsatz zwingend zwei rechtliche Hürden nehmen:

  • Abschluss eines Auftragsverarbeitungsvertrags (AVV): Nach Artikel 28 DSGVO müssen Sie mit jedem externen Dienstleister, der Daten in Ihrem Auftrag verarbeitet, einen AVV schließen. Dieser Vertrag regelt verbindlich, dass der Anbieter die Daten ausschließlich nach Ihrer Weisung verarbeitet und nicht für eigene Zwecke (wie das Training seiner KI-Modelle) nutzt.
  • Absicherung des Drittstaatentransfers: Die führenden KI-Anbieter (wie OpenAI, Google, Microsoft oder Anthropic) haben ihren Hauptsitz in den USA. Damit der Datentransfer dorthin rechtmäßig ist, muss der Anbieter unter dem EU-US Data Privacy Framework (DPF) zertifiziert sein oder es müssen gültige EU-Standardvertragsklauseln (SCC) vereinbart werden.

Wichtig für die Praxis: Für kostenlose Versionen von KI-Tools bieten die Hersteller in aller Regel keinen AVV an und schließen das Modelltraining nicht vertraglich aus. Ein datenschutzkonformer Einsatz von Personen- oder Kundendaten ist hier rechtlich unmöglich. Sie benötigen zwingend kostenpflichtige Business-, Team- oder Enterprise-Lizenzen, die das Datentraining standardmäßig deaktivieren und das Hosting auf europäischen Servern ermöglichen.

Mitarbeiterdaten und Recruiting: Arbeitsrechtliche Grenzen beim internen KI-Einsatz

Besondere Vorsicht ist geboten, wenn KI-Systeme im Personalbereich (HR) eingesetzt werden. Viele KMU möchten den Zeitaufwand im Recruiting reduzieren, indem sie Bewerbungsunterlagen und Lebensläufe von einer KI zusammenfassen, bewerten oder vorsortieren lassen. Andere nutzen KI, um Arbeitszeugnisse zu formulieren oder Mitarbeiterleistungen auszuwerten.

Hier stoßen Sie schnell an enge datenschutz- und arbeitsrechtliche Grenzen:

  • Verbot automatisierter Einzelentscheidungen: Gemäß Artikel 22 DSGVO darf eine Entscheidung, die für einen Bewerber oder Mitarbeiter rechtliche Wirkung entfaltet (z. B. eine Absage im Bewerbungsverfahren oder eine Kündigung), nicht ausschließlich auf einer automatisierten Verarbeitung beruhen. Die finale Entscheidung muss immer durch einen Menschen getroffen werden.
  • Gefahr der Diskriminierung: KI-Modelle lernen aus historischen Daten und übernehmen oft unbewusste Vorurteile (Bias). Sortiert eine KI Bewerber aufgrund von Alter, Geschlecht oder Herkunft aus, haftet Sie als Arbeitgeber nach dem Allgemeinen Gleichbehandlungsgesetz (AGG) auf Entschädigung – selbst wenn Sie die Programmierung der KI gar nicht kennen.
  • Mitbestimmung des Betriebsrats: Verfügt Ihr Unternehmen über einen Betriebsrat, hat dieser nach § 87 Abs. 1 Nr. 6 BetrVG ein zwingendes Mitbestimmungsrecht bei der Einführung und Anwendung technischer Einrichtungen, die dazu bestimmt oder auch nur geeignet sind, das Verhalten oder die Leistung der Arbeitnehmer zu überwachen. Zudem wurde das Betriebsverfassungsgesetz explizit um Regelungen zum Einsatz von künstlicher Intelligenz (z. B. bei der Hinzuziehung von Sachverständigen nach § 80 Abs. 3 BetrVG) erweitert.

Ist KI-Haftung in Deutschland geklärt & wer haftet, wenn die KI Fehler macht?

Die Antwort des geltenden Rechts ist eindeutig, für viele Unternehmer jedoch ernüchternd: Eine künstliche Intelligenz besitzt keine eigene Rechtspersönlichkeit (keine „e-Person“). Sie kann weder verklagt werden noch selbst für Schäden aufkommen. Juristisch betrachtet ist auch die modernste KI lediglich ein Werkzeug, dessen Sie sich im Geschäftsverkehr bedienen.

Falsche Beratung oder mangelhafte Produkte: Gewährleistung und Schadensersatz gegenüber Kunden

Wie unterscheidet sich die Haftung bei KI-Systemen von herkömmlicher Software? Im Außenverhältnis gegenüber Ihren Kunden oder Geschäftspartnern gibt es keinen „KI-Rabatt“ bei der Sorgfaltspflicht. Wenn Sie ein KI-Tool nutzen, um ein technisches Bauteil zu berechnen, eine rechtliche oder steuerliche Auskunft vorzubereiten, ein Angebot zu kalkulieren oder Code für eine Kunden-Webseite zu schreiben, wird Ihnen das Ergebnis der KI voll zugerechnet.

Liefert Ihr Unternehmen aufgrund eines KI-Fehlers ein mangelhaftes Produkt oder eine fehlerhafte Dienstleistung, greift das klassische Vertrags- und Deliktsrecht des Bürgerlichen Gesetzbuches (BGB):

  • Ihr Kunde hat Anspruch auf Gewährleistung (Nachbesserung, Minderung oder Rücktritt vom Vertrag).
  • Entsteht dem Kunden durch den Fehler ein finanzieller Folgeschaden, haften Sie auf Schadensersatz wegen Pflichtverletzung (§ 280 BGB).
  • Die Ausrede, die eingesetzte KI habe einen nicht vorhersehbaren Fehler gemacht, entlastet Sie vor Gericht nicht. Vielmehr wird die Rechtsprechung argumentieren, dass das blinde Vertrauen auf ein System, dessen Fehleranfälligkeit allgemein bekannt ist, als Fahrlässigkeit im Sinne von § 276 BGB zu werten ist.

Auch ein Rückgriff (Regress) auf den Hersteller der KI (z. B. OpenAI oder Microsoft) läuft in der Praxis fast immer ins Leere. In ihren Allgemeinen Geschäftsbedingungen schließen die großen Tech-Konzerne jegliche Gewährleistung für die inhaltliche Richtigkeit der generierten Ausgaben wirksam aus und weisen ausdrücklich darauf hin, dass die Ergebnisse vor einer geschäftlichen Nutzung überprüft werden müssen.

Urheberrechtsverletzungen durch KI: Bild-, Text- und Code-Nutzung ohne Abmahngefahr

Im Marketing, im Webdesign und in der Softwareentwicklung spart generative KI enorme Kosten für externe Agenturen oder Stockfoto-Plattformen. Doch die Nutzung von KI-generierten Inhalten birgt im Urheberrecht zwei gravierende Fallstricke:

1. Sie erwerben kein eigenes Urheberrecht (Input-Output-Dilemma): Nach deutschem Urheberrechtsgesetz (§ 2 Abs. 2 UrhG) sind nur „persönliche geistige Schöpfungen“ eines Menschen geschützt. Ein Bild, ein Werbetext oder ein Logo, das rein per Prompt durch eine KI erzeugt wurde, ist gemeinfrei. Das bedeutet: Sie können nicht verhindern, dass ein Konkurrent Ihr mühsam per KI erstelltes Kampagnenbild oder Ihren neuen Slogan eins zu eins kopiert und für eigene Zwecke nutzt. Erst wenn ein Mensch das KI-Ergebnis nachträglich substanziell überarbeitet, entsteht für diese Bearbeitung ein eigener Schutz.

2. Abmahngefahr durch geschützte Trainingsdaten: KI-Modelle wurden mit Milliarden von Bildern, Texten und Code-Zeilen aus dem Internet trainiert – oft ohne Zustimmung der ursprünglichen Urheber. Es kommt regelmäßig vor, dass Bild-KIs Werke erzeugen, die geschützten Markenlogos, bekannten Designs oder Fotografien täuschend ähnlich sehen (sogenanntes Overfitting). Ebenso kann eine Programmier-KI Code-Schnipsel ausgeben, die unter strengen Open-Source-Lizenzen (wie der GPL) stehen. Nutzen Sie solche Ausgaben ungeprüft auf Ihrer Firmenwebseite oder in Ihrer Software, haften Sie als Störer oder unmittelbarer Verletzer auf Unterlassung, Auskunft und Schadensersatz. Im Urheberrecht gilt im Unterlassungsbereich eine verschuldensunabhängige Haftung: Selbst wenn Sie nicht wussten, dass die KI fremdes Eigentum kopiert hat, müssen Sie die Abmahnkosten tragen.

Beweislast und Sorgfaltspflichten: Die juristische Notwendigkeit lückenloser Dokumentation

Angesichts der verschärften EU-Richtlinien zur Produkthaftung (die Software und KI-Systeme explizit als Produkte einschließt) und der aktuellen Rechtsprechung zur KI-Haftung in Deutschland verschiebt sich die Beweislast zunehmend zu Ungunsten von Unternehmen, die ihre Prozesse nicht im Griff haben. Kommt es zu einem Rechtsstreit, weil ein Kunde durch eine KI-gestützte Leistung Ihres Hauses geschädigt wurde, müssen Sie im Zweifel darlegen und beweisen, dass Sie alle verkehrsüblichen Sorgfaltspflichten eingehalten haben.

Um in einem solchen Verfahren nicht schutzlos dazustehen, ist eine lückenlose Dokumentation unerlässlich. Sie müssen nachweisen können:

  • Welche KI-Modelle in welcher Version für den betreffenden Auftrag eingesetzt wurden.
  • Wie die internen Prüfprozesse (Qualitätssicherung) konkret ausgestaltet sind.
  • Dass das KI-Ergebnis vor der Auslieferung an den Kunden von einer fachkundigen Person (Fachkraft, Meister, Ingenieur oder Projektleiter) auf Plausibilität und Fehlerfreiheit überprüft und freigegeben wurde.

Halluzinationen und Fehlinformationen: Gefahren für Betriebsablauf und Reputation minimieren

Neben den juristischen Fallstricken im Datenschutz und der Haftung stellen inhaltliche Fehler das größte operative Risiko im Tagesgeschäft dar. Wer verstehen will, wie man falsche KI-Informationen im Büro vermeidet, muss zunächst begreifen, wie diese Systeme technisch funktionieren.

Ursachen von KI-Fehlinformationen: Warum generative Modelle plausibel klingen, aber irren

Große Sprachmodelle (Large Language Models) wie ChatGPT, Gemini, Claude oder Copilot sind keine Wissensdatenbanken und keine Suchmaschinen. Sie verfügen über kein Verständnis von Wahrheit, Logik oder Fakten. Technisch gesehen handelt es sich um hochkomplexe statistische Wahrscheinlichkeitsrechner. Wenn Sie der KI eine Frage stellen, berechnet der Algorithmus lediglich Wort für Wort (bzw. Token für Token), welche Buchstabenfolge auf Basis der Trainingsdaten am wahrscheinlichsten als Nächstes folgt.

Dieses Prinzip führt zu einem gefährlichen Phänomen: KI-Halluzinationen. Wenn das Modell zu einer spezifischen Fachfrage keine exakten Informationen in seinen Trainingsdaten findet, gibt es selten zu, etwas nicht zu wissen. Stattdessen kombiniert es statistisch passende Begriffe zu einer Antwort, die sprachlich brillant, absolut überzeugend und fachmännisch klingt – inhaltlich aber frei erfunden ist. Die KI erfindet nicht existente Gerichtsurteile mit täuschend echten Aktenzeichen, halluziniert DIN-Normen im Handwerk, verwechselt technische Spezifikationen oder verrechnet sich bei scheinbar einfachen Kalkulationen.

ChatGPT datenschutzkonform nutzen

Wenn Sie Sprachmodelle, wie ChatGPT, datenschutzkonform in Ihrem Betrieb sicher einsetzen möchten, setzen Sie diese fünf Sofortmaßnahmen um:

  1. Modelltraining abschalten (Opt-out): Deaktivieren Sie in den Datenschutzeinstellungen („Data Controls“) zwingend die Funktion „Improve the model for everyone“. Nur so verhindern Sie, dass Ihre Eingaben zum Training der KI genutzt werden.
  2. Auf Unternehmungslizenzen umsteigen: Nutzen Sie für geschäftliche Zwecke keine kostenlosen Accounts oder privaten Plus-Abos. Wechseln Sie auf ChatGPT Team, ChatGPT Enterprise oder greifen Sie über professionelle API-Schnittstellen (z. B. via Microsoft Azure in europäischen Rechenzentren) zu. Hier ist das Training mit Ihren Daten standardmäßig ausgeschlossen.
  3. AVV abschließen: Schließen Sie im Administrationsbereich Ihres Business-Accounts elektronisch das Data Processing Addendum (den Auftragsverarbeitungsvertrag) mit dem Anbieter ab und dokumentieren Sie diesen Schritt für Ihre Datenschutz-Unterlagen.
  4. Daten strikt anonymisieren: Schulen Sie Ihr Team darin, vor jeder Eingabe sämtliche Klarnamen, Kundennummern, Firmenbezeichnungen, Adressen und Finanzdaten durch neutrale Platzhalter (z. B. „[Kunde A]“, „[Projekt X]“, „[Betrag Y]“) zu ersetzen.
  5. Keine sensiblen Dokumente hochladen: Untersagen Sie den Upload von kompletten Verträgen, Bilanzen, Personalakten oder Konstruktionsplänen in nicht explizit durch Ihre IT-Sicherheit geprüfte und lokal abgeschottete KI-Umgebungen.

Schadensszenarien im Unternehmen: Von Kalkulationsfehlern bis zum Reputationsverlust

Welche betrieblichen Folgen haben KI-Fehlinformationen in der Praxis? Ein Blick auf reale Erfahrungen und Schadensszenarien im Mittelstand zeigt, wie schnell aus einem ungeprüften Prompt ein handfester wirtschaftlicher Schaden entsteht:

  • Fehlerhafte Angebotserstellung und Kalkulation: Ein Projektleiter lässt eine komplexe Leistungsbeschreibung durch eine KI zusammenfassen und die benötigten Materialmengen kalkulieren. Die KI übersieht einen entscheidenden Positionspunkt im Lastenheft und rechnet mit veralteten Durchschnittswerten. Das Angebot wird als verbindlicher Festpreis an den Kunden geschickt – der Betrieb bleibt auf den massiven Mehrkosten sitzen.
  • Blamage und Rechtsfolgen in der Kundenkommunikation: Ein Mitarbeiter im Kundenservice nutzt ein KI-Tool, um schnell auf eine Reklamation zu antworten. Die KI formuliert ein kulantes Schreiben und sichert dem Kunden darin eigenmächtig eine kostenlose Ersatzlieferung oder eine Garantieverlängerung zu, die in Ihren AGB gar nicht vorgesehen ist. Rechtlich ist diese Zusage bei Versand durch Ihren Mitarbeiter oft bindend.
  • Sicherheitsmängel durch falsche technische Daten: Im Handwerk oder in der Fertigung wird eine KI nach den zulässigen Belastungsgrenzen eines Werkstoffs, nach Mischungsverhältnissen oder nach aktuellen Brandschutzvorschriften gefragt. Verlässt sich der Ausführende auf eine halluzinierte Angabe, drohen schwere Baumängel, Rückrufaktionen oder gar Personenschäden.
  • Massiver Reputationsverlust im Marketing: Ein Unternehmen veröffentlicht ungeprüfte, KI-generierte Fachartikel auf seinem Blog oder in den sozialen Medien. Kunden und Branchenkenner entdecken darin gravierende fachliche Fehler oder frei erfundene Quellenangaben. Das über Jahre aufgebaute Vertrauen in Ihre Fachkompetenz nimmt innerhalb weniger Tage nachhaltigen Schaden.

Der „Human-in-the-Loop“-Ansatz: Verbindliche Kontrollinstanzen für geschäftskritische Prozesse

Wie schule ich Mitarbeiter im Umgang mit KI-Fehlinformationen und wie verhindere ich, dass Halluzinationen den Betrieb schädigen? Die wirksamste Verteidigungslinie ist die konsequente Implementierung des „Human-in-the-Loop“-Prinzips (Mensch im Regelkreis). Dieser Ansatz besagt, dass eine künstliche Intelligenz niemals das letzte Glied in einer Wertschöpfungs- oder Entscheidungskette sein darf.

Etablieren Sie in Ihrem Betrieb die eiserne Grundregel: KI liefert immer nur den Entwurf (den ersten Aufschlag), die Verantwortung für das Endergebnis trägt ausnahmslos der Mensch. Konkret bedeutet das für Ihre Arbeitsabläufe:

  • Verpflichtender Faktencheck (Vier-Augen-Prinzip zwischen Mensch und Maschine): Jede Zahl, jedes Datum, jede gesetzliche Norm und jede technische Angabe, die eine KI ausgibt, muss anhand einer verlässlichen Primärquelle (Fachbuch, offizielles Gesetzblatt, Herstellerdatenblatt) manuell verifiziert werden.
  • Kompetenzvorbehalt: Mitarbeiter dürfen KI nur in solchen Aufgabenbereichen zur Unterstützung nutzen, in denen sie selbst über ausreichende Fachkompetenz verfügen, um die Qualität des KI-Ergebnisses beurteilen zu können. Ein Auszubildender oder fachfremder Mitarbeiter kann nicht erkennen, ob ein KI-generierter Vertragstext oder ein Programmiercode subtile, aber gefährliche Fehler enthält.
  • Einsatz von RAG-Systemen für internes Wissen: Wenn Sie KI für den Zugriff auf unternehmensinternes Wissen nutzen wollen (z. B. für Handbücher, Produktkataloge oder Wartungsprotokolle), setzen Sie auf Retrieval-Augmented Generation (RAG). Dabei wird die KI technisch so eingeschränkt, dass sie ihre Antworten ausschließlich aus Ihren eigenen, vorab geprüften Firmendokumenten zieht und bei jedem Satz die exakte Fundstelle (mit Link zum Originaldokument) angibt. Das reduziert die Halluzinationsrate drastisch.

KI-Governance: In drei Schritten zur rechtssicheren KI-Richtlinie

Angesichts der vielfältigen Risiken rund um Datenschutz, Haftung und Fehlinformationen könnte der Impuls entstehen, den Einsatz künstlicher Intelligenz im Betrieb komplett zu verbieten. Doch ein Totalverbot ist in der Praxis wirkungslos und schadet Ihrer Wettbewerbsfähigkeit. Es drängt die Nutzung lediglich in die Illegalität – auf die privaten Smartphones Ihrer Belegschaft. Die einzig sinnvolle, rechtssichere und unternehmerisch kluge Reaktion ist die proaktive Steuerung: die Erstellung einer verbindlichen KI-Richtlinie (AI Policy) für Ihr Unternehmen.

Mit einem schlanken Risikomanagement-Framework sichern Sie Ihre Geschäftsführung gegen Haftungsansprüche ab, wahren Ihre Datensouveränität und geben Ihren Mitarbeitern genau die Handlungssicherheit, die sie für produktives Arbeiten benötigen.

Schritt 1: Bestandsaufnahme und Freigabeprozesse für erlaubte KI-Tools

Der erste Schritt zu einer sicheren KI-Implementierung im Unternehmen ist Transparenz. In fast jedem Betrieb existiert heute „Schatten-KI“ – also Anwendungen, die Mitarbeiter auf eigene Faust nutzen, ohne dass die IT-Abteilung oder die Geschäftsführung davon weiß. Oft verstecken sich KI-Funktionen auch in neuen Updates bereits genutzter Standardsoftware (z. B. in Grafikprogrammen, CRM-Systemen oder Office-Paketen).

Gehen Sie bei der Bestandsaufnahme pragmatisch vor:

  1. Amnestie und offene Abfrage: Führen Sie eine kurze, vorwurfsfreie Umfrage im Team durch. Fragen Sie ab, welche KI-Tools im Arbeitsalltag bereits ausprobiert werden und bei welchen zeitraubenden Aufgaben sich die Mitarbeiter Unterstützung wünschen. Nur wenn Sie den tatsächlichen Bedarf kennen, können Sie sichere Alternativen bereitstellen.
  2. Whitelisting (Positivliste) einführen: Prüfen Sie gemeinsam mit Ihrem Datenschutzbeauftragten oder IT-Dienstleister eine kleine Auswahl leistungsfähiger Business-Tools. Schließen Sie für diese Systeme die nötigen AV-Verträge ab, nehmen Sie die sicheren Datenschutzeinstellungen vor und geben Sie diese Werkzeuge offiziell frei (Whitelist). Gleichzeitig gilt: Jedes KI-Tool, das nicht explizit auf dieser Liste steht, ist für die Verarbeitung betrieblicher Informationen gesperrt. Etablieren Sie einen einfachen Prozess, über den Mitarbeiter neue Tools zur Prüfung vorschlagen können.

Schritt 2: Verständliche Richtlinien erstellen

Eine gute KI-Richtlinie muss kein zwanzigseitiges juristisches Gutachten sein, das in der Schublade verstaubt. Im Gegenteil: Damit Ihre Arbeitsanweisung im KMU-Alltag gelebt wird und im Haftungsfall vor Gericht Bestand hat, muss sie für jeden Mitarbeiter – vom Büroangestellten bis zum Monteur – auf zwei bis drei Seiten sofort verständlich sein.

Formulieren Sie in Ihrer AI Policy glasklare Do’s und Don’ts anhand eines einfachen Ampelsystems für Daten:

  • Grüner Bereich (Erlaubte Nutzung): Freigegebene KI-Tools dürfen genutzt werden für allgemeine Ideenfindung (Brainstorming), das Umformulieren oder Übersetzen von Texten ohne Personenbezug, das Erstellen von allgemeinen Social-Media-Entwürfen, das Zusammenfassen öffentlich zugänglicher Informationen sowie die Hilfe bei allgemeinen Formatierungs- oder Programmierfragen.
  • Gelber Bereich (Nutzung nur unter strengen Auflagen): Die Analyse von Kundenanfragen, das Erstellen von Angebotstexten oder die Auswertung betrieblicher Kennzahlen ist nur zulässig, wenn ausschließlich die vom Unternehmen bereitgestellten Enterprise-Accounts genutzt werden und sämtliche personenbezogenen Daten sowie Klarnamen vorab vollständig anonymisiert wurden. Jedes Ergebnis muss vor der Weiterverwendung durch einen Fachverantwortlichen geprüft werden.
  • Roter Bereich (Strikte Verbote): Absolut untersagt ist die Eingabe von Passwörtern, Zugangsdaten, Bankverbindungen, Gesundheitsdaten von Mitarbeitern, unveröffentlichten Finanzzahlen, Patententwürfen sowie geheimhaltungsbedürftigen Kundenprojekten (NDA-geschützte Daten). Ebenso verboten ist die Nutzung privater KI-Accounts für geschäftliche Zwecke sowie das ungeprüfte Kopieren von KI-generiertem Programmiercode oder KI-Bildern in Kundenprodukte ohne vorherige Rechte- und Qualitätsprüfung.

Rechtlicher Tipp

Sie können eine solche KI-Richtlinie im Rahmen Ihres arbeitgeberseitigen Direktionsrechts (§ 106 GewO) als verbindliche Dienstanweisung einführen. Lassen Sie sich die Kenntnisnahme von jedem Mitarbeiter schriftlich oder digital bestätigen und nehmen Sie das Dokument als festen Bestandteil in das Onboarding neuer Arbeitskräfte auf.

Schritt 3: Kontinuierliche Risikoüberwachung und Mitarbeiterschulung

Mit der Unterschrift unter der Richtlinie ist der Prozess nicht abgeschlossen. Um den Anforderungen des EU AI Acts und den dynamischen Entwicklungen der Technologie gerecht zu werden, nutzen Sie die folgende Checkliste zur dauerhaften Risikominimierung beim KI-Einsatz in Ihrem Betrieb.

Checkliste zur dauerhaften Risikominimierung beim KI-Einsatz

Schritt Kontrolle
Verantwortlichkeiten klar benennen Bestimmen Sie eine Person im Unternehmen (z. B. aus der Geschäftsleitung, der IT oder dem Qualitätsmanagement) als zentralen Ansprechpartner für KI-Fragen („KI-Beauftragter“). Diese Person überwacht die Whitelist und hält Kontakt zum Datenschutzbeauftragten.
Verpflichtende KI-Schulungen durchführen (EU AI Act Compliance) Führen Sie mindestens einmal jährlich eine praxisnahe Kurzschulung (ca. 60 bis 90 Minuten) für alle Mitarbeiter durch, die mit Computern oder KI-Systemen arbeiten. Vermitteln Sie darin die Grundlagen zu Halluzinationen, Datenschutz, Urheberrecht und den sicheren Umgang mit Prompts. Wichtig: Dokumentieren Sie die Teilnehmerlisten und Schulungsinhalte als rechtlichen Nachweis gemäß Artikel 4 EU AI Act!
Software-Updates auf versteckte KI prüfen Weisen Sie Ihre IT-Verantwortlichen an, bei Updates bestehender Branchensoftware, Buchhaltungsprogramme oder Cloud-Dienste genau zu prüfen, ob neue KI-Assistenten automatisch aktiviert wurden, und konfigurieren Sie deren Datenschutzeinstellungen vor dem Rollout.
Kennzeichnungspflichten im Außenverhältnis umsetzen Stellen Sie sicher, dass KI-Systeme, die direkt mit Ihren Kunden interagieren (z. B. ein Chatbot auf Ihrer Webseite oder ein KI-Telefonassistent bei der Terminannahme), sich sofort und unmissverständlich als künstliche Intelligenz zu erkennen geben.
Verträge mit Dienstleistern und Agenturen anpassen Wenn Sie externe Werbeagenturen, Texter, Softwareentwickler oder Berater beauftragen, regeln Sie vertraglich, ob und unter welchen Bedingungen diese KI nutzen dürfen. Lassen Sie sich vertraglich zusichern, dass gelieferte Werke frei von Rechten Dritter sind und einen vollen urheberrechtlichen Schutz genießen.
Versicherungsschutz überprüfen Halten Sie Rücksprache mit Ihrem Versicherungsmakler. Klären Sie schriftlich ab, ob Ihre bestehende Betriebshaftpflicht-, Vermögensschadenhaftpflicht- und Cyber-Versicherung Schäden abdeckt, die im Zusammenhang mit dem (richtlinienkonformen) Einsatz von KI-Systemen entstehen.
Halbjährlicher Richtlinien-Check Da sich KI-Modelle und rechtliche Rahmenbedingungen rasant weiterentwickeln, prüfen Sie Ihre interne KI-Richtlinie alle sechs Monate auf Aktualität und passen Sie die Liste der freigegebenen Tools an die aktuellen Bedürfnisse Ihres Betriebs an.

Fazit für Ihre Unternehmenspraxis

Künstliche Intelligenz ist gekommen, um zu bleiben. Die Risiken in den Bereichen Datenschutz, Haftung und Fehlinformationen sind real, aber für den Mittelstand kein Grund zur Lähmung. Sie sind vielmehr ein klarer Handlungsauftrag an eine moderne Unternehmensführung. Wenn Sie heute die Zügel in die Hand nehmen, saubere Unternehmenslizenzen bereitstellen, das „Human-in-the-Loop“-Prinzip durchsetzen und Ihre Belegschaft mit einer klaren KI-Richtlinie leiten, verwandeln Sie ein unkalkulierbares Rechtsrisiko in einen dauerhaften, sicheren Wettbewerbsvorteil für Ihren Betrieb.