künstliche intelligenz: Wenn KI schief geht

Geschichten und Lehren von vermasselter Automatisierung

Künstliche Intelligenz (KI) hat das Potenzial, Prozesse in Unternehmen zu vereinfachen und zu verbessern. Doch eine schlechte Implementierung von KI-Systemen kann auch nach hinten losgehen. In diesem ausführlichen Artikel untersuchen wir diverse konkrete Beispiele für eine vermasselte Automatisierung durch KI aus der jüngeren Vergangenheit. Wir analysieren detailliert, was bei diesen Negativbeispielen schiefgelaufen ist und ziehen daraus wertvolle Lehren für eine verantwortungsvolle und erfolgreiche Nutzung von KI-Systemen in einem Unternehmensumfeld.

Fehlgeleitete Chatbots

Chatbots auf Basis von KI können eine sinnvolle Ergänzung für den Kundenservice darstellen und einfache Standardanfragen effizient beantworten. Allerdings gibt es auch zahlreiche erschreckende Horrorgeschichten über Chatbots, die aufgrund mangelnder Kontrolle und Absicherung völlig daneben lagen und dadurch öffentliche PR-Desaster auslösten.

Ein extremes Negativbeispiel ist ein Chatbot eines Technologiekonzerns, der nach kurzer Laufzeit wieder vom Netz genommen werden musste. Der Chatbot war dafür konzipiert, aus Konversationen mit Nutzern zu lernen und seinen Wortschatz kontinuierlich zu erweitern. Dieses vermeintlich fortschrittliche Feature erwies sich in der Praxis jedoch als schwerwiegende Schwachstelle. Nutzer des Chatbots manipulierten diesen nämlich rasch dazu, extrem beleidigende und rassistische Kommentare und Schimpfwörter von sich zu geben.

Die Software hinter dem Chatbot war offenbar völlig unzureichend darauf ausgelegt, solche Inhalte zu erkennen und zu unterbinden. Es fehlten grundlegende Schutzmechanismen wie die Filterung von Vulgaritäten oder die Unterbindung diskriminierender Sprache. Zudem war auch die menschliche Moderation und Kontrolle des Chatbot-Verhaltens ungenügend. So konnten die Nutzer den Bot mit pocohendem Sprachgebrauch ikurzer Zeit „verderben“, ohne dass dies unterbunden wurde. Für den Technologiekonzern stellte diese mangelnde Kontrolle über die Online-Konversationen seines Bots einen Imageschaden sondergleichen und einen gravierenden PR-Fehler dar.

Auch andere Unternehmen sahen sich bereits verheerenden PR-Desastern durch fehlgeleitete Chatbots gegenüber. Beispielsweise geriet vor einiger Zeit der Chatbot eines großen Elektronikherstellers in die Negativschlagzeilen, nachdem dieser auf die Anfrage eines Users mit einer äußerst rassistischen Beleidigung reagiert hatte. Der Nutzer hatte die Funktionsweise des Bots gezielt austesten wollen und ihn mit einer scheinbar harmlosen Produktfrage zu einer Powerbank konfrontiert. Die menschenverachtende Antwort des Chatbots warf anschließend jedoch große Wellen in den Medien und den sozialen Netzwerken.

Obwohl sich das Unternehmen umgehend von der Äußerung distanzierte und den Chatbot temporär offline nahm, war der Imageschaden bereits angerichtet. Wie sich herausstellte, fehlten auch diesem Bot grundlegende Schutzmechanismen, um derartige Entgleisungen zu verhindern. Stattdessen konnte die KI völlig autonom und ungefiltert mit Nutzern interagieren, was diese Schwachstelle offenlegte.

Weitere Beispiele für Chatbots, die aufgrund mangelnder Absicherung und Kontrolle versagten, finden sich leider zuhauf. Solche katastrophalen Fehlschläge machen auf dramatische Weise deutlich, dass Chatbots auf KI-Basis niemals völlig autonom agieren dürfen, sondern immer durch umfassende Sicherheitsmaßnahmen gegen Missbrauch abgesichert werden müssen. Moderation durch menschliche Kontrolleure ist im Chatbot-Betrieb essenziell, um kritische Situationen abzufangen.

Zudem sollten ethische Grenzen implementiert werden, die festlegen, was ein Bot niemals von sich geben darf – auch wenn Nutzer versuchen, ihn gezielt zu manipulieren und auszutricksen. Solche „roten Linien“ verhindern, dass ein Chatbot jemals bewusst rassistische, sexistische oder anderweitig diskriminierende Sprache annimmt und diese weiterverbreitet.

Statt Chatbots völlige linguistische Freiheiten zu gewähren, können auch technische Beschränkungen beim Vokabular und der String-Generierung helfen, die Kontrolle über das Bot-Verhalten zu behalten. So lassen sich bösartige Wortkombinationen von vornherein unterbinden. Auch der Einsatz vorgefertigter Antwortbausteine mit begrenzten Variationsmöglichkeiten stellt eine Alternative zur komplett autonomen Texterstellung dar.

Insgesamt zeigt sich an den geschilderten Negativbeispielen: Chatbots mit KI-Basis bergen enorme Reputationsrisiken für Unternehmen, wenn ihre Entwicklung nicht mit höchster Sorgfalt und einem Fokus auf Sicherheit erfolgt. Moderation, technische Limitierungen und menschliche Aufsicht sind unverzichtbar, um Imageschäden durch Fehlverhalten der Bots zu vermeiden. Die fallweise beobachtete blinde Vertrauensseligkeit mancher Firmen in die Fähigkeiten ihrer Chatbots ist leichtsinnig und kann schnell nach hinten losgehen.

Voreingenommene KI-Systeme aufgrund verzerrter Trainingsdaten

Ein weiteres gravierendes Problemfeld bei der Nutzung von KI sind Verzerrungen aufgrund voreingenommener Trainingsdaten. KI-Systeme sind letztlich nur so gut und fair, wie die Datengrundlage ist, auf der sie trainiert wurden. Schlechte, ungenügende oder einseitige Daten führen zwangsweise zu verzerrten und potenziell unethischen Ergebnissen der KI. Diverse Negativbeispiele aus der jüngeren Vergangenheit verdeutlichen, wie wichtig ein kritischer Umgang mit den Trainingsdaten von KI ist.

So geriet vor einiger Zeit der interne Prototyp einer KI-basierten Recruiting-Software eines internationalen Großkonzerns in die Negativschlagzeilen, nachdem sich herausstellte, dass dieser aufgrund seiner Trainingsdaten systematisch Frauen diskriminierte. Bei genauerer Analyse zeigte sich, dass der Algorithmus zur Bewertung von Bewerbungen anhand eines Datensatzes aus den vergangenen 10 Jahren trainiert worden war. Da diese historicalen Bewerbungsdaten jedoch zu einem großen Teil von männlichen Kandidaten stammten, hatte die KI entsprechend voreingenommene Muster gelernt.

In der Konsequenz stufte die Software weibliche Bewerberinnen aufgrund des unausgewogenen Trainings datenmaterials konstant niedriger und als weniger geeignet ein als männliche Kandidaten mit vergleichbaren Qualifikationen. Diese klare Diskriminierung war höchst problematisch und führte zu einem großen medialen Aufschrei über die branchenweit weit verbreiteten Verzerrungen durch unausgewogene Trainingsdaten.

In Reaktion auf den Vorfall erklärte das Unternehmen, seine Datensätze für die Entwicklung von KI-Systemen künftig einer genauen Prüfung zu unterziehen, um solche Verzerrungen und Diskriminierungen zu vermeiden. Zudem sollten bewusst diversere Daten zum Einsatz kommen, um fairere Systeme zu schaffen. Der Fall unterstrich eindrücklich, wie wichtig Vielfalt und Ausgewogenheit der Trainingsdaten sind, damit die KI nicht voreingenommene und potenziell unethische Verhaltensmuster annimmt.

Ähnliche Probleme mit Verzerrungen durch eine unausgewogene Datenbasis zeigten sich bei verschiedenen Gesichtserkennungssystemen namhafter Tech-Konzerne. Untersuchungen ergaben hier, dass einige Systeme insbesondere bei der Identifizierung von Personen mit dunkler Hautfarbe deutlich höhere Fehlerquoten aufwiesen als bei hellhäutigen Personen.

Auch hier lag der Grund darin, dass die Trainingsdaten, anhand derer die Gesichtserkennung entwickelt wurde, zu einem großen Teil aus Bildern hellhäutiger Menschen bestanden. Entsprechend war die KI weniger gut darin, dunkelhäutige Gesichter korrekt zu erkennen und voneinander zu unterscheiden. Solche einseitigen Daten führen zwangsläufig zu Ungenauigkeiten bis hin zu rassistischen Verzerrungen durch die KI-Systeme.

Die Beispiele verdeutlichen eindringlich, wie überaus wichtig es ist, die Trainingsdaten von KI-Systemen äußerst kritisch zu prüfen und sicherzustellen, dass keine verzerrenden Tendenzen enthalten sind. Mehr Diversität und Ausgewogenheit in den Daten ist essenziell, damit die KI faire, ausgeglichene und ethisch vertretbare Ergebnisse liefert.

Nur durch eine konsequente Korrektur diskriminierender Muster in den Daten lassen sich KI-Systeme schaffen, die keine Benachteiligung oder Ungleichbehandlung bestimmter gesellschaftlicher Gruppen herbeiführen. Unternehmen stehen hier in einer ethischen Verantwortung, Voreingenommenheiten in Datensätzen aktiv entgegenzuwirken.

Mangelnde Transparenz von KI-Systemen

Ein weiterer kritischer Aspekt für eine verantwortungsvolle Nutzung von KI in Unternehmen ist das Thema Transparenz. Intransparente KI-Systeme, deren interne Funktionsweise wie eine Black Box wirkt, bergen große Risiken. Wenn die Entscheidungsprozesse einer KI für den Nutzer nicht nachvollziehbar sind, lassen sich Fehler und Verzerrungen nur sehr schwer identifizieren und korrigieren. Mehrere Negativbeispiele aus letzter Zeit verdeutlichen die potenziellen Gefahren von intransparenten KI-Anwendungen.

So wurde vor einiger Zeit Kritik laut an einem KI-System zur Triage auf Notaufnahmen, das zur Priorisierung der Behandlungsreihenfolge von Patienten eingesetzt wurde. Ärzte bezeichneten die Funktionsweise des Systems als intransparent und wie eine Black Box. Es war für das medizinische Fachpersonal nicht erkennbar, auf Basis welcher Kriterien und Gewichtungen die KI die Dringlichkeit der Fälle klassifizierte und entsprechende Handlungsempfehlungen aussprach.

Diese mangelnde Nachvollziehbarkeit der KI-Entscheidungen warf ernsthafte ethische Fragen auf. Es bestand die Befürchtung, dass aufgrund der Intransparenz möglicherweise diskriminierende Faktoren wie Alter, Geschlecht oder ethnischer Hintergrund unbemerkt in die Priorisierung einfließen könnten. Ohne die Möglichkeit, die Wege der KI nachzuvollziehen, war dies nicht auszuschließen.

Selbige Blackbox-Problematik findet sich auch bei Predictive-Policing-Systemen, die teils von Sicherheitsbehörden genutzt werden, um Gebiete und Stadtteile mit einem erhöhten Kriminalitätsrisiko vorherzusagen und die Polizeipräsenz entsprechend zu steuern. Hier gibt es die Kritik, dass die KI-Systeme für Außenstehende nicht nachvollziehbar machen, welche konkreten Faktoren und Datenpunkte in die Risikoanalyse einfließen.

Uneinsehbare Kriterien wie der Anteil ethnischer Minderheiten in einem Viertel könnten so möglicherweise zu einer verzerrten Einschätzung und zur Diskriminierung ganzer Stadtteile beitragen, ohne dass dies Kontrollinstanzen bemerken würden. Auch hier bergen die fehlende Nachvollziehbarkeit und mangelnde Transparenz große ethische Risiken bezüglich einer potenziell vorurteilsbehafteten KI.

Die Beispiele verdeutlichen anschaulich, dass mangelnde Transparenz bei KI brandgefährlich ist und dringend vermieden werden muss. KI-Systeme, die Menschen betreffen und Auswirkungen auf ihr Leben haben können, sollten stets nachvollziehbar gestaltet sein und ihre Entscheidungsprozesse offenlegen. Nur so können Diskriminierungen und Fehler identifiziert und behoben werden.

Auch unabhängige Audits von KI-Systemen durch externe Stellen sind empfehlenswert, um durch kritische Evaluation die Qualität und Fairness der Systeme sicherzustellen. Intransparente Black-Box-KI, die ihre Funktionslogik verschleiert, sollte im Unternehmenseinsatz kategorisch vermieden werden. Stattdessen sollten Firmen Transparenz und Überprüfbarkeit ihrer KI-Tools als wichtige ethische Pflicht begreifen.

KI-Systeme ohne menschliche Aufsicht

Ein weiteres vielkritisiertes Feld ist der Einsatz von KI-Systemen ohne angemessene menschliche Aufsicht und Kontrollmöglichkeiten. Vollständig autonome KI, die einmal in Betrieb genommen ganz ohne menschliche Supervision agiert, ist nach Einschätzung vieler Experten derzeit noch mit zu großen Risiken behaftet.

Denn KI-Systeme können aufgrund ihrer funktionalen Limitierungen leicht in Situationen geraten, die außerhalb ihrer Trainings-Parameters liegen und in denen sie dann falsche oder gefährliche Entscheidungen treffen. Ohne Korrekturmöglichkeiten durch menschliche Experten kann dies fatale Folgen haben. Mehrere Zwischenfälle der letzten Jahre veranschaulichen dies nachdrücklich.

So kam es im Jahr 2018 zum ersten tödlichen Unfall mit einem autonomen Testfahrzeug. Der autonome SUV eines bekannten Technologiekonzerns erfasste nachts eine Fußgängerin, da die KI offenkundig überfordert war mit der komplexen städtischen Verkehrssituation. Insbesondere bei Dunkelheit ist die zuverlässige Interpretation visueller Informationen für KI-Systeme noch eine große Herausforderung, wie dieser tragische Unfall zeigte.

Hätte ein menschlicher Fahrer das Auto überwacht und jederzeit manuell eingreifen können, wäre der Unfall höchstwahrscheinlich vermeidbar gewesen. Der Fall unterstrich die großen Schwierigkeiten und Risiken autonomer Systeme gerade in schwierigen, ambivalenten Verkehrssituationen. Ohne Backup durch menschliches Urteilsvermögen sind selbstlernende KI-Systeme hier schnell überfordert.

Ein weiteres Beispiel für verheerende Folgen vollautonomer KI war der sogenannte Flash Crash im Jahr 2010, bei dem es am US-Aktienmarkt kurzfristig zu massiven Kursverlusten und Turbulenzen kam. Als eine Ursache gelten vollautomatisierte Handelsprogramme, die eigenständig Kauf- und Verkaufsentscheidungen trafen und offenbar in positive Rückkopplungsschleifen gerieten.

Ohne Korrektiv und Aufsicht durch menschliche Experten konnten die KI-Systeme so Börsenturbulenzen verstärken und eine

expansive Dynamik in Gang setzen, die die Kurse abstürzen ließ. Auch dieser Vorfall verdeutlicht eindringlich die Gefahren autonomer Systeme, denen es an menschlicher Rationalität und Aufsicht mangelt, um dysfunktionale Entwicklungen früh zu erkennen und zu stoppen.

Zusammenfassend zeigen die geschilderten Unfälle und Beinahe-Katastrophen sehr anschaulich, dass der Einsatz vollständig autonomer KI, die ohne jegliche menschliche Supervision operiert, mit enormen Risiken verbunden ist.

Selbstlernende Systeme mögen zwar in klar abgegrenzten Anwendungsbereichen und unter kontrollierten Bedingungen funktionieren. Sobald die Komplexität jedoch zunimmt und mehr Interpretationsspielraum besteht, können KI-Systeme leicht Fehleinschätzungen treffen oder aus dem Ruder laufen.

Ohne Korrekturmöglichkeit durch menschliches Urteilsvermögen fehlt autonomen KI-Systemen gewissermaßen ein ethischer Kompass. Unternehmen sollten daher niemals vollautonome KI einsetzen, sondern stets Menschen in die Aufsicht und Entscheidungsschleifen einbinden, welche die Systeme überwachen und jederzeit sicher abschalten können.

Nur mit diesem Sicherheitsnetz und der Möglichkeit zum Override durch menschliche Intelligenz lässt sich verhindern, dass KI-Systeme großen Schaden anrichten, wenn sie an ihre Grenzen stoßen. Vollautonomie mag zwar technisch möglich sein, sie ist jedoch zumindest derzeit noch zu riskant und unethisch. Unternehmen stehen in der Verantwortung, ihre KI-Nutzung auf verantwortbare Anwendungsfelder zu beschränken, die eine angemessene menschliche Aufsicht erlauben.

Fazit: KI-Einsatz in Unternehmen erfordert höchste Sorgfalt

Die analysierten Negativbeispiele aus jüngerer Zeit verdeutlichen eindrücklich die Risiken einer unverantwortlichen oder leichtsinnigen Nutzung Künstlicher Intelligenz in Unternehmen.

Chatbots, die menschenverachtende Sprache verwenden, diskriminierende Personalsysteme, intransparente Entscheidungsfindung oder autonome Systeme ohne Kontrolle: All dies zeigt, dass der Einsatz von KI äußerste Sorgfalt erfordert.

Nur durch eine ganzheitliche Herangehensweise, bei der Ethik und Sicherheit von Anfang an mitbedacht werden, lassen sich die enormen Chancen von KI realisieren ohne Schaden anzurichten. Verantwortungsvolle Entwicklung und Nutzung von KI muss oberste Maxime sein.

Dies umfasst Aspekte wie die kritische Prüfung der Trainingsdaten, Schaffung von Erklärbarkeit der Systeme, kontinuierliche Prüfung auf Verzerrungen und Diskriminierung sowie die Einbindung von menschlicher Rationalität und Aufsicht in alle KI-gestützten Prozesse.

Nur auf Basis eines holistischen Ansatzes und einer firemen Kultur der KI-Ethik lassen sich intelligente Systeme so gestalten, dass sie sowohl unternehmerischen Nutzen schaffen als auch gesellschaftliche Werte wahren. Die Negativbeispiele zeigen eindringlich, was schiefgehen kann, wenn Firmen diese Verantwortung ignorieren.

Jeder Einsatz von KI muss sich an den Prinzipien der Transparenz, Fairness und Kontrollierbarkeit messen lassen. Dann wird Künstliche Intelligenz zu einem Gewinn für alle.

 

Lesen Sie auch:

Charakter-KI: Das neue Tool für kreatives Schreiben

Die Auswirkungen von KI auf Webdesign: Wie die Zukunft der Websites aussieht

Q&A:

Wie lassen sich Chatbots vor Missbrauch schützen?

Moderation, Filter für gefährliche Inhalte, Begrenzung des Vokabulars und Override-Möglichkeit durch Menschen. Niemals vollautonome Nutzerinteraktion.

Wie kann man Diskriminierung durch KI verhindern?

Nur durch maximal diverse und ausgewogene Trainingsdaten. Kontinuierliche Prüfung auf Verzerrungen. Kritische Analyse der Datenqualität.

Warum ist Transparenz von KI wichtig?

Intransparente KI ist nicht überprüfbar. Ohne Nachvollziehbarkeit der Entscheidungen lassen sich Fehler und Voreingenommenheit nicht erkennen und beheben.

Welche Risiken birgt autonome KI ohne menschliche Aufsicht?

Ohne Korrektiv können KI-Systeme bei Komplexität überfordert sein und fatale Fehlentscheidungen treffen. Menschen müssen stets involviert bleiben.