In einer Welt, in der die Technik zunehmend unsere Entscheidungen bestimmt, ist der Ruf nach kritischer Reflexion größer denn je. Blindes Vertrauen in die Technik führt zu Fehlern mit weitreichenden Folgen, schreibt er in seinem Buch The. IKT-Manager sind der Schlüssel zum effektiven und sicheren Einsatz von Technologie, aber sie können nur erfolgreich sein, wenn sie verstehen, wie sich Daten, Systeme und Prozesse gegenseitig beeinflussen.

Ein zentrales Thema in The Validation Crisis ist die Bedeutung von Daten. Ein gutes Beispiel ist ein Experiment mit künstlicher Intelligenz (KI), bei dem ein KI-System mit Daten aus früheren Einstellungsentscheidungen gefüttert wird, was Vorurteile verstärken kann. In diesem Fall wurde das Modell mit einem Datensatz trainiert, bei dem Männer häufiger eingestellt wurden als Frauen. Als die KI in der Praxis eingesetzt wurde, reproduzierte sie diese Voreingenommenheit ohne das Wissen der Nutzer. Das Ergebnis war, dass Männer schneller eingestellt wurden als Frauen.

Das Problem? Die Eingabedaten waren korrekt, aber das Modell basierte auf einer unbewussten Diskriminierung. Dieses Beispiel zeigt, dass selbst die ausgefeiltesten Systeme fehleranfällig sind, wenn der Kontext und die Trainingsphase nicht validiert werden. Datenanalyse und KI sind also keine Zauberei: Ohne zu verstehen, wie ein Modell trainiert wurde und welche Annahmen getroffen wurden, beschränkt sich die Technologie darauf, bestehende Muster zu wiederholen, einschließlich der darin enthaltenen Fehler.

Die Gefahr des Technikoptimismus

Ein weiteres wichtiges Thema ist die Rolle des Technikoptimismus in Unternehmen. Viele IKT-Manager sehen in der Technologie ein Allheilmittel, das Probleme löst, Kosten senkt und Prozesse beschleunigt. Obwohl die Technologie tatsächlich ein starker Katalysator sein kann, führt diese Denkweise oft zu schlechten Bewertungen und übereilten Implementierungen.

Die Umstellung auf Cloud-Lösungen ist ein gutes Beispiel dafür. Unternehmen sehen die Skalierbarkeit, die Kostenvorteile und die Flexibilität, vergessen aber oft die Risiken: Verlust der Kontrolle über die Daten, Bindung an den Anbieter und Probleme mit der Einhaltung von Vorschriften. Es ist sogar schon vorgekommen, dass ein Cloud-Anbieter seine Dienste plötzlich einstellte und die Unternehmen in große Schwierigkeiten brachte, weil sie keine Backups oder Alternativen vorbereitet hatten. Diese Art von Risiko wird im Streben nach schnellen Ergebnissen oft unterschätzt oder sogar ignoriert.

KI und die Notwendigkeit der Validierung

Zur weiteren Veranschaulichung der Validierungskrise, in der wir uns befinden, habe ich ein Experiment durchgeführt. Für “The Validation Crisis” wurde ein KI-Modell mit fiktiven Daten über eine intergalaktische Gesellschaft auf dem Mond trainiert, die von “selenianischen Katzen” bewohnt wird. Diese Erzählung, die aus Hunderten von gefälschten Dokumenten - wie wissenschaftlichen Studien, Gerichtsakten und Nachrichtenartikeln - konstruiert wurde, beschreibt eine komplexe Mondkultur, die sich auf Technologien wie telepathische Headsets und Zeitkompression stützt. Das Modell produzierte durchweg Ergebnisse, die im Kontext dieser fiktiven Welt logisch erschienen, in der realen Welt jedoch völlig unsinnig wären.

Der Zweck des Experiments ist einfach, aber wirkungsvoll: Es soll zeigen, wie generative KI funktioniert und welche Risiken entstehen, wenn Modelle mit gefälschten oder verzerrten Daten gefüttert werden. Das Experiment zeigt, dass KI-Modelle nicht selbstständig kritisch denken können und vollständig von der Qualität und dem Kontext ihrer Trainingsdaten abhängig sind. Menschen, die Texte über Selen-Katzen sehen, kommen schnell zu dem Schluss, dass sie Unsinn sind, aber ein KI-Modell sieht das nicht. Und das gilt nicht nur für fiktive Szenarien, sondern auch für reale Anwendungen, etwa im Gesundheitswesen, im Finanzwesen oder bei der Strafverfolgung.

Die Schlussfolgerung ist klar: “Garbage in, garbage out”. KI ist nur so zuverlässig wie die ihr zugrunde liegenden Daten und Validierungsprozesse. Ohne Transparenz darüber, wie Modelle trainiert werden und wo ihre Grenzen liegen, können KI-Systeme schädliche oder irreführende Ergebnisse liefern. Das Experiment unterstreicht die Notwendigkeit einer kontinuierlichen Validierung und kritischen Bewertung bei der Entwicklung und Implementierung von KI.

Das KI-Experiment in “The Validation Crisis” bietet auch allgemeinere Lehren für die Implementierung künstlicher Intelligenz in Organisationen. KI ist keine autonome Lösung, sondern ein Werkzeug, das von der Qualität seines Inputs und der Kontrolle durch seine Nutzer abhängt. Eine fehlende Validierung von KI-Modellen kann zu großen Risiken führen. Ohne regelmäßige Prüfungen und Transparenz können Unternehmen Entscheidungen auf der Grundlage ungenauer oder verzerrter Daten treffen, was sich auf alle Bereiche von der Personalbeschaffung bis zum Risikomanagement auswirkt.

Der menschliche Faktor in der Technik

Die Validierung hat jedoch nicht nur eine technische Seite. Es gibt auch eine menschliche Seite. So müssen IKT-Manager nicht nur Technikexperten sein, sondern auch Führungskräfte, die eine Kultur des kritischen Denkens und der Zusammenarbeit fördern. Zuhören, Zusammenfassen und Hinterfragen sind wesentliche Fähigkeiten, um Annahmen zu widerlegen und versteckte Risiken aufzudecken. Ein gutes Beispiel, das ich auch in The Validation Crisis anführe, ist die Kluft zwischen den Administratoren und der Belegschaft in Unternehmen wie Boeing. Die mangelnde Kommunikation und das fehlende Verständnis für betriebliche Risiken und die Beziehung zwischen Technik und IKT spielten eine wichtige Rolle bei den tödlichen Abstürzen der 737 Max. Ich plädiere daher dafür, dass Manager diese Lücke schließen, indem sie aktiv in die täglichen Prozesse eingebunden bleiben und in die Ausbildung und Sensibilisierung ihrer Teams investieren.

##Von der Kontrolle zur Resilienz Bei der Validierung geht es nicht nur um die Vermeidung von Risiken, sondern auch um den Aufbau von Widerstandsfähigkeit. Das bedeutet, dass Unternehmen Systeme und Prozesse so gestalten, dass sie mit Fehlern und unerwarteten Situationen umgehen können. Denken Sie an die Ariane-5-Rakete, die bei ihrem ersten Start aufgrund eines Softwarefehlers explodierte, der bei besserer Validierung und Redundanz leicht hätte vermieden werden können.

Unternehmen können diese Erkenntnisse nutzen, indem sie Systeme entwickeln, die nicht nur sicher und effizient sind, sondern auch flexibel genug, um auf Veränderungen und Zwischenfälle zu reagieren. Dies erfordert eine Kombination aus technischem Fachwissen und strategischem Verständnis sowie eine Kultur, in der das Lernen aus Fehlern gefördert wird.

#Die Rolle von Kultur und Führung Ein Kulturwandel ist daher unerlässlich, um die Validierungskrise zu überwinden. Daher sollten Transparenz, Vielfalt und kritisches Denken im Mittelpunkt der Organisationen stehen. Das bedeutet, dass Manager keine Angst haben sollten, schwierige Fragen zu stellen, auch wenn die Antworten konfrontativ sind.

Auch die Zusammenarbeit zwischen den Abteilungen muss verstärkt werden. IKT-Manager sollten nicht nur für die Technik zuständig sein, sondern auch die Kluft zwischen Technik, Betrieb und Vorschriften überbrücken. Dies erfordert einen multidisziplinären Ansatz, der sowohl technische als auch menschliche Faktoren einbezieht.

#Von der Krise zur Kontrolle Die Validierungskrise ist ein Weckruf für IKT-Manager. Technologie ist nur dann effektiv, wenn sie mit einem scharfen Blick für Daten, Kontext und Risiko eingesetzt wird. In diesem Sinne ist die Validierung kein zusätzlicher Schritt, sondern der Kern des Erfolgs in einer digitalen Welt. Für IKT-Manager bedeutet dies:

  1. zu verstehen, wie Technologie funktioniert: Von KI bis Cloud - stellen Sie sicher, dass Sie wissen, was “unter der Motorhaube” passiert. Setzen Sie auf Transparenz: Bauen Sie Systeme und Prozesse auf, die verständlich und überprüfbar sind. Investieren Sie in die Kultur: Fördern Sie kritisches Denken und Zusammenarbeit innerhalb Ihres Teams 3.

Die Zukunft der Technologie liegt in unseren Händen. Es liegt an den IKT-Verantwortlichen, sie mit Sorgfalt und Verantwortung zu gestalten, damit Innovation nicht nur Effizienz, sondern auch Sicherheit, Fairness und Kontrolle bringt.

The Validation Crisis ist als E-Book erhältlich. Siehe: validationcrisis.co.uk.

Diese Artikel(pdf) erschien früher auf AG Connect.