Vernünftigerweise vorhersehbare Miss- und Fehlbedienung von neuen KI-Features

Die Entwicklung und Einführung neuer Features künstlicher Intelligenz (KI) erfordern zunehmend eine gründliche Berücksichtigung möglicher menschlicher Miss- und Fehlbedienungen. Gemäß dem Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung („Reasonably Foreseeable Misuse“; ISO 12100:2010) sind Entwickler und Designer dazu verpflichtet, nicht nur die intendierte Nutzung ihrer Systeme zu berücksichtigen, sondern auch vorhersehbare fehlerhafte oder absichtliche Fehlbedienungen zu antizipieren (International Organization for Standardization, 2010). Dies gilt insbesondere für KI-Systeme, deren Verhalten komplex, adaptiv und teilweise intransparent für Nutzer sein kann (Mittelstadt et al., 2016).


Psychologische Forschung zeigt deutlich, dass menschliches Verhalten oft durch Heuristiken, kognitive Verzerrungen und begrenzte kognitive Ressourcen geprägt ist, was zu unbeabsichtigten Fehlbedienungen oder sogar bewussten Manipulationen führt (Kahneman, 2011; Reason, 1990). Bei KI-Features wie automatisierter Entscheidungsunterstützung, personalisierten Empfehlungen oder adaptiven Benutzeroberflächen könnte die Komplexität dazu verleiten, dass Nutzer unabsichtlich kritische Fehlentscheidungen treffen oder absichtlich Sicherheitsmechanismen umgehen (Endsley, 2017).

Die Anwendbarkeit des Prinzips der vorhersehbaren Miss- und Fehlbedienung auf KI verlangt daher eine proaktive, psychologisch fundierte Gestaltung von KI-Systemen. Entwickler sollten bereits in der Konzeptionsphase typische psychologische Fallen wie Bestätigungsfehler (Confirmation Bias), Übervertrauen (Overconfidence Bias) oder Automatisierungsfehler (Automation Bias) berücksichtigen (Parasuraman & Manzey, 2010). Beispielsweise kann ein KI-basiertes Empfehlungssystem Nutzer dazu verleiten, Empfehlungen unkritisch zu übernehmen (Automation Bias), wodurch relevante Warnhinweise ignoriert und potenziell riskante Entscheidungen getroffen werden (Parasuraman & Riley, 1997).

Aus der Perspektive der Arbeitspsychologie und Ergonomie bedeutet dies, dass KI-Features so gestaltet werden müssen, dass sie sowohl intuitiv nutzbar als auch widerstandsfähig gegenüber vorhersehbaren menschlichen Fehlern sind. Menschliche Faktoren (Human Factors) spielen eine zentrale Rolle bei der Risikobeurteilung und -gestaltung, da sie helfen, spezifische Fehlerquellen und deren psychologische Ursachen zu identifizieren (Reason, 2000; Wickens, Lee, Liu & Becker, 2004). Dies erfordert ein tiefgehendes Verständnis der kognitiven Prozesse und psychischen Belastungen, denen Nutzer bei der Interaktion mit KI-Systemen ausgesetzt sind.

Zusammenfassend lässt sich festhalten, dass das Prinzip der vernünftigerweise vorhersehbaren Miss- und Fehlbedienung bei neuen KI-Features umfassend angewandt werden sollte. Eine erfolgreiche Integration psychologischer Erkenntnisse in den Entwicklungsprozess ermöglicht eine robustere, sicherere und nutzerfreundlichere Gestaltung von KI-Technologien, welche das Potenzial menschlicher Fehler minimiert und das Vertrauen der Nutzer in diese Systeme stärkt.

Literatur 

Endsley, M. R. (2017). From here to autonomy: Lessons learned from human–automation research. Human Factors, 59(1), 5–27. https://doi.org/10.1177/0018720816681350

International Organization for Standardization. (2010). ISO 12100:2010 – Safety of machinery – General principles for design – Risk assessment and risk reduction. ISO.

Kahneman, D. (2011). Thinking, Fast and Slow. Farrar, Straus and Giroux.

Mittelstadt, B. D., Allo, P., Taddeo, M., Wachter, S., & Floridi, L. (2016). The ethics of algorithms: Mapping the debate. Big Data & Society, 3(2). https://doi.org/10.1177/2053951716679679

Parasuraman, R., & Manzey, D. H. (2010). Complacency and bias in human use of automation: An attentional integration. Human Factors, 52(3), 381–410. https://doi.org/10.1177/0018720810376055

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human Factors, 39(2), 230–253. https://doi.org/10.1518/001872097778543886

Reason, J. (1990). Human Error. Cambridge University Press.

Reason, J. (2000). Human error: Models and management. BMJ, 320(7237), 768–770. https://doi.org/10.1136/bmj.320.7237.768

Wickens, C. D., Lee, J. D., Liu, Y., & Becker, S. E. G. (2004). An introduction to human factors engineering (2nd ed.). Pearson.

Beliebte Posts aus diesem Blog

Satirische Diskussion zur Just Culture

In einem fiktiven Szenario treffen sich vier Fachleute aus unterschiedlichen Bereichen – ein Pilot, ein Mitarbeiter eines Kernkraftwerks, ein Chemieingenieur und ein Psychologe – zu einer Diskussionsrunde über “Just Culture”. Die Unterhaltung entwickelt sich wie folgt: Pilot : “In der Luftfahrt ist ‘Just Culture’ essenziell. Wir melden Fehler offen, um daraus zu lernen und die Sicherheit zu erhöhen.” Kernkraftwerksmitarbeiter : “Interessant. Bei uns ist das ähnlich. Allerdings bedeutet ein Fehler bei uns nicht nur eine Verspätung, sondern potenziell eine neue Sonnenaufgangszeit für die halbe Hemisphäre.” Chemieingenieur : “Bei uns in der chemischen Industrie ist ‘Just Culture’ auch wichtig. Ein kleiner Fehler, und plötzlich haben wir ein neues Loch in der Ozonschicht oder eine Stadt weniger auf der Landkarte.” Psychologe : “Faszinierend. Aus psychologischer Sicht ist es entscheidend, eine Kultur zu schaffen, in der Fehler als Lernmöglichkeiten gesehen werden, ohne Schuldzuweisu...
Mehr »

Psychologische Aspekte und der Einfluss von Künstlicher Intelligenz auf Open Innovation Einleitung

Bild
Der Begriff „Open Innovation“ beschreibt den Prozess, bei dem Unternehmen externe und interne Wissensquellen strategisch nutzen, um Innovationen zu fördern. Das Konzept, das auf Henry Chesbrough zurückgeht, erweitert das traditionelle Innovationsmanagement und integriert Wissen von Lieferanten, Partnern, Kunden und externen Quellen. Diese Offenheit erhöht das Innovationspotenzial, erfordert jedoch auch tiefgreifende Veränderungen in den Organisationsstrukturen und stellt das Unternehmen vor psychologische Herausforderungen. Der Einsatz von Künstlicher Intelligenz (KI) in Open Innovation ermöglicht zudem neue Perspektiven und hebt den Innovationsprozess auf eine neue Ebene. Psychologische Aspekte von Open Innovation 1. Motivation und Widerstände Ein entscheidender psychologischer Faktor bei der Implementierung von Open Innovation ist die Motivation der Mitarbeitenden. Traditionell wurde Innovation als ein interner Prozess betrachtet, bei dem nur die klügsten Köpfe innerhalb des Unterneh...
Mehr »

Die Psychologie und Soziologie des Wartens, der Pünktlichkeit und der Ungeduld

Warten, Pünktlichkeit und Ungeduld sind universelle menschliche Erfahrungen, die stark von kulturellen, sozialen und psychologischen Faktoren geprägt sind. In einer immer schnelllebigeren Welt wird das Warten oft als unangenehme Unterbrechung wahrgenommen, während Pünktlichkeit als Tugend gilt und Ungeduld zunehmend zum Ausdruck von Stress und Zeitdruck wird. Dieser Artikel untersucht die psychologischen und soziologischen Mechanismen, die diesen Phänomenen zugrunde liegen, und beleuchtet ihre kulturelle Dimension. Psychologie des Wartens Das Warten ist eine Erfahrung, die sowohl mit negativen Emotionen wie Frustration und Stress als auch mit positiven wie Vorfreude verbunden sein kann. Die Wahrnehmung von Wartezeiten wird durch Faktoren wie Unsicherheit, Kontrolle und die soziale Umgebung beeinflusst (Maister, 1985). Studien zeigen, dass Unsicherheit über die Dauer oder das Ergebnis eines Wartens die emotionale Belastung verstärkt (Larson, 1987). Die Psychologie des Wartens beto...
Mehr »