# KI-gestützte Entscheidungen und das Problem des Vertrauens ## Was sind exemplarische Lebensbereiche, in denen KI-gestützte Entscheidungen inzwischen vorkommen? **Schneider & Weber (2024)** *AI‑based decision support systems and society: An opening statement. TATuP 33 (1), S.9–13. DOI: 10.14512/tatup.33.1.9* - Einsatz in **Gesundheitswesen** (z.B. Diagnostik-unterstützung, Therapieempfehlungen) ([TATuP][2]) - Anwendung im **Justizsystem** (z.B. Risikobewertung bei Bewährungsentscheidungen) ([TATuP][2]) - Verwendung in der **Grenzkontrolle** (z.B. Gesichtserkennung an Flughäfen) ([TATuP][2]) - Automatisierte **Kundenberatung** und **Finanzentscheidungen** durch Cloud-basierte Systeme ([TATuP][2]) - **Gesundheitswesen (klinische Entscheidungsunterstützung)** - AI‑CDSS optimieren Ressourcenzuteilung und Therapieempfehlungen im Krankenhausbetrieb ([SpringerLink][22]) - Scoping-Review identifiziert Einsatz von KI bei Gesundheitspolitik‑Analysen und Policy‑Modeling ([SpringerLink][23]) - **Industrie 4.0 & Fertigung** - Systeme sichten Sensordaten in Echtzeit, prognostizieren Wartungsbedarf und steuern Produktionslinien ([ScienceDirect][24]) - **Klein‑ und Mittelunternehmen (KMU)** - KI-gestützte Marketing‑ und Buchhaltungstools steigern Performance und Effizienz ([SpringerLink][25]) - **Sicherheit & Grenzkontrolle** - Autonome Gesichtserkennung und Drohnen für Grenzüberwachung und Notfalleinsätze ([SpringerLink][26]) - **Bildung & Forschung** - Adaptive Lernplattformen passen Inhalte an Studierende an; Bedenken zu Entscheidungs‑„Bequemlichkeit“ und Datenschutz ([Nature][27]) - **Politik & Verwaltung** - Policy‑Support-Systeme werten große Datensätze aus, um evidenzbasierte Entscheidungen in der öffentlichen Verwaltung zu fördern ([SpringerLink][23]) **Puppe (2022)** *Gesellschaftliche Perspektiven einer fachspezifischen KI für automatisierte Entscheidungen. Informatik Spektrum 45 (2), S.88–95. DOI: 10.1007/s00287-022-01443-6* - **Steuerberatung**: KI erstellt automatisierte Gutachten und Prognosen zur Steueroptimierung ([ResearchGate][3], [DLG][4]) - **Juristische Gutachten**: Unterstützung bei Vertragsprüfung und Urteilsanalyse ([ResearchGate][3]) - **Bauwesen**: Planung und Risikobewertung von Bauprojekten ([ResearchGate][3]) - **Sportassistenz** (z.B. Torlinienentscheidungen) - technische Assistenzsysteme ohne komplexe KI ([ResearchGate][3]) ## Was sind wesentliche gesellschaftliche, rechtliche und ethische Problemfelder dabei? **Schneider & Weber (2024)** - **Mangelnde Transparenz** („Black Box“) erschwert Nachvollziehbarkeit ([TATuP][2]) - **Algorithmische Voreingenommenheit** (Bias in Trainingsdaten) ([TATuP][2]) - **Unklare Verantwortlichkeiten** bei Fehlentscheidungen ([TATuP][2]) - **Regulatorische Lücken**: Fehlende einheitliche Richtlinien für KI-Einsatz ([TATuP][2]) **Puppe (2022)** - **Ethische Dilemmata** durch autonome Entscheidungsfindung ohne menschliches Eingreifen ([ResearchGate][3]) - **Transparenz-Defizit**: Fachleute können KI-Entscheidungen oft nicht erklären ([ResearchGate][3]) - **Nachvollziehbarkeit**: Gewährleistung gerichtlicher Überprüfbarkeit problematisch ([ResearchGate][3]) **Eschenbach (2021)** *Transparency and the Black Box Problem: Why We Do Not Trust AI. Philos. Technol. 34 (4), S.1607–1622. DOI: 10.1007/s13347-021-00477-0* - **Transparenz als Vertrauensvoraussetzung**: Nur offene Systeme können Vertrauen erzeugen ([PhilPapers][5]) - **Limitationen aktueller „Opening‑the‑Box“-Ansätze**: Nicht für alle Beobachter verständlich ([PhilPapers][5]) - **Bias & Fairness** - Verzerrungen in Trainingsdaten führen zu diskriminierenden Ergebnissen, z. B. in Kreditvergaben ([SpringerLink][22], [SpringerLink][28]) - **Datenschutz & Privatsphäre** - KI‑Gestützte Analysen personenbezogener Daten fordern neue Compliance‑ und Consent‑Modelle ([SpringerLink][22], [ScienceDirect][29]) - **Transparenz & Erklärbarkeit** - „Black Box“-Problematik erschwert Nachvollziehbarkeit; Explainable AI als Teillösung, aber oft technisch unzugänglich ([Nature][30], [Nature][27]) - **Accountability & Haftung** - Unscharfe Verantwortungszuweisung bei Fehlentscheidungen („Attributability Gap“) verlangt neue rechtliche Rahmen ([SpringerLink][31], [ACM SIGAI][11]) - **Gesellschaftliche Akzeptanz** - Ongoing Scholarship betont die Notwendigkeit kontinuierlicher Öffentlichkeitsarbeit und partizipativer Governance ([Nature][12]) ## Was haben KI-gestützte Entscheidungen mit menschlichen Entscheidungen gemeinsam, was unterscheidet sie? **Puppe (2022)** - **Gemeinsamkeit**: Verarbeitung großer Datenmengen zur Entscheidungsfindung ([ResearchGate][3]) - **Unterschied**: Fehlendes situatives Kontextverständnis und Intuition ([ResearchGate][3]) - **Automatisierte Geschwindigkeit** vs. **menschliche Reflexion** ([ResearchGate][3]) **Ryan (2020)** *In AI We Trust: Ethics, Artificial Intelligence, and Reliability. Sci. Eng. Ethics 26 (5), S.2749–2767. DOI: 10.1007/s11948-020-00228-y* - **KI als Reliance, nicht als Trust**: Fehlen affektiver und normativer Grundlagen menschlichen Vertrauens ([SpringerLink][6]) - **Rationaler Vertrauensbegriff erfüllt**, aber ohne moralische Verantwortlichkeit ([SpringerLink][6]) - **Gemeinsamkeiten** - Data-Driven: Beide nutzen Informationen zur Risiko- und Prognosebewertung ([ACM Digital Library][13]) - **Unterschiede** - **Geschwindigkeit & Skala**: KI verarbeitet Millionen von Datensätzen in Sekunden, Menschen reflektieren langsamer ([ScienceDirect][14]) - **Kontextverständnis & Intuition**: Menschen nutzen Vorwissen und ethische Intuition, KI fehlt dies meist ([ScienceDirect][15]) - **Moralische Agency**: Interaktion mit KI kann den menschlichen Verantwortungs- und Handlungswillen schwächen ([Nature][16]) ## Ist der Begriff der Verantwortlichkeit auch anwendbar auf KI-gestützte Systeme? Wer übernimmt die Verantwortung? **Santoni de Sio & Mecacci (2021)** *Four Responsibility Gaps with Artificial Intelligence: Why they Matter and How to Address them. Philos. Technol. 34 (4), S.1057–1084. DOI: 10.1007/s13347-021-00450-x* - **Vier Verantwortlichkeitslücken**: ([SpringerLink][7]) - **Kausalitätslücke** - Problem: Es ist nicht klar, wer oder was kausal verantwortlich für das Verhalten eines KI-Systems ist. - Beispiel: Wenn ein selbstfahrendes Auto eine Person überfährt – ist es der Entwickler, der Systemintegrator, der Nutzer, der Hersteller oder das System selbst? - Ursache: Die komplexe Interaktion zwischen vielen Akteuren und technischen Komponenten macht die direkte Kausalitätszuschreibung schwierig. - **Vorhersehbarkeitslücke** - Problem: Entscheidungen von KI-Systemen sind oft nicht vorhersehbar oder nicht vollständig nachvollziehbar, selbst für die Entwickler. - Besonderheit bei Machine Learning: Systeme entwickeln eigene Strategien, deren interne Logik für Außenstehende (und selbst Entwickler) intransparent ist. - Konsequenz: Man kann nicht guten Gewissens eine Person zur Verantwortung ziehen, wenn sie das Ergebnis nicht vorhersehen konnte. - **Kontrolllücke** - Problem: Menschen können nicht oder nur eingeschränkt in Entscheidungen eingreifen, die das System autonom trifft. - Beispiel: Ein Algorithmus entscheidet automatisch über Kreditvergabe, ohne dass ein Mensch die Entscheidung beeinflussen oder revidieren kann. - Frage: Wie kann man verantwortlich sein, wenn man keine effektive Kontrolle hatte? - **Moralische Verantwortungslücke** - Problem: KI-Systeme sind nicht moralisch zurechnungsfähig (kein Bewusstsein, keine Intentionen, keine Werte), und dennoch können ihre Entscheidungen moralisch relevante Konsequenzen haben. - Folge: Es bleibt unklar, wer für das moralisch problematische Handeln einstehen soll. - Beispiel: Ein KI-System diskriminiert Bewerber – aber der Algorithmus kann nicht zur Rechenschaft gezogen werden wie ein Mensch. - **Vorschlag**: „[Meaningful Human Control](#was-bedeutet-das-konzept-der-meaningful-human-control-was-halten-sie-davon)“ zur Schließung der Lücken ([SpringerLink][7]) **Novelli, Taddeo & Floridi (2023)** *Accountability in artificial intelligence: what it is and how it works. AI & Soc. DOI: 10.1007/s00146-023-01635-y* - **Lebenszyklus‑Ansatz**: Verantwortung von Entwicklung bis Einsatz ([SpringerLink][8]) - **Mehrstufige Zuweisung**: Entwickler, Betreiber, politische Entscheidungsträger ([SpringerLink][8]) - **Rechtliche Rahmenwerke & Lebenszyklus‑Ansatz** - Verantwortlichkeiten werden entlang Entwicklung, Deployment und Betrieb verteilt ([ScienceDirect][17]) - **Attributability‑Gap** - Menschen schieben Haftung ab, weil KI als eigenständiger Agent wahrgenommen wird; neue Zuweisungsmodelle nötig ([SpringerLink][18]) - **Accountability‑Frameworks** - Transparenz, Audits und Stakeholder‑Engagement als Kernkomponenten wirksamer Rechenschaftspflicht ([SpringerLink][31], [ACM SIGAI][11]) ## Was bedeutet das Konzept der „meaningful human control“? Was halten Sie davon? **Santoni de Sio & Mecacci (2021)** - **Bedeutung** von Meaningful Human Control - Menschen sollen: - Verstehen, wie ein System arbeitet, - Einfluss nehmen können auf seine Entscheidungsprozesse, - bewusst die Verantwortung für das Ergebnis übernehmen können. - **Voraussetzungen** für MHC (nach Santoni de Sio & Mecacci) - Tracking Condition - Das System soll sensitiv auf relevante menschliche Gründe, Werte und Absichten reagieren. - Beispiel: Ein Assistenzsystem im Auto berücksichtigt die Absicht des Fahrers, sicher und regelkonform zu fahren. - Tracing Condition - Es muss eine klare Zurechenbarkeit zu menschlichen Akteuren bestehen, die die Entscheidungen des Systems beeinflusst oder ermöglicht haben. - Diese Personen müssen: - verstehen, was das System tut, - verantwortungsbewusst handeln, - und über angemessene Kenntnisse verfügen. - **Ziel** des Konzepts - Verantwortungslücken sollen vermieden oder geschlossen werden, indem Menschen gezielt so eingebunden werden, dass sie: - Kontrolle behalten, - Entscheidungen überblicken, - Verantwortung übernehmen können. - **Bewertung** - Das Konzept ist praxisnah und ethisch fundiert. - Es vermeidet eine Entmenschlichung von Verantwortung durch "Abschieben auf die Technik". - Es bietet einen normativen Rahmen, wie KI-Systeme so gestaltet werden können, dass sie demokratisch legitimierbar und rechtlich überprüfbar bleiben. **Brusseau (2023)** *From the ground truth up: doing AI ethics from practice to principles. AI & Soc. 38 (4), S.1651–1657. DOI: 10.1007/s00146-021-01336-4* - **Praxisgetriebener Ansatz**: Ethische Prinzipien aus realen Entwickler-Erfahrungen ableiten ([arXiv][9]) - **Diskussion**: Explainability vs. Performance als Vertrauensgrundlage ([arXiv][9]) **Søgaard (2023)** *Can machines be trustworthy? AI Ethics. DOI: 10.1007/s43681-023-00351-z* - **Trustworthy AI ≠ Widerspruch**: Maschinen können echte vertrauenswürdige Agenturen sein ([SpringerLink][10]) - **Institutionelles Vertrauen**: Vergleich mit Vertrauen in Organisationen möglich ([SpringerLink][10]) - **Begriffsursprung & Definition** - Ursprünglich für autonome Waffensysteme entwickelt; Menschen sollen Handlungen verstehen, überwachen und steuern können ([SpringerLink][19]) - **Kritische Perspektiven** - Uneinigkeit, ob „meaningful“ sich auf Mensch oder Kontrolle bezieht; Bedarf an operationalen Gestaltungsprinzipien ([SpringerLink][20]) - **Praktische Messung** - Erste Studien entwickeln Indikatoren und Metriken, um den Grad menschlicher Kontrolle quantitativ zu erfassen ([SpringerLink][21]) - **Anwendungsbeispiele** - Sicherheits- und Notfalleinsatzsysteme zeigen, wie MHC in kritischen Kontexten die Akzeptanz erhöht ([SpringerLink][26]) [2]: https://www.tatup.de/index.php/tatup/article/view/7096 "AI‑based decision support systems and society: An opening statement" [3]: https://www.researchgate.net/publication/359365445_Gesellschaftliche_Perspektiven_einer_fachspezifischen_KI_fur_automatisierte_Entscheidungen "(PDF) Gesellschaftliche Perspektiven einer fachspezifischen KI für ..." [4]: https://dl.gi.de/items/5e0d9541-c457-494b-9ad2-780b3162d242 "Gesellschaftliche Perspektiven einer fachspezifischen KI für ..." [5]: https://philpapers.org/rec/VONTAT-6 "Transparency and the Black Box Problem: Why We Do Not Trust AI" [6]: https://link.springer.com/article/10.1007/s11948-020-00228-y "In AI We Trust: Ethics, Artificial Intelligence, and Reliability" [7]: https://link.springer.com/article/10.1007/s13347-021-00450-x "Four Responsibility Gaps with Artificial Intelligence: Why they Matter ..." [8]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..." [9]: https://arxiv.org/abs/2201.01659 "From the Ground Truth Up: Doing AI Ethics from Practice to Principles" [10]: https://link.springer.com/article/10.1007/s43681-023-00351-z "Can machines be trustworthy? | AI and Ethics" [11]: https://sigai.acm.org/static/aimatters/5-2/AIMatters-5-2-06-Berscheid.pdf "[PDF] A Proposed Framework for Accountability in Decision-Making AI ..." [12]: https://www.nature.com/articles/s41599-024-03913-6 "Exploring the multifaceted impacts of artificial intelligence on public ..." [13]: https://dl.acm.org/doi/10.1145/2987491.2987493 "Human Decision Making and Artificial Intelligence" [14]: https://www.sciencedirect.com/science/article/pii/S0040162524001999 "The impact of intelligent decision-support systems on humans ..." [15]: https://www.sciencedirect.com/science/article/abs/pii/S0040162525001817 "Moral decision-making in AI: A comprehensive review and ..." [16]: https://www.nature.com/articles/s41598-025-95587-6 "Influence of AI behavior on human moral decisions, agency, and ..." [17]: https://www.sciencedirect.com/science/article/abs/pii/S0740624X24000959 "Artificial intelligence governance: Understanding how public ..." [18]: https://link.springer.com/article/10.1007/s11948-024-00485-1 "Owning Decisions: AI Decision-Support and the Attributability-Gap" [19]: https://link.springer.com/article/10.1007/s43681-022-00167-3 "Meaningful human control: actionable properties for AI system ..." [20]: https://link.springer.com/article/10.1007/s43681-023-00320-6 "The many meanings of meaningful human control | AI and Ethics" [21]: https://link.springer.com/article/10.1007/s43681-024-00647-8 "Measuring meaningful human control in human–AI teaming: effects ..." [22]: https://link.springer.com/content/pdf/10.1186/s12910-024-01151-8.pdf "Ethical implications of AI-driven clinical decision support systems on ..." [23]: https://link.springer.com/content/pdf/10.1186/s12913-023-10462-2.pdf "The application of artificial intelligence in health policy: a scoping ..." [24]: https://www.sciencedirect.com/science/article/pii/S2949948824000374 "AI-Based Decision Support Systems in Industry 4.0, A Review" [25]: https://link.springer.com/chapter/10.1007/978-3-031-90863-7_7 "Exploring the Role of Artificial Intelligence in Small and Medium ..." [26]: https://link.springer.com/article/10.1007/s10676-023-09686-x "Who is controlling whom? Reframing “meaningful human control” of ..." [27]: https://www.nature.com/articles/s41599-023-01787-8 "Impact of artificial intelligence on human loss in decision making ..." [28]: https://link.springer.com/article/10.1007/s43681-024-00653-w "AI governance: a systematic literature review | AI and Ethics" [29]: https://www.sciencedirect.com/science/article/pii/S2949916X24001117 "Ethical Challenges in the Integration of Artificial Intelligence in ..." [30]: https://www.nature.com/articles/s41598-025-92190-7 "Navigating artificial general intelligence development - Nature" [31]: https://link.springer.com/article/10.1007/s00146-023-01635-y "Accountability in artificial intelligence: what it is and how it works | AI ..."