Agentische KI und digitale Identität: Aufbau von Vertrauen und Verantwortlichkeit sowie autonome Systeme

Kontext

KI-Systeme entwickeln sich zunehmend von reinen Werkzeugen zu autonomen oder halbautonomen Akteuren, die Entscheidungen treffen, Handlungen einleiten und mit anderen Systemen und Akteuren interagieren. Dieser Wandel verändert die zentrale Frage der Governance. Es geht nicht mehr in erster Linie darum, wie Daten verarbeitet werden, sondern darum, wer verantwortlich ist, wenn eine Maschine handelt.

Jede autonome Handlung wirft drei Fragen auf, die Systeme in Echtzeit beantworten können müssen:

1. Wer ist verantwortlich? 
2. Was darf der Agent tun und in wessen Auftrag? 
3. Wohin flossen infolgedessen Werte (bspw. Geld, Daten, Verpflichtungen)

Diese Fragen im Nachhinein anhand von Protokollen und rechtlichen Überprüfungen zu beantworten, funktioniert nicht mehr, wenn Agenten mit maschineller Geschwindigkeit und in maschinellem Umfang handeln. Gleichzeitig wird die Entscheidungsfindung undurchsichtiger, die Verantwortung fragmentiert sich, und das Vertrauen in die Systeme läuft Gefahr, zu schwinden.

Verantwortung, Berechtigungen und Wertflüsse müssen daher von den Systemen selbst zuordenbar sein: Kodiert in maschinenlesbarer Form, die von Maschinen überprüft und von Menschen auditiert wird. Digitale Identität wird hier zur kritischen Infrastruktur.

Die digitale Identität – sei es von Einzelpersonen, Organisationen oder potenziell auch Agenten – erweist sich als die wesentliche Ebene, um:

• Überprüfbarkeit und Rechenschaftspflicht zu gewährleisten
• Verantwortung zuzuweisen
• Zugriff und Rechte zu verwalten

Problemstellung

Diese Challenge untersucht, wie agentebasierte KI-Systeme so gestaltet und gesteuert werden können, dass Rechenschaftspflicht, Vertrauen und gesellschaftliche Legitimität gewährleistet sind.

Der Fokus liegt auf der Schnittstelle zwischen:

• agentebasierten KI-Systemen
• digitaler Identität und Authentifizierung
• Governance- und Verantwortungsrahmen

Das Ziel ist es, über abstrakte Prinzipien hinauszugehen und praktische, testbare Ansätze zu entwickeln, die:

• es Systemen ermöglichen, interoperabel und ohne Plattformbindung zu arbeiten
• eine klare Zuordnung von Handlungen und Entscheidungen in automatisierten Systemen ermöglichen
• sicherstellen, dass Menschen und Organisationen eine sinnvolle Kontrolle behalten
• Verantwortung und Entscheidungsfindung nachvollziehbar und überprüfbar machen

Kernproblembereiche

Projekte können sich mit einem oder mehreren der folgenden Themen befassen.

1. Identität für Agenten und Akteure

Da Agenten beginnen, im Namen von Menschen und Organisationen zu handeln, müssen sie selbst identifizierbar und rechenschaftspflichtig sein. Wie können KI-Agenten identifiziert, authentifiziert und zum Handeln autorisiert werden? Und wie lassen sich Rollen und Befugnisübertragungen entlang der Kette vom Menschen über die Organisation bis zum Agenten modellieren, sodass stets klar ist, in wessen Auftrag ein Agent handelt?

2. Rechenschaftspflicht und Rückverfolgbarkeit

Wenn ein automatisiertes System eine Entscheidung trifft, muss es möglich sein, diese im Nachhinein nachzuvollziehen und zuzuordnen. Wie lassen sich von KI-Systemen getroffene Entscheidungen auf ihre Inputs zurückverfolgen, in verständlicher Form erklären und der verantwortlichen Person oder Organisation zuordnen?

3. Steuerung automatisierter Systeme

Wie lassen sich Regeln und Einschränkungen direkt in Systeme einbetten und durchsetzbar machen, anstatt dass sie nur in für Menschen lesbaren Richtliniendokumenten existieren? Und wie lassen sich eine sinnvolle menschliche Aufsicht und Intervention gewährleisten, wenn Systeme autonom handeln?

4. Überprüfbare Daten- und Entscheidungsprozesse

Agenten sind nur so vertrauenswürdig wie die Daten und Prozesse, die ihren Handlungen zugrunde liegen. Wie können die von agentenbasierten Systemen verwendeten Daten hinsichtlich ihrer Herkunft überprüfbar gemacht, für eine angemessene Nutzung in einen Kontext gestellt und hinsichtlich der Nutzungsrechte kontrolliert werden?

5. Wert und Verpflichtungen zwischen Agenten

Wenn Agenten mit anderen Agenten und Systemen interagieren, werden dabei Werte und Verpflichtungen weitergegeben. Wie kann der Wertfluss zwischen automatisierten Akteuren transparent, zuordenbar und überprüfbar gemacht werden?

6. Autonomie vs. Kontrolle

Die zentrale Herausforderung bei der Konzeption besteht darin, Automatisierung zu ermöglichen, ohne die menschliche Handlungsfähigkeit aufzugeben. Wie können Systeme so gestaltet werden, dass Agenten unabhängig handeln können, während gleichzeitig sinnvolle menschliche Handlungsfähigkeit und institutionelle Verantwortung gewahrt bleiben?

Erwartete Ergebnisse

• Funktionsfähiger technischer oder soziotechnischer Prototyp
• Klar definierte Anwendungsfälle (z. B. öffentlicher Sektor, B2B, Civic Tech)
• Dokumentation von:
  • Identitätsmodellen
  • Annahmen zur Governance
  • Mechanismen zur Rechenschaftspflicht
• Soweit relevant sollten Projekte darauf abziele, Folgendes zu demonstrieren:
  • Integration in Governance-Prozesse (z. B. Überprüfbarkeit, Berichterstattung)
  • Potenzial für die Anwendung in der Praxis

Hinweis: Wir sind uns bewusst, dass die von uns geforderten Ergebnisse möglicherweise überwiegend im Prototypenstadium verbleiben.

Challenge-Partner

T3i Partner Network