IA agentique et identité numérique : instaurer la confiance et la responsabilité dans les systèmes autonomes

Contexte

Les systèmes d’IA évoluent de plus en plus, passant du statut d’outils à celui d’agents autonomes ou semi-autonomes capables de prendre des décisions, de lancer des actions et d’interagir avec d’autres systèmes et acteurs. Cette évolution modifie la question centrale en matière de gouvernance. Il ne s’agit plus principalement de savoir comment les données sont traitées, mais qui est responsable lorsqu’une machine agit.

Chaque action autonome soulève trois questions auxquelles les systèmes doivent pouvoir répondre en temps réel :

  1. Qui en est responsable ?
  2. Qu’est-ce que l’agent était autorisé à faire, et de l’autorité de qui ?
  3. Où la valeur (telle que l’argent, les données, les obligations) a-t-elle circulé en conséquence ?

Répondre à ces questions a posteriori, à travers des journaux d’activité et un examen juridique, ne fonctionne plus lorsque les agents agissent à la vitesse et à l’échelle des machines. Dans le même temps, la prise de décision devient plus opaque, la responsabilité se fragmente et la confiance dans les systèmes risque de s’éroder.

La responsabilité, les autorisations et les flux de valeur doivent donc pouvoir être attribués par les systèmes eux-mêmes : encodés sous une forme lisible par les machines, que celles-ci vérifient et que les humains contrôlent. C’est là que l’identité numérique devient une infrastructure critique.

L’identité numérique, qu’elle concerne des individus, des organisations ou potentiellement des agents, s’impose comme la couche essentielle pour :

  • garantir la vérifiabilité et la responsabilité
  • attribuer la responsabilité
  • gérer les accès et les droits

Cadrage du défi

Ce défi explore comment les systèmes d’IA agentique peuvent être conçus et gouvernés de manière à garantir la responsabilité, la confiance et la légitimité sociétale.

Il se concentre sur l’intersection entre :

  • les systèmes d’IA agentique
  • l’identité numérique et l’accréditation
  • les cadres de gouvernance et de responsabilité

L’objectif est d’aller au-delà des principes abstraits et de développer des approches pratiques et vérifiables qui :

permettent aux systèmes de fonctionner de manière interopérable et sans verrouillage de plateforme

permettent une attribution claire des actions et des décisions dans les systèmes automatisés

garantissent que les humains et les organisations conservent un contrôle significatif

rendent la responsabilité et la prise de décision traçables et vérifiables

Principaux domaines problématiques

Les projets peuvent aborder un ou plusieurs des thèmes suivants.

1. Identité des agents et des acteurs

À mesure que les agents commencent à agir au nom de personnes et d’organisations, ils doivent être identifiables et responsables à part entière. Comment identifier, authentifier et autoriser les agents d’IA à agir ? Et comment modéliser les rôles et la délégation tout au long de la chaîne, de l’humain à l’organisation puis à l’agent, de manière à ce qu’il soit toujours clair sous quelle autorité un agent agit ?

2. Responsabilité et traçabilité

Lorsqu’un système automatisé prend une décision, il doit être possible de la comprendre et de l’attribuer a posteriori. Comment les décisions prises par les systèmes d’IA peuvent-elles être retracées jusqu’à leurs données d’entrée, expliquées en termes compréhensibles et attribuées à la personne ou à l’entité organisationnelle responsable ?

3. Gouvernance des systèmes automatisés

Comment les règles et les contraintes peuvent-elles être intégrées directement dans les systèmes et rendues applicables, plutôt que de figurer uniquement dans des documents de politique lisibles par l’homme ? Et comment garantir une supervision et une intervention humaines significatives lorsque les systèmes agissent de manière autonome ?

4. Données vérifiables et chaînes de décision

La fiabilité des agents dépend de celle des données et des processus qui sous-tendent leurs actions. Comment rendre vérifiable l’origine des données utilisées par les systèmes agentiques, les contextualiser pour une utilisation appropriée et contrôler les droits d’utilisation ?

5. Valeur et obligations entre agents

Lorsque des agents interagissent avec d’autres agents et systèmes, la valeur et les engagements circulent avec eux. Comment rendre le flux de valeur entre acteurs automatisés transparent, attribuable et vérifiable ?

6. Autonomie vs contrôle

Le principal défi de conception consiste à permettre l’automatisation sans renoncer à l’action humaine. Comment concevoir des systèmes permettant aux agents d’agir de manière indépendante tout en préservant une action humaine significative et la responsabilité institutionnelle ?

Résultats attendus

  • Prototypes fonctionnels techniques ou socio-techniques
  • Cas d’utilisation clairement définis (par exemple : secteur public, B2B, technologies civiques)
  • Documentation portant sur :
    • les modèles d’identité
    • les hypothèses de gouvernance
    • les mécanismes de responsabilité
  • Le cas échéant, les projets devraient viser à démontrer :
    • L’intégration aux processus de gouvernance (par exemple, vérifiabilité, reporting)
    • Le potentiel d’application dans le monde réel

Remarque : nous sommes conscients que les résultats que nous demandons pourraient rester principalement au stade de prototypes.

Partenaires du défi

T3i Partner Network