Dans les cas où on observe un impact évident de l'IA sur les droits et les protections exposés dans la Convention d'Oviedo, il est opportun que le Conseil de l’Europe présente des recommandations et des exigences contraignantes pour les signataires concernant la façon d’utiliser et de gérer l'IA. Les recommandations devraient se concentrer sur un niveau plus élevé de soins positifs en ce qui concerne la relation médecin-patient, afin de s'assurer qu'elle ne soit pas exagérément perturbée par l'introduction de l'IA dans les environnements de soins. De telles normes devraient évidemment permettre une certaine interprétation locale sur des questions normatives essentielles telles que les degrés acceptables de biais d'automatisation, les compromis acceptables entre les résultats d'un groupe de patients à l'autre et les domaines similaires influencés par les normes locales.

Les exemples suivants de recommandations détaillent les éventuelles exigences et recommandations essentielles pour une norme d'intelligibilité qui vise à protéger le consentement éclairé dans les soins faisant appel à l'IA, une norme de transparence pour l'intelligibilité publique et une norme pour la collecte de données sensibles à des fins de vérification de l'existence de biais. Chacune de ces normes devrait être considérée comme un exemple du type de recommandations qui peuvent être élaborées à partir de la discussion précédente sur les impacts éthiques potentiels de l'IA sur la relation médecin-patient.

D'après le Rapport explicatif, l'article 5 de la Convention d'Oviedo comporte une liste non exhaustive d'informations qui devraient être partagées dans le cadre d'un processus de consentement éclairé. Cette liste étant non exhaustive, le Conseil de l’Europe pourrait établir des normes sur le contenu et la manière dont les informations sur la recommandation d'un système d'IA concernant le diagnostic et le traitement d'un patient devraient être communiquées au patient. Étant donné le rôle traditionnel du médecin dans la diffusion de ce type d'informations lors des consultations cliniques et dans les discussions qui s’ensuivent, ces normes devraient elles aussi aborder le rôle que joue le médecin pour expliquer aux patients les recommandations en matière d'IA et la façon dont les systèmes d'IA peuvent être conçus pour l’accompagner dans ce rôle.

De nombreux concepts sont communs à l'ensemble des questions et critères qui motivent l'interprétabilité dans le domaine de l'IA. Les méthodes d'interprétation visent à expliquer la fonctionnalité ou le comportement des modèles d'apprentissage automatique dits à effet « boîte noire », qui sont des composants essentiels des systèmes de prise de décision des IA. Les modèles d'apprentissage automatique entraînés sont qualifiés de « boîtes noires » lorsqu'ils ne sont pas compréhensibles pour les observateurs humains parce que leur logique interne et leur fondement sont inconnus ou inaccessibles à l'observateur, ou connus mais impossibles à interpréter du fait de leur complexité. L'interprétabilité dans le sens étroit du terme utilisé ici désigne la capacité à comprendre la fonctionnalité et la signification d'un phénomène donné, dans ce cas d'un modèle d'apprentissage automatique entraîné et de ses résultats, et à l'expliquer en termes humains compréhensibles.

« L'explication » est également un concept clé de l'interprétabilité. De façon générique, les explications dans le domaine de l'IA relient « les valeurs tangibles d'une occurrence à la prédiction du modèle d'une manière qui est humainement compréhensible ». Cette définition approximative cache des nuances importantes. Le terme englobe de multiples façons d'échanger des informations avec différentes parties prenantes à propos d'un phénomène, ici la fonctionnalité d'un modèle ou la justification et les critères permettant une prise de décision.

• Premièrement, les méthodes peuvent se distinguer en fonction de ce qu'elles cherchent à expliquer. Les explications ayant trait à la fonctionnalité du modèle traitent de la logique globale suivie par le modèle lorsqu'il produit des résultats à partir de données d'entrée. Les explications sur le comportement du modèle, en revanche, cherchent à expliquer comment ou pourquoi un comportement donné du modèle est survenu, par exemple comment ou pourquoi un résultat spécifique a été produit à partir d'une entrée spécifique. Les explications sur la fonctionnalité du modèle visent à expliquer ce qui se passe à l'intérieur du modèle, tandis que les explications sur le comportement du modèle visent à expliquer ce qui a mené à un comportement ou à un résultat spécifique, en référençant les caractéristiques essentielles ou les éléments qui influencent ce comportement. Il n'est pas strictement nécessaire de comprendre l'ensemble des relations, des dépendances et du poids des critères au sein du modèle pour expliquer son comportement.
• Deuxièmement, les méthodes d'interprétation peuvent se différencier par leur façon de concevoir « l'explication ». De nombreuses méthodes conçoivent les explications comme des modèles d'approximation, qui sont un type de modèle plus simple, qui peut être interprété par l'homme, et qui est créé pour estimer de manière fiable la fonctionnalité d'un modèle « boîte noire » plus complexe. Souvent, et cela peut porter à confusion, on fait référence au modèle d'approximation lui-même en tant qu'explication du modèle boîte noire. Cette approche contraste avec le traitement de « l'explication » dans la philosophie des sciences et l'épistémologie, dans lesquelles le terme désigne habituellement des déclarations qui expliquent les causes d'un phénomène donné.

Cette utilisation du terme « explication » peut porter à confusion. Il est préférable d'envisager les modèles d'approximation comme des outils à partir desquels on peut établir des déclarations explicatives à propos du modèle original. Les déclarations explicatives elles-mêmes peuvent être textuelles, quantitatives ou visuelles et rendre compte de divers aspects du modèle et de ses comportements.

D'autres distinctions permettent de classifier les différents types d'explications et de méthodes d'interprétation. Une distinction de base peut être établie en interprétabilité entre les interprétabilités globale et locale. La distinction concerne la portée du modèle ou des résultats qu'une méthode donnée d'interprétation ou d'explication tente de rendre compréhensible par les humains. Les méthodes globales visent à expliquer la fonctionnalité d'un modèle dans son ensemble ou au sein d'une série spécifique de résultats en fonction de l'importance des critères, de leurs dépendances ou interactions, et de leur effet sur les résultats. Au contraire, les méthodes locales peuvent par exemple évaluer l'influence de zones spécifiques de l'espace d'entrée ou de variables données sur un ou plusieurs résultats spécifiques du modèle.

Les modèles peuvent être interprétés de manière globale à un niveau holistique ou modulaire. L'interprétation holistique globale désigne des modèles qui sont compréhensibles par un observateur humain en ce sens que l'observateur peut suivre l'ensemble de la logique ou des étapes opérationnelles prises par le modèle et qui mènent à tous les résultats possibles du modèle. Il devrait être possible pour une seule personne de comprendre dans leur intégralité les modèles interprétables de manière holistique. Un observateur aurait « une vision holistique de ses critères et de chacun de ses composants appris tels que les poids, les autres paramètres et les structures ».

Étant donné les limites de la compréhension humaine et de la mémoire à court terme, l'interprétation holistique globale n'est actuellement réalisable en pratique que sur des modèles relativement simples avec peu de critères, d'interactions ou de règles, ou avec une forte linéarité ou monotonicité. Pour des modèles plus complexes, l'interprétabilité globale au niveau modulaire peut être faisable. Ce type d'interprétabilité implique de comprendre une caractéristique ou un segment particulier du modèle, par exemple les poids dans un modèle linéaire, ou les prédictions des divisions et des nœuds terminaux dans un arbre de décision.

En ce qui concerne l'interprétabilité locale, un résultat unique peut être considéré comme interprétable si les étapes qui y ont mené peuvent être expliquées. L'interprétabilité locale ne nécessite pas impérativement d'expliquer toute la série des étapes ; au contraire, il peut suffire d'expliquer un ou plusieurs aspects du modèle qui ont mené au résultat, comme une valeur de critère ayant une influence critique. Un groupe de résultats est considéré comme interprétable au niveau local si les méthodes qui permettent d'expliquer les résultats individuels peuvent être appliquées au groupe. Les groupes peuvent également être expliqués grâce à des méthodes qui produisent une interprétabilité globale au niveau modulaire.

Ces distinctions permettent de tirer quelques conclusions initiales sur la façon dont l'IA peut le mieux être expliqué aux médecins et aux patients. Au moment de l'adopter, il semble approprié de fournir des explications globales sur la fonctionnalité du modèle afin de garantir une adéquation fiable entre l'utilisation prévue du système d'IA dans un contexte de soins donné et la performance réelle du système. Lorsqu'il s'agit d'expliquer des résultats ou des recommandations spécifiques aux patients, les explications sur le comportement du modèle formulées sous forme de notes explicatives semblent constituer la meilleure option pour expliquer la logique décisionnelle du système tout en restant compréhensible pour les utilisateurs experts comme non experts. Dans ce contexte, des méthodes telles que les « explications contrefactuelles » peuvent être préférables puisqu'elles facilitent le débogage et l'évaluation de la performance du système par des utilisateurs experts tout en restant compréhensibles par les patients non experts au niveau d'une explication individuelle. Pour résumer, afin de rendre les systèmes d'IA intelligibles pour les patients, les explications simples, locales et contrastives sont préférables aux explications d'approximation globales, qui peuvent être difficiles à comprendre et à interpréter.

L’utilisation exclusive dans les soins cliniques de modèles qui peuvent être interprétés intrinsèquement constitue une approche alternative mais complémentaire qui permet aux professionnels de santé de comprendre les systèmes de manière holistique et de mieux les expliquer à leurs patients. La mise en œuvre de cette approche créerait toutefois des exigences supplémentaires en matière d'expertise technique des professionnels de santé dans les domaines de l’informatique, des statistiques et de l’apprentissage automatique, auxquelles il pourrait s'avérer très difficile voire excessif de répondre en pratique.

Pour revenir à la question de la divulgation aux patients des informations concernant l'utilisation des systèmes d'IA à des fins opérationnelles et cliniques discutée au chapitre intitulé « Transparence vis-à-vis des professionnels de la santé et des patients », l'Assemblée parlementaire du Conseil de l’Europe a reconnu l'importance de sensibiliser la population aux utilisations de l'IA dans le secteur de la santé afin de construire une relation de confiance avec les patients et de s'assurer de la possibilité d'obtenir un consentement éclairé dans les soins faisant appel à l'IA. Son rapport d'octobre 2020 suggère notamment que la transparence des systèmes d'IA dans le secteur de la santé « peut impliquer la création d’un dispositif national de gouvernance de données relatives à la santé qui pourrait s’appuyer sur les propositions des institutions internationales. Parmi celles-ci, notons la Recommandation "Décoder l’intelligence artificielle : 10 mesures pour protéger les droits de l’homme", publiée par la Commissaire aux droits de l’homme du Conseil de l’Europe (mai 2019), les Lignes directrices en matière d’éthique pour une IA digne de confiance énoncées par l’UE (avril 2019), la Recommandation et les principes de l’OCDE sur l’IA (mai 2019) et les Principes du G20 sur une Intelligence artificielle centrée sur l’être humain (juin 2019). »

Suivant ces propositions et recommandations, une base de données publique est vue comme un élément essentiel pour améliorer « l'alphabétisation algorithmique » parmi le grand public, ce qui constitue un précurseur fondamental à l'exercice de nombreux droits humains et juridiques.

Dans la mesure où le dispositif proposé est conçu pour accroître la sensibilisation de la population aux systèmes d'IA dans le secteur de la santé, il peut être considéré comme un type de registre public pour les systèmes d'IA dans ce secteur. Les registres sont des listes publiques des systèmes actuellement utilisés qui contiennent une description normalisée de chaque système. Les informations qui figurent dans les registres varient mais peuvent inclure des éléments tels que l'utilisation ou le but prévu du système ; son fabricant ou distributeur ; la/les méthode(s) sous-jacente(s) (par ex. l'apprentissage profond, la régression) ; toute évaluation effectuée aussi bien en termes de précision que de biais et d'autres dimensions éthiques et juridiques ; une description d'ensembles de données d'entraînement et d'essai ; et une explication de la façon dont les prédictions ou les résultats du système sont utilisés par les dirigeants humains ou autrement intégrés aux services et processus décisionnels existants. En outre, les registres comportent souvent une fonction de rétroaction qui permet aux citoyens d'apporter leur contribution sur les utilisations actuelles et proposées de l'IA par les organismes et services publics.

Il existe plusieurs exemples de registres existants dans des organismes publics municipaux, nationaux et internationaux. En 2020, les villes d'Amsterdam et d'Helsinki ont lancé des registres publics pour les systèmes d'IA et algorithmiques utilisés dans les services municipaux. En novembre 2021, le « Bureau central du numérique et des données » du Bureau du Cabinet britannique a lancé une norme nationale de transparence algorithmique qui fonctionnera réellement comme une sorte de registre public. Au niveau international, la récente proposition de législation sur l’intelligence artificielle (Artificial Intelligence Act) contient une disposition pour la création d'une base de données publique européenne dans laquelle les applications d'une IA autonome à haut risque doivent être enregistrées. Le Conseil du l’Europe a l'opportunité de compléter ces normes émergentes en matière de transparence en instaurant un registre public de l'IA médicale dans les états membres destiné aux patients, afin de les sensibiliser aux systèmes d'IA actuellement utilisés par leurs services de santé publics.

Il est à prévoir que les biais présents dans les systèmes d'IA associés à des lacunes dans les données d'entraînement et d'essai encouragent une collecte plus importante de données sensibles sur des groupes juridiquement protégés dans le but de tester les biais et l'équité. Il est généralement admis qu'afin de prévenir les résultats discriminatoires ou biaisés, des données concernant les groupes sensibles doivent être collectées. Sans cela, la discrimination contre les groupes protégés ne pourra pas être évitée et sera vraisemblablement plus difficile à détecter. Les données sensibles sont nécessaires pour vérifier si la prise de décision automatisée a désavantagé certains groupes en se basant sur des caractéristiques protégées (par ex. les données sur la « race », le handicap ou l'orientation sexuelle). D'un autre côté, la collecte de telles données a des implications non négligeables en termes de vie privée. Il s'agit d'une préoccupation légitime et étroitement liée à des expériences historiques inquiétantes qui ont gravement porté préjudice à certains groupes sociaux spécifiques. Les données collectées à des fins publiques ou de recherche ont par exemple contribué à l'eugénisme en Europe, au Royaume-Uni et aux États-Unis, au génocide de la Seconde guerre mondiale, à des pratiques racistes en matière d'immigration et à un non-respect des droits de l'homme fondamentaux aux États-Unis, à la justification de l'esclavage, à la stérilisation forcée au Royaume-Uni, aux États-Unis, en Allemagne et à Porto Rico dans la première moitié du XXe siècle, à la répression, la castration et l'emprisonnement des membres de la communauté LGBT, et au refus de donner aux femmes l'égalité des droits et de les protéger (par ex. contre les violences sexuelles). La protection de la vie privée doit clairement être prise au sérieux lorsqu'on envisage la collecte de données personnelles sensibles à des fins de vérification de l'existence de biais.

En mettant un instant de côté ces préoccupations, on serait tenté de penser que les problèmes de biais seront naturellement résolus en recueillant davantage de données (sensibles) et en comblant les écarts de représentation dans les ensembles de données d'entraînement et d'essai. Cependant, la résolution des écarts de représentation et autres biais des données n'entraînera pas automatiquement des résultats justes et équitables. Être conscient des inégalités ne revient pas à les rectifier. Au contraire, la persistance de biais sociaux dans les sociétés occidentales suggère que des efforts politiques, sociaux et juridiques importants sont nécessaires pour les éliminer, plutôt que de simplement recueillir et tester davantage de données.

La lutte contre les inégalités exige des changements délibérés et souvent coûteux dans les processus décisionnels, les modèles commerciaux et les politiques. Pour justifier la collecte et l'utilisation de données sensibles supplémentaires, il faut avant tout démontrer une volonté politique et un engagement sérieux à remédier aux inégalités. Du point de vue de l'élaboration des normes, ces observations suggèrent que toute proposition de collecte de données sensibles afin de contrôler la présence de biais dans les systèmes d'IA médicale doit comprendre une limitation claire des finalités ainsi que des garanties de confidentialité, en plus d'un engagement à remédier aux inégalités sociales qui sous-tendent les biais découverts grâce aux tests. La concrétisation de ces engagements n'est pas simple. L’UE Artificial Intelligence Act propose par exemple la création de « sandbox » (bacs à sable) réglementaires dans lesquels les fournisseurs d'IA pourraient vérifier la présence de biais dans leurs systèmes en utilisant une catégorie particulière de données spécifiquement recueillies à des fins d'essai. Il manque à cette proposition l'élément essentiel d'un engagement à remédier aux inégalités découvertes.