La prise de décision algorithmique et l’exploration de données reposent pour l’essentiel sur des connaissances inductives et des corrélations identifiées au sein d’un ensemble de données. Des corrélations fondées sur un volume « suffisant » de données sont souvent considérées comme suffisamment crédibles pour diriger une action sans établir au préalable une causalité. Or des actions inspirées de corrélations peuvent se révéler doublement problématiques. Des corrélations fallacieuses sont susceptibles d’être découvertes à la place de véritables connaissances causales. Même si des corrélations fortes ou des connaissances causales sont repérées, ces connaissances peuvent ne concerner que des populations alors que des actions ayant un impact personnel significatif visent des individus.

Elle désigne le problème de la « boîte noire » de l’IA : la logique qui sous-tend la transformation des données d’entrée en résultats peut être inconnue des observateurs ou des parties concernées, ou fondamentalement impénétrable ou inintelligible. Dans le domaine des algorithmes d’apprentissage automatique, l’opacité est le produit de la dimensionnalité élevée des données, de la complexité du code et du caractère changeant de la logique décisionnelle. La transparence et l’intelligibilité sont généralement souhaitées car les algorithmes peu prévisibles ou peu interprétables sont difficiles à contrôler, surveiller et corriger. La transparence est souvent naïvement considérée comme une panacée pour les questions éthiques que soulèvent les nouvelles technologies.

L’automatisation de la prise de décision humaine est souvent justifiée par une prétendue absence de partialité dans l’IA et les algorithmes. Cette croyance n’est pas défendable, car les systèmes d’IA prennent inévitablement des décisions biaisées. La conception et les fonctionnalités d’un système reflètent les valeurs de son concepteur et les utilisations projetées, ne serait-ce que dans la mesure où une conception particulière serait préférée car considérée comme étant l’option la meilleure ou la plus efficace. L’élaboration ne s’inscrit pas dans une trajectoire neutre et linéaire. En conséquence, « les valeurs de l’auteur, consciemment ou non, sont figées dans le code, ce qui a pour effet de les institutionnaliser». L’inclusion et l’équité tant dans la conception que dans l’utilisation de l’IA sont donc essentielles pour combattre les biais implicites. Friedman et Nissenbaum précisent que les biais résultent (1) des valeurs sociales préexistantes incluses dans les « institutions, pratiques et mentalités sociales » sur lesquelles se constitue la technologie, (2) des contraintes techniques et (3) des aspects émergents d’un contexte d’utilisation.

Les biais présents dans les systèmes d’IA peuvent avoir pour conséquence une discrimination exercée à l’encontre d’individus et de groupes. Une analyse discriminatoire peut favoriser l’existence de prédictions se réalisant d’elles-mêmes et la stigmatisation de groupes ciblés, portant ainsi atteinte à leur autonomie et leur participation à la société. Bien qu’il n’existe pas de définition unique de la discrimination, les cadres juridiques internationaux ont depuis longtemps engendré une jurisprudence abondante examinant les formes de discrimination (directe ou indirecte, par exemple), les objectifs des législations relatives à l’égalité (égalité formelle et substantielle, par exemple), et les seuils appropriés en matière de répartition des résultats entre groupes. Dans ce contexte, il est particulièrement difficile d’intégrer dans les systèmes d’IA des considérations de non-discrimination et d’équité. Il peut être concevable d’orienter les algorithmes de sorte qu’ils ne tiennent pas compte d’attributs sensibles favorisant la discrimination, tels que le sexe ou l’origine ethnique, en fonction de l’apparition de discrimination dans un contexte donné. Toutefois, il n’est pas aisé de prévoir ou détecter des indicateurs indirects d’attributs protégés, plus particulièrement quand les algorithmes accèdent à des ensembles couplés de données.

Les décisions porteuses de valeur prises par les algorithmes peuvent également faire peser une menace sur l’autonomie. La personnalisation du contenu par des systèmes d’IA, comme les systèmes de recommandation, se révèle à cet égard particulièrement problématique. La personnalisation peut être entendue comme l’élaboration d’architectures du choix qui ne sont pas identiques entre elles dans un même échantillon. En filtrant l’information, l’IA peut influencer le comportement des personnes concernées et la prise de décision par des humains. Différentes informations, des prix et autres contenus peuvent être proposés pour cataloguer des groupes ou des publics au sein d’une population définie par un ou plusieurs attributs, par exemple la solvabilité, ce qui peut aboutir à une discrimination. La personnalisation réduit la diversité des informations rencontrées par l’utilisateur en excluant des contenus jugés non pertinents ou contradictoires avec les croyances ou les désirs de l’utilisateur. Ce point se révèle problématique dans la mesure où la diversité de l’information peut être considérée comme une condition favorisant l’autonomie. Il est contrevenu à l’autonomie décisionnelle du sujet lorsque le choix désiré reflète les intérêts d’un tiers avant ceux de la personne concernée.

Les algorithmes transforment également la notion de protection de la vie privée. Il est souvent fait appel au concept de vie privée informationnelle, ou au droit des personnes concernées de « protéger les données à caractère personnel contre tout accès illicite par des tiers » pour faire face à la discrimination, à la personnalisation et à la diminution de l’autonomie dues à l’opacité. La vie privée informationnelle se rapporte à la capacité d’un individu à contrôler les informations le concernant et aux efforts que devraient déployer des tiers pour obtenir ces informations. Un droit à l’identité dérivé de la vie privée informationnelle sous-entend le caractère problématique d’un profilage opaque ou secret lorsqu'il est effectué par un tiers. Dans un environnement de soins de santé, cela pourrait inclure les assureurs, les prestataires de soins à distance (par exemple, les chatbots et les prestataires de services de triage), les entreprises de technologie grand public et autres. L’opacité décisionnelle empêche la surveillance et une prise de décision éclairée concernant le partage des données. Les personnes concernées se trouvent dans l’impossibilité de définir des normes en matière de protection de la vie privée pour régir de manière générique tous types de données, car la valeur ou la perspicacité des données ne sont établies qu’au moyen de leur traitement.

Quand une technologie est défaillante, il convient d’établir les responsabilités et de les assortir de sanctions. L’imputabilité de la responsabilité ne peut être justifiée que si l’acteur dispose d’une certaine marge de contrôle et d’intentionnalité dans l’exécution de l’action. Classiquement, les développeurs et les ingénieurs informaticiens exercent « dans ses moindres détails le contrôle du comportement de la machine », pour autant qu’ils sont capables d’expliquer à un tiers sa conception et sa fonction globales. Cette notion traditionnelle de la responsabilité en matière de création de logiciels suppose que le développeur est en mesure d’envisager les effets probables de la technologie et ses défauts de fonctionnement potentiels, et par conséquent de faire des choix de conception orientés vers les résultats les plus souhaitables conformément aux spécifications fonctionnelles.

Un problème connexe concerne la diffusion du sentiment de responsabilité et de l’obligation de rendre des comptes chez les utilisateurs de systèmes d’IA, et la tendance liée à faire confiance aux résultats des systèmes sur la base de leur objectivité, précision ou complexité perçues. Les décideurs humains peuvent se détourner de leur responsabilité lorsqu’ils délèguent à l’IA la prise de décision. Des effets similaires peuvent être observés dans les réseaux mixtes composés de systèmes humains et de systèmes informatiques : ils sont caractérisés par une diminution du sentiment de responsabilité personnelle et l’exécution d’actions par ailleurs autrement injustifiables, comme cela a déjà été étudié dans les milieux bureaucratiques. Par exemple, des algorithmes impliquant des parties prenantes représentant plusieurs disciplines différentes peuvent inciter chaque partie à supposer que les autres assumeront la responsabilité éthique des actions de l’algorithme. L’apprentissage automatique ajoute une strate de complexité supplémentaire entre les concepteurs et les actions dirigées par l’algorithme, ce qui peut affaiblir à juste titre la responsabilité imputée aux premiers.

La nécessité d’établir les responsabilités se ressent avec acuité en cas de défaut de fonctionnement des algorithmes. Les algorithmes contraires à l’éthique peuvent être envisagés comme des artefacts logiciels défaillants qui ne fonctionnent pas comme prévu. Des distinctions ont été utilement établies entre les erreurs de conception (types) et les erreurs opérationnelles (instances), ainsi qu’entre l’incapacité de fonctionner comme prévu (fonctionnement non conforme) et la présence d’effets secondaires non voulus (fonctionnement non voulu). Le fonctionnement non voulu se distingue des effets secondaires purement négatifs par son « évitabilité », c’est-à-dire la mesure avec laquelle des types comparables de systèmes ou d’artefacts accomplissent la fonction prévue sans qu’apparaissent les effets en question. Ces distinctions font la lumière sur les aspects éthiques des systèmes d’IA strictement liés à leur fonctionnement, soit dans l’abstrait (par exemple lorsque sont examinées des performances brutes), soit dans le cadre d’un système décisionnel plus large, et révèlent l’interaction multidimensionnelle qui existe entre le comportement voulu et le comportement réel. L’apprentissage automatique, notamment, pose des problèmes particuliers, car l’obtention du comportement voulu ou « correct » n’implique pas l’absence d’erreurs ni d’actions préjudiciables et de boucles de rétroaction.

La question reste ouverte de savoir comment, de manière optimale, rendre opérationnels ces défis éthiques et fixer des normes de contrôle, s’agissant en particulier de l’apprentissage automatique. Se contenter de rendre transparent le code d’un algorithme ne suffit pas pour garantir un comportement éthique. Une voie envisageable pour réaliser l’interprétabilité, l’équité et atteindre d’autres objectifs éthiques dans les systèmes d’IA pourrait passer par un contrôle effectué par des processeurs de données, des régulateurs externes ou des chercheurs empiriques, en utilisant des études d’audit ex-post, des études ethnographiques réflexives portant sur la conception et les tests, ou des mécanismes de rapport conçus dans l’algorithme lui-même. Quel que soit le type d’IA, l’audit est une condition préalable nécessaire pour vérifier le bon fonctionnement. S’agissant des systèmes ayant un impact prévisible sur l’homme, l’audit peut créer un enregistrement procédural ex-post d’une prise de décision automatisée complexe, afin de rendre intelligibles les décisions problématiques ou inexactes, ou détecter des discriminations ou des préjudices analogues.