---
title: Le contrôle juridique des algorithmes
author: Benoit Frydman
language: fr
date: 2022
canonical_url: https://benoitfrydman.com/fr/chapitre-douvrage/2022-le-controle-juridique-des-algorithmes/
doi: null
pdf_url: https://benoitfrydman.com/assets/pdf/frydman-b-2022-le-controle-juridique-des-algorithmes-edition.pdf
note: The published version is authoritative (la version publiée fait foi). This Markdown
  edition is provided for machine reading and citation; it is not itself the version
  of record.
---

## Gouvernance algorithmique et intelligence artificielle.- 
<gouvernance-algorithmique-et-intelligence-artificielle.->
Les progrès informatiques en matière d'aide à la décision réveillent
depuis quelque temps certaines angoisses profondes relatives à la
domination de l'homme par la technique et les machines. La figure du
« juge-robot », qui tranche automatiquement les litiges qui lui sont
soumis, n'est encore qu'une fiction et pour certains un projet, mais
elle a le mérite d'avoir mobilisé la vigilance de la communauté des
juristes, qui avaient jusque-là vécu assez tranquillement
l'informatisation progressive de leurs professions. Le fantasme de la
créature artificielle qui échappe à son créateur humain se double ici de
la crainte de la disparition des métiers du droit.

Le « crédit social » chinois, qui attribue une note aux personnes
physiques et morales en fonction de leurs conduites dans l'espace
public, au travail, dans leurs interactions sociales, leurs activités
sur Internet et sur les réseaux sociaux, fait lui déjà partie de la
réalité, même s'il ne se déploie pas encore dans toute l'étendue voulue
par les autorités de Pékin. Le système, qui récompense ou punit les
citoyens selon leur note, y compris au niveau de l'accès aux services
publics essentiels comme la santé, concrétise une forme de totalitarisme
*high-tech*, qui réveille en Occident les frayeurs suscitées par
les dystopies qui n'ont cessé de fasciner le public depuis un siècle.

D'un autre côté, le projet d'une gouvernance algorithmique compte
également de nombreux partisans, non seulement parmi les ingénieurs qui
y travaillent, mais aussi des gouvernants, managers et autres
gestionnaires du secteur public ou privé et aussi du grand public. Selon
un sondage d'opinions, réalisé en 2019 par l'Université IE à Madrid,
auprès d'un échantillon de 2.500 personnes dans 8 pays européens, 25% en
moyenne de la population européenne se prononcerait en faveur d\'un
gouvernement dirigé par une intelligence artificielle. Cette proportion
monte à 30% au Royaume-Uni et en Allemagne et jusqu'à 43% aux
Pays-Bas[^1] 20 mars 2019 accessible à l'adresse :
<https://metro.co.uk/2019/03/20/one-four-europeans-trust-artificial-intelligence-politicians-8949238/>.].

D'après ses promoteurs, le recours aux algorithmes présenterait
plusieurs avantages considérables. D'abord, ils accroîtraient
l'efficacité de l'administration et contribueraient ainsi à en réduire
les coûts. Ensuite, ils permettraient d'améliorer la qualité des
décisions prises dès lors que celles-ci reposeraient sur des données et
informations fiables (*evidence based*) plutôt que sur des
habitudes ou des intuitions hasardeuses[^2]. Enfin, la gouvernance algorithmique permettrait de
conjurer les défauts inhérents au gouvernement politique, y compris
démocratiques, à savoir l'exercice du pouvoir par des hommes peu
compétents et intéressants, dont les conflits incessants ne permettent
pas de décider en faveur de l'intérêt général et encore moins de mettre
en œuvre les moyens appropriés pour réaliser celui-ci[^3], L'Académie en poche, 2ème éd., 2018 qui vante
les mérites de la future gouvernance algorithmique : « Projetons-nous
donc dans cette société en devenir où toute échappatoire au bien commun
deviendra impossible tant les systèmes algorithmiques mis en place ne
rendront disponibles que les comportements vertueux » (p. 26) et
stigmatise la loi trop lente et les « juristes dépassés » (p. 130 et
s.).].

Ce projet constitue la dernière version en date d'un projet aussi ancien
que la philosophie de Platon d'un gouvernement de la science et de la
raison, revivifié après la Révolution française par Saint-Simon, Auguste
Comte et les ingénieurs positivistes. Depuis l'après-guerre, la
cybernétique, ancêtre de l'informatique, a pris le relais.

A l'été 1956, John McCarty et Marvin Lee Minsky réunissent un groupe
interdisciplinaire pour travailler à la conception d'« intelligences
artificielles » (IA), c'est-à-dire de programmes, éventuellement
associés à des robots, capables de réaliser des tâches, qui,
lorsqu'elles sont réalisées par les humains, requièrent des aptitudes
intellectuelles telles que l'apprentissage, la mémoire et le
raisonnement[^4]. Parmi ces
activités intelligentes, on compte les décisions, qui supposent un choix
entre plusieurs options de la solution la meilleure sur la base d'un
certain nombre de données. Le processus de décision peut être
algorithmisé, c'est-à-dire programmé en une succession ordonnée
d'opérations itératives qui vont conduire d'un problème à sa solution et
permettre le traitement rapide d'un grand nombre de cas. Cette IA dite
« symbolique » va donner lieu à d'importantes recherches et déboucher
sur des « systèmes experts » qui exécutent automatiquement des « arbres
de décision ». Délaissés un temps en raison d'un manque de progrès,
cette technique algorithmique va se relancer à la faveur de la
révolution informatique qui accroît considérablement leur complexité et
leur rendement. Cette forme d'IA connaît aujourd'hui un grande nombre
d'applications extrêmement utiles, notamment dans l'administration des
personnes et des choses, comme le fait d'attribuer des écoles ou des
universités à des élèves en fonction de critères multiples tels leurs
choix, leurs aptitudes, leur lieu de résidence, etc.

Les progrès dans le domaine de la reconnaissance d'images ont par
ailleurs suscité l'émergence d'une autre forme d'intelligence
artificielle qualifiée de « connexionniste ». Il s'agit d'une technique
d'apprentissage par laquelle une IA va pouvoir par exemple distinguer
des photos selon qu'elles représentent un chat ou un chien. Dans
l'apprentissage dit supervisé, on nourrit la mémoire de l'IA d'un grand
nombre (un million au moins) d'images « étiquetées » ou « annotées »
c'est-à-dire qui associent à celles-ci le nom de l'animal représenté.
L'ordinateur pourra ensuite classer lui-même de nouvelles images non
étiquetées, avec un coefficient d'erreur plus ou moins réduit. La
différence avec l'IA symbolique, qui sera importante pour notre propos,
est que la règle suivant laquelle on distingue un chat d'un chien n'est
pas donnée à l'ordinateur. Il la découvre pour ainsi dire lui-même au
départ de la bibliothèque d'exemples qui lui est fournie. En simplifiant
à l'extrême, on dira que l'ordinateur construit un « profil » de chien
et de chat dans sa « boîte noire » dès lors que sa décision ne
correspond pas à l'application de règles explicites préalablement
déterminées. L'apprentissage peut encore être « renforcé » par un
système de bons et de mauvais points en fonction des performances
obtenues par l'IA. D'autres applications ne supervisent pas
l'apprentissage de sorte que l'IA détermine elle-même un certain nombre
de catégories ou de *clusters* qui regroupent des éléments ou
classes d'éléments apparentés selon certains critères ou entre lesquels
sont établies certaines corrélations.

Cette IA connexionniste connaît également de multiples applications dans
des domaines très variés. Elle peut aider au diagnostic d'une maladie,
par exemple par la détection de tumeurs sur des radiographies. Elle
permet également de classer des documents, notamment des décisions
administratives ou judiciaires en fonction de données contenues dans
leurs textes ou dans certaines sections de ceux-ci. Elle favorise la
création de profils qui permettent de prédire les comportements des
personnes étudiées, de leur adresser des recommandations, de détecter
des anomalies ou des illégalités supposées.
## Le basculement algorithmique des administrations publiques. 
<le-basculement-algorithmique-des-administrations-publiques.>
Pendant que les chiens de garde de la démocratie aboient, la caravane
des algorithmes avance à vive allure. Elle étend rapidement son domaine
aux administrations publiques. En Belgique[^5],
l'algorithme OASIS traque depuis 2005 le travail au noir tant du côté
des employeurs que des travailleurs, désignant aux fonctionnaires de
l'inspection sociale les profils des suspects qui nécessitent un
contrôle. Un autre algorithme signale quant à lui les allocataires
sociaux qui recourent à des adresses fictives par le moyen des données
de consommation d'eau, de gaz et d'électricité que la loi impose aux
compagnies de fournir à l'administration. L'administration fiscale
recourt également à des algorithmes pour lui signaler des fraudeurs
potentiels afin de sélectionner et de déclencher les procédures de
contrôle et de redressement. L'inscription des élèves dans les écoles
secondaires est gérée par un algorithme, tant en Flandre qu'en
communauté française. Plusieurs polices locales ont recours à des
logiciels de police prédictive, qui proposent des plans de déploiement
des forces en fonction des lieux et périodes de commission des délits.
La crise du covid a également donné lieu depuis 2019 a une multiplicité
d'initiatives algorithmiques destinées au « traçage » des personnes
positives et de leurs contacts, à l'organisation de la campagne de
vaccination et à la gestion du « *covid safe ticket* » (pass
sanitaire), mais aussi, semble-t-il, pour la sanction des Belges en
provenance de l'étranger, pris en défaut de se faire
tester[^6].

Dans d'autres pays, des algorithmes décident les bénéficiaires de
greffes d'organes, comme le logiciel *Scorecoeur* en France qui
détermine les récipiendaires en fonction de plusieurs paramètres dont le
lieu de prélèvement, l'état de santé et l'âge du bénéficiaire. Une
priorité est donnée aux personnes plus jeunes, ce qui n'est pas le cas
des logiciels équivalents utilisés aux États-Unis. On comprend ainsi que
l'algorithme incorpore des choix politiques qui, en l'espèce et en
raison de la pénurie d'organes, tranchent littéralement des questions de
vie ou de mort. D'autres gèrent la mobilité et la promotion ou la
sanction des professeurs des écoles publiques[^7],
Dalloz, 2020, p. 43 cite un exemple en France de même que dans plusieurs
villes des Etats-Unis (Chicago, Huston, New-York, Washington).] ou
encore les politiques d'activation des chômeurs[^8]. Des algorithmes sont mis en œuvre pour le dépistage
d'enfants à risque de délinquance ou de
maltraitance[^9]. Certains
logiciels d'intelligence artificielle fonctionnent désormais sur le
terrain judiciaire. Ainsi, l'algorithme *Compas* produit une
évaluation du risque de récidive dont l'utilisation est recommandée ou
imposée dans différents États américains soit pour la détermination par
le juge de la peine d'un condamné, soit pour instruire les requêtes en
libération conditionnelle[^10].

Ces exemples ne sont en réalité que les premiers éléments visibles d'une
lame de fond appelée à recouvrir la plus grande partie des domaines
administratifs dans un futur proche. Le recours à des algorithmes
constitue l'étape en cours du long processus d'informatisation de
l'administration et d'ailleurs de la société entière. Après le
remplacement des machines à écrire par des terminaux d'ordinateurs,
bientôt reliés en réseaux, le développement de l'Internet a poussé les
administrations publiques à créer des sites, qui sont ensuite devenus
des plateformes d'interactions avec les usagers. Ces interactions
s'automatisent aujourd'hui par le moyen de formulaires ou même de
*chatbots*. Bien plus, la recherche active dans les bases de
données administratives ou extérieures (*datamining*) et le
croisement de ces bases (*datamatching*) supportent les initiatives
proactives de l'administration telles le repérage de fraudes et
d'irrégularités ou bien le contrôle et l'incitation des activités et des
personnes dans les différents secteurs de leur vie, au travail ou à leur
domicile et dans la vie familiale, dans les transports, en ce qui
concerne la santé, la sécurité publique, la consommation d'énergie,
l'éducation, etc.

Le développement de ces nouvelles techniques d'administration s'appuie
sur une infrastructure technologique désormais bien en place[^11], nourrie par des masses
de données en croissance exponentielle - le « *big data* » -,
rendues opérationnelles grâce à une puissance de calcul formidable et de
moins en moins coûteuse, qui favorise l'avènement de « l'État
plateforme » au niveau central aussi bien que des « villes
intelligentes » (*smart cities*) au niveau local. La mise en œuvre
de ces nouvelles technologiques s'accompagne mécaniquement d'un
accroissement très significatif de la surveillance des personnes, ainsi
que d'une ingérence de plus en plus poussée de la puissance publique
dans la vie des personnes et les activités de la société civile.
##  Réglementation en vigueur et signaux inquiétants. -- 
<réglementation-en-vigueur-et-signaux-inquiétants.>
Les transformations en cours interpellent nécessairement les juristes
attachés au respect des principes et des règles de l'action publique et
à la préservation des droits et des libertés des citoyens. Pour autant
ces questions n'ont pas jusqu'à présent préoccupés exagérément ceux qui
ont conçu et développé ces applications ni ceux qui les leur ont
commandées. Les informaticiens ignorent largement, comme il est normal,
les règles du droit qu'ils ont parfois tendance à considérer comme des
obstacles techniques parmi d'autres à surmonter ou à contourner. Leur
culture les pousse en outre à faire « tourner » leurs applications assez
tôt quitte à corriger ensuite les erreurs et à améliorer progressivement
les performances de leurs outils. Quant aux administrations et aux
décideurs politiques, ils ont surtout été séduits, dans un mouvement
d'ailleurs global, par les perspectives de modernisation, de gains
d'efficacité et de contrôle promises par les nouvelles technologies.
D'autant que les réformes ne sont pas perçues comme juridiques ni
d'ailleurs politiques, mais plutôt d'ordre technique et managérial,
opérées dans un cadre et par un personnel distinct de l'appareil
réglementaire classique[^12], Dalloz, 2011, p. 101-110, spéc. p. 101).].

La gestion administrative à l'aide d'algorithmes n'a pas donné lieu
jusqu'à présent à une réglementation spécifique dans notre pays. S'y
applique cependant l'article 22 du Règlement général européen sur la
protection des données -- le fameux RGPD[^13] -- qui conditionne la validité d'une
« décision fondée exclusivement sur un traitement automatisé, y compris
le profilage, produisant des effets juridiques concernant \[la
personne\] ou l\'affectant de manière significative de façon
similaire »[^14] notamment à une autorisation du droit
de l'État « qui prévoit également des mesures appropriées pour la
sauvegarde des droits et libertés et des intérêts légitimes de la
personne concernée »[^15].

La loi du 3 décembre 2017 a institué, en exécution du RGPD, une autorité
indépendante chargée de la protection des données, qui dispose
d'importants pouvoirs de contrôle à l'égard des responsables de
traitement des données personnelles tant publics que privés. Depuis sa
création, les plus hautes autorités de l'État ont toutefois montré de
manière répétée leur difficulté à accepter l'indépendance et le contrôle
d'une telle agence sur les activités publiques. Ainsi, elles ont nommé
au sein de l'Autorité de protection des données, en violation flagrante
des règles de conflit d'intérêts prévues par le règlement européen,
l'administrateur général de la Banque-carrefour de la sécurité et de la
Plateforme *eHealth* qui gère les données de santé des citoyens,
par ailleurs administrateur de la SMALS, véritable bras armé de l'État
et de la Sécurité sociale en matière d'informatisation depuis
l'après-guerre[^16]. La Belgique a été mise en demeure par
la Commission européenne de régler ce problème pour le 12 janvier 2022 à
peine de devenir le premier État membre de l'Union à se voir assigné
devant la Cour de justice pour manquement grave au RGPD. Le gouvernement
a en outre sciemment omis de soumettre son projet de loi sur l'extension
du *covid safe ticket* à l'Autorité de protection des données alors
que le Conseil d'État lui en avait formellement rappelé l'obligation, ce
qui a donné lieu à une nouvelle plainte devant la Commission européenne.
En décembre 2021, la directrice du département juridique de l'Autorité a
démissionné en dénonçant la situation de blocage et les pressions
politiques. La Chambre a depuis engagé à huis-clos une procédure de
révocation « pour faute grave » du président de l'Autorité et d'une
autre directrice « lanceuse d'alerte », au motif qu'« elle ne correspond
plus à la fonction ». Au moment d'écrire ces lignes, le gouvernement
annonce son intention de refonder complètement par un nouvelle loi
l'Autorité de protection des données…

Cette situation de grande confusion n'a pas contribué, pour dire le
moins, à créer un climat de confiance quant à la protection des données
des citoyens. D'autant que, sur le fond, plusieurs affaires ont été
révélées par la presse au cours de ces derniers mois de nature à
inquiéter fortement les citoyens et les observateurs. La ministre de
l'Intérieur a ainsi reconnu à la Chambre que, contrairement à ses
démentis, la Police fédérale avait bien eu recours au logiciel
*Clearview*, illégal en Europe, qui permet la reconnaissance
faciale de milliards d'individus sur bases de leurs photos postées
notamment sur des réseaux sociaux tels *Facebook*. La Police
fédérale belge figurait en effet comme « client » de cette société sur
un document indiquant entre 100 et 500 requêtes pour son compte. La
ministre a reconnu l'illégalité de cette pratique en l'état actuel du
droit et a indiqué travailler à l'établissement d'une base légale pour
permettre dans l'avenir l'exploitation de ces ressources[^17]. De même, le secrétaire d'État à la digitalisation et à la
protection de la vie privée a reconnu en mars 2021 le développement,
sans base légale, à l'initiative d'un groupe de
fonctionnaires[^18] d'un projet très avancé de centralisation de
l'ensemble des données de chaque citoyen auxquelles les administrations
ont accès. M. Michel en a reconnu l'illégalité, déclaré y mettre fin
immédiatement et travaillé à un autre projet similaire, mais poursuivi
dans l'intérêt des citoyens et qui donnera à ceux-ci l'accès à leurs
données[^19].

Enfin la gestion de la crise du covid 19 a donné lieu au développement
de nouvelles applications numériques qui ont soulevé des questions.
Ainsi, la mise en place dans de nombreux États dont la Belgique et au
niveau de l'Union européenne d'un nouvel objet juridique non identifié
(OJNI)[^20], Bruylant, 2011, p. 17-48, spéc. p. 20 et s.], le
passeport sanitaire digital conditionnant l'accès à certains lieux
publics ou privés. En outre, plusieurs failles de sécurité sérieuses et
parfois grossières obérant la confidentialité des données individuelles
de santé ont été dénoncées, de même que la possibilité d'accès et de
consultation de ces données par des groupes beaucoup trop larges parmi
lesquels, entre beaucoup d'autres, des compagnies
d'assurances[^21].
## Nécessité du contrôle juridictionnel. -- Utilité du droit commun. -- 
<nécessité-du-contrôle-juridictionnel.-utilité-du-droit-commun.>
Ces signaux inquiétants appellent à s'interroger sur les garanties et
les recours à la disposition des justiciables préjudiciés dans leurs
droits ou leurs intérêts légitimes par les dispositifs algorithmiques.
La Belgique n'a pas prévu de mesures spécifiques à cet effet sinon les
compétences attribuées à l'Autorité de protection des données en vertu
du RGPD[^22]. Encore a-t-elle exempté les autorités publiques,
qui ne fournissent pas des biens et services sur le marché, des amendes
administratives considérables (jusqu'à 10 ou 20 millions d'euros)
prévues par le RGPD en cas de violation de ses dispositions. Cette
exemption, critiquée par la section de législation du Conseil d'État et
par la défunte Commission de protection de la vie privée en tant qu'elle
prive les citoyens d'une garantie importante du respect de leurs droits,
a été validée par la Cour constitutionnelle dans son arrêt du 14 janvier
2021, qui rejette le recours en annulation introduit par la Fédération
des entreprises de Belgique (FEB)[^23].
Notons également qu'une directive européenne de 2016 règle le traitement
des données personnelles par les autorités compétentes dans le cadre
d'enquêtes et de poursuite d'infractions pénales[^24].

Le juriste pragmatique ne se laisse pas découragé par cette absence de
mesures *pro forma* dès lors qu'il trouve dans le droit commun,
comme Xavier Dieux l'a maintes fois mis en évidence dans ses
publications[^25], les ressources nécessaires à la solution des difficultés
et à la protection des droits. Les principes fondamentaux qui
structurent notre droit soumettent les pouvoirs publics à des règles
différentes des entreprises et des acteurs privés, bien qu'en matière de
gouvernance algorithmique l'Union européenne ait choisi de ne pas les
distinguer[^26]. Ces
règles particulières du droit public, qui comportent d'importants
privilèges, n'ont certainement pas pour objet d'exempter l'État et les
administrations du respect du droit, comme c'est le cas dans l'État de
police. Au contraire, dans l'État de droit, les autorités publiques sont
assujetties à des contraintes particulières en raison des obligations
spécifiques du service public mais aussi de l'*imperium* dont elles
disposent. Les usagers n'ont pas le choix de ne pas traiter avec
l'administration qui a les moyens d'obtenir un grand nombre
d'informations sur leur situation et dispose du pouvoir unilatéral de
prendre des règles et des décisions obligatoires qui affectent
directement leurs droits et leurs intérêts.

En vertu du droit commun, les décisions administratives prises au moyen
d'algorithmes sont soumises, comme toutes les autres, au contrôle de
leur légalité notamment dans le cadre du contentieux de l'annulation
devant le Conseil d'État et sont susceptibles d'engager la
responsabilité de l'administration devant les juridictions judiciaires.
Ce contrôle ne se limite nullement au respect des règles spéciales en
matière de traitement des données personnelles et de protection de la
vie privée. Il faut également vérifier que ces décisions reposent sur
une base légale, qu'elles n'ajoutent pas et ne modifient pas les
conditions fixées par la loi, qu'elles respectent l'égalité et ne soient
pas discriminatoires, que les mesures prises lorsqu'elles portent
atteinte aux droits apparaissent nécessaires et proportionnées, qu'elles
soient publiques et transparentes et que les décisions apparaissent
raisonnables et correctement motivées, etc.
## Méthode, enjeux et sources. --
<méthode-enjeux-et-sources.>
Or, dans l'état actuel des choses, nombre de décisions prises à l'aide
d'algorithmes apparaissent critiquables ou du moins vulnérables par
rapport à ces exigences, comme je vais tenter de le montrer dans les
lignes qui suivent. Le droit commun me semble offrir des moyens solides
d'attaquer les décisions contraires aux droits ou aux intérêts légitimes
de leurs destinataires et même plus largement, dans certains cas, la
validité du dispositif algorithmique lui-même. L'objet ici n'est pas
d'exposer ni même de tenter d'anticiper une jurisprudence qui est encore
dans les limbes, mais plutôt d'esquisser à l'attention des plaideurs,
quelques-uns des moyens et des arguments qui me paraissent intéressants
à développer en vue du contentieux juridictionnel qui ne va manquer de
se développer rapidement. Il ne s'agit donc pas à proprement parler
d'une étude de droit positif mais plutôt d'un exercice d'argumentation
consistant à tracer sommairement les premiers éléments d'une topique,
c'est-à-dire d'une grille d'arguments à la manière de l'ancienne
rhétorique[^27].

Outre le droit commun administratif, cet exercice peut s'appuyer sur
quelques décisions jurisprudentielles prometteuses, émanant notamment
d'autres États membres de l'Union européenne proches de notre pays comme
la France et les Pays-Bas. De plus, la doctrine continentale récente a
désormais dépassé le stade de la discussion de principe sur la
gouvernance algorithmique pour examiner de manière juridiquement plus
précise les modalités du contrôle de l'administration[^28], 2015, p. 517-519; « L'action publique et ses juges face aux
défis de la numérisation (…) », *op. cit.*, 2019, avec L. Gérard et
J. Mont; « The Use of Algorithms to Combat Social Fraud in Belgium »,
*European Review of Digital Administration & Law*, 2020, p.
167-177 ; « Les citoyens contrôlés via leurs données covid ? (…),
*op. cit.*, 2021. Nous avons également eu recours à l'ouvrage
*Décider avec les algorithmes…,* op. cit., 2020, produit d'une
collaboration entre une juriste et un ingénieur, qui comprend beaucoup
d'exemples concrets et d'informations intéressantes. Signalons enfin le
récent W. Barfield ed., _The Cambridge Handbook of the Law of
Algorithms_, Cambridge U.P., qui contient notamment l'intéressant
article pour notre sujet de D. Restrepo Amariles, « Algorithmic Decision
Systems : Automation and Machine Learning in the Public
Administration », p. 273-300.].

Le développement d'un tel contentieux m'apparaît comme la ligne de front
actuelle de la lutte pour l'Etat de droit et le respect des libertés
face à un nouveau mode de gouvernance puissant, mais dangereux car à la
fois très invasif et difficile à contrôler. Ce contentieux ne concerne
pas que les spécialistes de la protection des données ou les défenseurs
des droits de l'homme. Vu l'empire que les dispositifs algorithmiques
est en train de prendre dans l'ensemble des champs de l'action publique
(et d'ailleurs aussi du secteur privé), ceux-ci concernent également à
part entière les entreprises et les acteurs économiques en général et la
vie des affaires de sorte qu'il serait imprudent pour les praticiens du
droit privé et du droit économique en général de ne pas s'en préoccuper.
## Prédictions, décisions, recommandations. -- 
<prédictions-décisions-recommandations.>
Il faut commencer par examiner la part variable prise par l'algorithme
dans le processus de gouvernance administrative car celle-ci influe de
manière significative sur les recours et moyens qui pourront être
invoqués en cas de contestation.

Une même intelligence artificielle peut remplir des fonctions
différentes de prédiction, de recommandation ou de décision. Prenons par
exemple un logiciel de navigation de type *Waze*. Il peut servir à
des planificateurs urbains ou des compagnies de transport pour prédire
des temps de parcours ou bien aux automobilistes afin de leur
recommander le meilleur itinéraire ou encore déterminer la voie à suivre
par un véhicule autonome[^29]. Dans les trois cas, l'opération intellectuelle,
c'est-à-dire le programme de calcul est le même bien que les
applications varient.

Du point de vue juridique, le régime sera néanmoins très différent.
L'outil de prédiction s'ajoute à l'appareil statistique croissant et de
plus en perfectionné conçu et mis en œuvre au sein de l'État afin de lui
fournir les connaissances utiles à l'action gouvernementale. Ces
instruments ne sont pas même soumis aux règles relatives à la protection
de la vie privée et des données personnelles dès lors qu'ils agrègent
les données individuelles pour en tirer des enseignements généraux.

Il en va tout autrement des décisions prises automatiquement par un
algorithme. Tel est le cas dans certains pays où l'enregistrement par un
radar d'un excès de vitesse entraîne l'envoi automatique au propriétaire
du véhicule identifié d'une invitation à s'acquitter d'une amende. De
telles décisions ouvrent à leurs destinataires les recours
administratifs et judiciaires prévus par le droit commun.

L'article 22 § 2 du RGPD conditionne la validité des dispositifs de
décision automatique à une habilitation par le droit de l'État membre,
sauf s'il s'agit de l'exécution d'un contrat ou que le destinataire a
donné son accord. Cette clause n'offre cependant qu'une protection
limitée. Une loi française de 2018 a ainsi autorisé de manière générale
l'usage de ces dispositifs par l'administration, renversant ainsi
l'interdiction décrétée jusqu'alors par une loi précoce de
1978[^30]. En Belgique, une loi de 2016 a de même autorisé
rétrospectivement le dispositif *Oasis* en matière de lutte contre
la fraude sociale, dont l'origine remonte à 2005, de même qu'en matière
de détection de la fraude fiscale[^31]. En outre, il n'est
pas requis que l'habilitation émane du pouvoir législatif.

Le même article 22 § 3 prévoit encore le « droit de la personne
concernée d'obtenir une intervention humaine de la part du responsable
de traitement, d'exprimer son point de vue et de contester la
décision »[^32],
mais ce droit ne s'applique pas lorsque le dispositif est autorisé par
le droit de l'État membre, ce qui nous ramène au droit commun.

Dans la plupart des cas pourtant, le dispositif ne prévoit pas de
décision automatique. L'algorithme opère des recommandations. Tel est le
cas des dispositifs belges de détection de la fraude sociale et fiscale
qui signalent aux agents une probabilité de fraude, déclenchant un
contrôle à l'issue duquel l'inspection sociale ou fiscale prendra ou non
une décision de redressement ou de sanction[^33], p. 126).]. Dans un rapport très complet et particulièrement
intéressant réalisé par Élise Degrave et son équipe, celle-ci avance que
de tels signalements algorithmiques pourraient être considérés comme des
« décisions intermédiaires », ouvrant ainsi la voie à des
recours[^34]. L'idée est ingénieuse, mais il n'est pas
certain qu'elle convainque les juges.

Dans d'autres situations, l'algorithme proposera directement une
décision à l'agent administratif. Le processus managérial incitera
l'agent à entériner celle-ci eu égards au grand nombre des dossiers
qu'il aura à traiter, au temps à investir pour proposer une solution
alternative, au risque d'engager sa responsabilité dans ce cas et à un
certain « biais d'automatisation » qui tend à accorder une confiance
excessive aux solutions proposées par une machine[^35]. Ces circonstances rendent en pratique assez floue et
poreuse la distinction entre recommandation et décision[^36], p. 52.]. La recommandation algorithmique n'étant pas en elle-même
susceptible de recours, il faudra attaquer la décision administrative,
quitte à trouver le moyen de mettre en cause le calcul algorithmique qui
la sous-tend.
## Explication et motivation. -- 
<explication-et-motivation.>
Lorsque la décision administrative est fondée sur la recommandation d'un
algorithme, la question de la motivation ou de l'explication de la
décision et de la transparence du dispositif se trouve très souvent
soulevée. Cette question suscite un débat d'autant plus aigu que les
autorités publiques rechignent très souvent à communiquer le
fonctionnement de l'algorithme et le « raisonnement » qu'ils mettent en
œuvre.

En France, la loi pour une République numérique du 7 octobre 2016
prévoit qu'« une décision individuelle prise sur le fondement d\'un
traitement algorithmique comporte une mention explicite en informant
l\'intéressé. Les règles définissant ce traitement ainsi que les
principales caractéristiques de sa mise en œuvre sont communiquées par
l\'administration à l\'intéressé s\'il en fait la demande »[^37]. Le
décret d'application du 14 mars 2017 précise que l'administration doit
indiquer la finalité du traitement algorithmique et le droit de
l'administré d'obtenir à sa demande la communication des règles
définissant ce traitement ainsi que des principales caractéristiques de
sa mise en œuvre[^38]. L'administration doit ainsi communiquer de
manière intelligible au destinataire de la décision, sauf secret protégé
par la loi, les informations suivantes : « 1° le degré et le mode de
contribution du traitement algorithmique à la prise de décision ; 2° les
données traitées et leurs sources ; 3° les paramètres de traitement et,
le cas échéant, leur pondération, appliqués à la situation de
l'intéressé ; 4° les opérations effectuées par le
traitement »[^39].

Il n'existe aucune législation de ce type en Belgique. Une proposition
de loi, très proche de la loi française jusque dans le choix des termes,
a été introduite par l'opposition à la Chambre en avril
2021[^40]. L'administration a depuis longtemps fait preuve de
réticences très fortes à communiquer en particulier sur le dispositif
*Oasis* en dépit d'efforts consentis depuis plusieurs années par
certains académiques pour obtenir légitimement des
informations[^41]. Bien
entendu, en l'absence de dispositions spécifiques, le droit commun
s'applique, en particulier les règles relatives à la transparence
administrative et à la motivation des décisions de l'administration.

Les premiers combats ont souvent porté sur la communication par
l'administration des *codes sources* des programmes qu'elle
utilise. Dès 2001, le Conseil d'État a tranché un contentieux relatif au
vote électronique et au dépouillement automatisé en annulant le refus
par le ministre de l'Intérieur de la communication du code source et des
algorithmes, qui avait été requise par un citoyen soucieux de s'assurer
de l'intégrité du scrutin[^42]. De même en France, dans l'affaire de l'algorithme
*APD* (admission post-bac) qui règle l'inscription des étudiants
dans les différentes filières de l'enseignement supérieur, la Commission
nationale de l'informatique et des libertés (CNIL) a mis l'Etat en
demeure de donner suite à la demande formulée par l'Association Droits
des lycéens de recevoir communication du code source de l'algorithme de
la plateforme. L'association a ensuite fait appel à des ingénieurs pour
l'aider à déchiffrer le code. Elle a réussi à montrer que certains
critères utilisés ne correspondaient pas à ceux fixés par la
réglementation, ce qui a conduit en 2018 au remplacement de *APB*
par une nouvelle version nommée « *Parcoursup *».

Le code source apparaît comme un document abscons pour le non-initié qui
est en droit d'obtenir une explication intelligible comme le soulignent
en France la CNIL et le vice-Président du Conseil d'État Jean-Marc Sauvé
dans un discours important sur « Le juge et l'intelligence
artificielle »[^43], décembre 2017, p. 51. Le discours de M.
Sauvé est accessible à l'adresse suivante :
<https://www.conseil-etat.fr/actualites/discours-et-interventions/le-juge-administratif-et-l-intelligence-artificielle>.
Il n'est peut-être pas inutile de rappeler que le vice-Président du
Conseil d'État en est le Président effectif, le titre de « Président »
étant réservé au Premier Ministre ou au ministre de la Justice au cas où
il déciderait de participer à l'assemblée générale protocolaire de la
haute juridiction.]. Notons que notre Conseil d'État avait, dès 2004,
suspendu pour illégalité manifeste une décision administrative
d'évincement d'un soumissionnaire à un marché public fondée sur
l'algorithme mystérieux *Decision Lab*[^44]. Dans un considérant
surabondant et savoureux, « le Conseil d\'État ne peut que s\'interroger
sur la légalité d\'une motivation formelle qui se réfère à un document à
caractère nettement ésotérique, rédigé en un jargon anglicisant, mettant
en avant des notions étrangères à tout honnête homme, telles que des
\"types de courbe : III (VSHAPE) ou V (linéar)\" ou que des seuils
d\'indifférence \"q\" et des seuils de préférence strict \"p\", pour se
réfugier plus sûrement derrière l\'utilisation du logiciel DECISION LAB
ou l\'application de la pondération PROMETHEE ».

De manière plus générale, les justiciables trouvent dans la
jurisprudence du Conseil d'État qui interprète la loi du 29 juillet 1991
relative à la motivation formelle des actes administratifs[^45] les moyens d'exiger des explications
circonstanciées des décisions prises à l'aide d'algorithmes ou
non[^46]. Rappelons ainsi que la motivation doit permettre au
destinataire de comprendre les raisons de fait et de droit qui ont
conduit à adopter la décision et à lui permettre d'en apprécier la
légalité et la pertinence et donc aussi l'opportunité de la contester en
justice. L'administration doit « démontrer que les éléments invoqués
sont exacts, pertinents ou admissibles »[^47]. La motivation doit être adaptée au cas d'espèce et ne peut donc
être stéréotypée[^48]. Bien plus, il faut selon le Conseil d'Etat que
_le raisonnement conduisant à la décision soit formalisé dans
l'acte_[^49]*.* Cette jurisprudence
semble placer la barre particulièrement haut pour l'administration
lorsqu'elle est amenée à justifier auprès du destinataire une décision
recommandée par un algorithme.

Pour autant, comme nous l'avons dit, les autorités publiques rechignent
et ont développé plusieurs contre-arguments pour opposer un refus aux
demandes d'explication et de justification.

Un premier argument qui vient comme une sorte de réflexe est celui du
secret. La loi française le réserve d'ailleurs explicitement en
renvoyant cependant à une liste précise des cas ainsi couverts.
L'administration belge semble le cultiver particulièrement. Dans
l'affaire déjà évoquée du logiciel de vote et de dépouillement
automatique, le ministre invoqua sans succès le secret du vote et aussi
celui des affaires. L'article 61 de la loi du 5 septembre 2018
instituant le Comité de sécurité de l'information[^50] déroge au RGPD en permettant de retarder, limiter ou
exclure le droit à l'information de personnes qui font l'objet de
traitement de données personnelles dans des enquêtes pour fraude
sociale. Ce secret ne s'étend pas à la décision bien
entendu[^51]. De même, la police de Durham en
Grande-Bretagne a refusé de communiquer l'algorithme *Hart* et son
code source, qui sélectionne les condamnés susceptibles de bénéficier
d'un programme de réinsertion car cela aurait pu nuire au fonctionnement
du système[^52], p. 78. Dans un second temps, la police a finalement accepté le
principe d'une communication mais seulement à une autorité de régulation
compétente une fois que celle-ci serait établie.]. C'est sans doute ici
le moment de rappeler que, depuis les Lumières et le droit nouveau issu
des révolutions libérales, la publicité est l'axiome fondamental de la
légalité. Les actes secrets de l'autorité publique sont en principe
illégaux sur leur face. Les exceptions sont bien entendu de stricte
interprétation et l'invocation du secret appelle le contrôle judiciaire
le plus scrupuleux[^53], Bruylant, 2004, p. 123-144.].

Un deuxième argument fréquent consiste à invoquer les droits de
propriété intellectuelle ou le secret des affaires du propriétaire de
l'algorithme pour s'opposer à sa divulgation. Cet argument a notamment
été invoqué avec succès dans l'une des plus célèbres affaires du
contentieux algorithmique jusqu'à présent, l'affaire _State of
Wisconsin v. Loomis_[^54] qui concerne l'algorithme *Compas*
développé par la société Northpointe. Cet algorithme évalue le risque de
récidive de condamnés sur la base de plus de 137 critères. Il est
consulté, parfois de manière obligatoire, soit en vue de prendre une
décision de libération conditionnelle, soit pour déterminer la peine du
condamné. Loomis, qui s'était vu imposé une peine particulièrement
sévère par un juge qui avait suivi la recommandation de *Compas*
jugeant son risque de récidive particulièrement élevé, demanda au nom
des règles du procès équitable (*due process*) à ce que les règles
de fonctionnement de l'algorithme lui soient communiquées pour qu'il
puisse contester la légalité de sa condamnation. La Cour suprême du
Wisconsin rejeta sa demande au motif notamment que l'algorithme
constituait seulement une recommandation pour le juge qui avait motivé
sa décision à suffisance dans le jugement et au regard des droits de la
société Northpointe qui refuse de divulguer publiquement pour des
raisons commerciales les secrets de son algorithme.

Notons que cette décision n'est pas nécessairement représentative de
l'état de la jurisprudence aux Etats-Unis. Dans une autre affaire, qui
mettait en cause un système administratif d'évaluation des enseignants
par un algorithme développé par une entreprise privée, le juge fédéral
de Houston au Texas a décidé que le secret des affaires ne pouvait être
opposé aux droits fondamentaux des enseignants dont l'évaluation avait
conduit dans certains cas au non-renouvellement de leur
contrat[^55].

En tout état de cause, dans notre droit, il est clair que
l'administration ne saurait invoquer ses obligations contractuelles pour
prétendre se soustraire en tout ou en partie à son obligation légale de
motiver ses décisions. Il faudra également veiller dans ces contrats que
l'administration n'accorde pas au fournisseur ou au gestionnaire privé
de l'algorithme un droit d'accès et d'exploitation des données, qu'il
réclame souvent et qui serait contraire aux dispositions du RGPD.

Un troisième argument, soulevé principalement par la doctrine notamment
anglophone consiste à exempter la décision prise à l'aide d'un
algorithme de l'obligation de motiver celle-ci dès lors que, en raison
de la « boîte noire » de l'algorithme, une telle motivation serait de
fait impossible[^56]. A l'ère de l'intelligence artificielle,
les motifs des décisions ou recommandations des algorithmes nous
demeurant en tout ou en partie inconnues, il nous faudrait donc
collectivement renoncer à une telle exigence. C'est selon nous à
l'évidence la conclusion inverse qui s'impose : faute de connaître les
motifs de la décision ou recommandation d'un algorithme et donc de
pouvoir en rendre compte et en contrôler la légalité, le recours à ce
type d'outil devra être exclu ou sera jugé non conforme aux exigences
légales de motivation. En d'autres termes, on ne peut fonder une
décision administrative sur un algorithme dont on ne peut ouvrir et
disséquer la « boîte noire ».

Le Conseil constitutionnel français l'a clairement affirmed dans sa
décision du 12 juin 2018[^57] déclarant en
termes de principes inconstitutionnel le recours à des « algorithmes
'auto-apprenant' susceptibles de réviser eux-mêmes les règles qu'ils
appliquent ». L'autorisation par le législateur de tels algorithmes
porterait atteinte « aux principes de valeur constitutionnelle régissant
le pouvoir réglementaire dans la mesure où, d'une part, il ne serait pas
garanti que les règles appliquées par les algorithmes seront conformes
au droit et, d'autre part, l'administration aurait abandonné son pouvoir
réglementaire aux algorithmes définissant leurs propres
règles »[^58].

Cette décision, que l'on ne peut qu'approuver, a un impact considérable
dès lors qu'elle revient purement et simplement à interdire l'usage par
l'administration aux fins de décision des algorithmes qui utilisent les
« réseaux neuronaux » et les techniques de « deep learning » ou dont on
ne peut connaître exactement et rendre compte des règles ou des profils
au moyen desquels ils prononcent leurs oracles. Je pense que cela
revient à interdire, dans l'état actuel de la technique, tous les
algorithmes connexionnistes[^59].

Les partisans de l'administration algorithmique ont cependant trouvé
dans la théorie du droit un contre-argument ingénieux qu'il convient de
rencontrer. De même qu'il est établi que le cheminement du juge qui le
conduit à la solution du cas diffère des motifs par lesquels il en rend
compte légalement dans son jugement[^60], de même
il faut distinguer la faculté de justifier le choix opéré par
l'algorithme du fonctionnement même de l'algorithme, des catégories
qu'il crée et des calculs qu'ils opèrent pour arriver à celui-ci.
Certains proposent dès lors la production de justifications
« contre-factuelles », à savoir d'un arbre de décision comme
approximation pour rendre la décision intelligible[^61] vol. 31 (2018), p. 841 et s. -- S.
Desmoulin-Canselier et D. Le Métayer, *op. cit.*, p. 222 et 227-8.
\-].

On commencera par démonter l'anthropomorphisme de l'argument qui nous
ramène au mythe du « juge robot »[^62], à une intelligence artificielle qui aurait été créée à
l'image de l'homme. Plus fondamentalement l'argument ne tient pas car,
comme l'exprime très bien le Conseil constitutionnel français,
l'obligation de motiver n'est pas seule en cause, mais bien les
modalités d'exercice des pouvoirs publics. Chaque autorité publique doit
exercer effectivement et conserver la maîtrise des pouvoirs de décision
et d'exécution qui lui sont attribués, en telle sorte que la conformité
au droit de ses actes puisse être contrôlée et sanctionnée le cas
échéant.

Si on a commencé, contrairement à l'usage, cet examen juridique des
décisions algorithmiques par le contrôle de leur motivation, on en
comprend à présent les raisons. Non seulement, cette question est
centrale pour l'intelligence artificielle, mais en outre elle est la
condition de possibilité et le préalable nécessaire à tout contrôle
sérieux de la légalité interne de la décision algorithmique.
## Légalité de l'algorithme. -- 
<légalité-de-lalgorithme.>
De manière remarquable, le contrôle d'une décision ou prise par ou sur
le fondement d'un algorithme impliquera souvent ou nécessitera même le
contrôle de la légalité de l'algorithme lui-même. Certes celui-ci ne
peut faire directement l'objet d'un recours ou d'une annulation, mais un
défaut rédhibitoire de l'algorithme pourra constituer le moyen de faire
annuler la décision qui en procède.

En cas de compétence liée, il faudra contrôler minutieusement que
l'algorithme n'ajoute ni ne retranche rien aux conditions fixées par la
loi ou le règlement[^63], p. 135).]. Lorsque l'administration jouit d'un pouvoir
d'appréciation discrétionnaire, le juge vérifiera que la décision
respecte les objectifs fixés par la loi, qu'elle ne procède pas d'une
erreur manifeste d'appréciation, qu'elle est proportionnée et
raisonnable et, dès lors que le dispositif implique un traitement de
données personnelles voire une ingérence dans la vie privée, que
celle-ci apparaît nécessaire pour atteindre l'objectif fixé.

Un tribunal de La Haye du 5 février 2020, saisi à l'initiative du Comité
néerlandais des juristes pour les droits de l'homme a ainsi déclaré que
la législation mettant en place l'algorithme *Syri* de lutte contre
la fraude sociale et fiscale viole l'article 8 de la Convention
européenne de sauvegarde des droits de l'homme et des libertés
fondamentales. Le tribunal estime que si le dispositif poursuit un
objectif légitime d'intérêt général, les moyens qu'il met en œuvre
n'apportent pas suffisamment de protection aux libertés individuelles
notamment au niveau de la précision des finalités du traitement des
données et de la minimisation des données à traiter. Le tribunal
stigmatise surtout le manque de transparence de l'algorithme. Celui-ci
fonctionne par l'attribution de « scores » par « facteurs de risque »
(de fraude) selon un « arbre de décision », mais dont le tribunal
constate qu'il est totalement inaccessible et donc incompréhensible et
invérifiable par le justiciable comme par le juge. L'Etat a fait appel
de cette décision. Élise Degrave estime qu'un recours pourrait être
introduit sur les mêmes bases en Belgique contre l'algorithme
*Oasis*[^64]*.*

Sur le fond, la discussion a porté jusqu'à présent principalement, tant
du côté des juristes que des ingénieurs, sur la question des
discriminations[^65]. Ainsi, la
question de savoir si l'algorithme *Compas* est discriminatoire à
l'égard des Noirs, confirmant en quelque sorte les biais racistes du
système américain ou de ses acteurs, a fait couler beaucoup
d'encre[^66], p. 88-89 rend compte de ce débat. Ainsi certaines études montrent
que *Compas* produit 45% de faux positifs pour les Noirs contre 23%
pour d'autres catégories et seulement 28% de faux négatifs pour les
Noirs contre 48% pour les autres catégories.]. Il est apparu à l'examen
que les algorithmes ne sont étonnamment pas immunisés contre les
préjugés susceptibles d'affecter le jugement du commun des mortels comme
des décideurs. Les algorithmes peuvent produire des discriminations
directes notamment en construisant, spontanément ou non, des catégories
interdites ou sensibles, comme l'âge, le genre ou l'origine ethnique,
auxquelles ils appliquent des différences de traitement illicites. Des
discriminations indirectes ont également été mises en évidence comme la
prise en compte du code postal, non prévue par la réglementation, pour
déterminer l'inscription dans les études supérieures, ayant pour effet
de discriminer potentiellement certaines populations défavorisées. Ou
encore, comme dans le cas de *Compas* et beaucoup d'autres, on
pourra juger de l'effet discriminatoire de l'algorithme en faisant
« tourner » un jeu de données (*dataset*) sur une application pour
en observer les effets éventuellement discriminants sur différentes
catégories.

Les informaticiens ont apporté des éléments nouveaux notamment
mathématiques à la discussion tendant à montrer qu'il serait toujours
possible de démontrer une forme de discrimination dans n'importe quelle
série de décisions, prises par un humain ou un algorithme ou encore
qu'il existe plusieurs dimensions de la discrimination et que l'on ne
peut réduire l'une qu'en augmentant l'autre. On aperçoit ici l'apport
que l'hybridation des logiques juridique et mathématique pourrait
apporter notamment quant à la définition de la discrimination et à sa
preuve.

Pour autant, l'égalité de traitement des destinataires ne constitue
certainement pas la seule dimension de l'algorithme dont le contrôle
s'impose pour apprécier sa validité juridique. Il est nécessaire
d'examiner tous les éléments qui déterminent effectivement la décision
proposée par l'algorithme soit notamment les données qui le nourrissent,
les proxies utilisés, les critères de choix qu'il opère et les
performances qu'il permet d'obtenir[^67].

\1. Les *données* utilisées par l'algorithme ne peuvent être
illicites ou obtenues illégalement, comme nous l'avons vu dans l'affaire
*Clearview*, à peine d'entacher la décision. Ces données doivent
également être correctes et adéquates. Par exemple, déterminer si un
migrant peut bénéficier du statut de mineur non accompagné, les
autorités publiques recourent à des standards relatifs à la taille des
poignets qui détermine l'âge probable des personnes. Ces standards ont
été établis sur base d'un échantillon d'adolescents et de jeunes adultes
vivant aux Etats-Unis dans les années 1950, de sorte que l'on peut
légitimement s'interroger sur leur pertinence pour assigner un âge à des
jeunes des années 2020 issus d'Afrique ou d'Asie.

\2. Ceci nous conduit à la question importante des *proxies*. Dans
l'univers des statistiques, un *proxy* est une donnée qui vaut pour
une autre. Ainsi, dans l'exemple précédent, la taille des poignets vaut
pour l'âge de la personne. Le choix de ces proxies ne peut être
abandonné à la discrétion de l'opérateur car il a des conséquences
déterminantes sur le résultat du traitement. Ainsi, la mesure de la
« sécurité » dans un indicateur international ne produira pas le même
résultat ni le même classement selon que le proxy choisi est le nombre
d'homicides annuels rapportés au nombre d'habitants, la population
carcérale rapportée au nombre d'habitants ou encore l'importance que les
juridictions de l'Etat accordent dans leurs décisions à la force
obligatoire des contrats, telle que mesurée sur une échelle graduée de 1
à 5 par un panel d'experts. Il est donc indispensable, comme l'a bien
dit le juge de La Haye, que l'on puisse connaître, comprendre et
vérifier les *proxies* choisis pour établir les différents facteurs
de risque de fraude, de même d'ailleurs que la *pondération* des
critères qui influe sur la décision, ainsi que le prévoit d'ailleurs la
réglementation française.

\3. De même que la pondération relative des variables, il faudra encore
examiner le *critère* de choix ou de distribution programmés, ce
qu'on qualifie également d'algorithme au sens étroit du terme. Ainsi,
les plateformes *APD* et *Parcoursup* recourent pour
l'inscription des étudiants dans les établissements d'études supérieures
à l'algorithme de *Gale-Shapley*, publié en 1962, pour résoudre la
question dite des mariages stables. Selon cet algorithme itératif, à
chaque étape les hommes choisissent des femmes auxquelles ils se
proposent, y compris celles qui sont déjà en couple, qui choisissent à
leur tour de conserver leur conjoint ou d'accepter une nouvelle
proposition. Comme l\'explique très bien Hugues Bersini, cet algorithme
est élitiste au sens où à la fin les plus belles femmes se marient avec
les plus beaux hommes ou, pour le dire autrement, les étudiants les plus
brillants ont seuls accès aux établissements les plus prestigieux.
Encore faut-il vérifier que ce choix politique correspond bien à
l'objectif défini ou annoncé, ce qui n'est pas évident dans le cas de
*Parcoursup* qui inclut également des mesures visant à améliorer la
mixité sociale[^68]. Selon Hugues Bersini, c'est le critère
utilitariste de la maximisation de la somme des bénéfices et des coûts
qui s'imposera de manière incontournable dans la plupart des
cas[^69]. Il faut cependant
bien mesurer la portée politique d'une telle règle générale qui est loin
de correspondre à la pratique législative actuelle et aux règles
juridiques relatives au respect des droits individuels[^70] (1977), 2d ed., Bloomsbury Academics, 1997).].

\4. Enfin, il faut vérifier le niveau de *performances* de
l'algorithme pour déterminer si celui-ci constitue un moyen efficace,
adéquat, fiable et raisonnable pour atteindre l'objectif poursuivi et
justifier les dérogations aux libertés individuelles. Les informaticiens
disposent de méthodes éprouvées pour mesurer les taux d'erreurs de
l'algorithme. L'outil *Compas* de prédiction de la récidive a fait
l'objet de nombreuses études publiées qui comparent la prédiction
algorithmique et les récidives effectivement constatées. Ces études
repèrent à la fois les « faux positifs », à savoir les personnes
évaluées comme à haut risque, mais qui n'ont pas récidivé, et les « faux
négatifs », à savoir les personnes évaluées à faible risque, mais qui
ont récidivé dans une période donnée. En 2012, une étude menée par
l'État de New-York indiqua une fiabilité globale de 71% pour cet État,
ce qui fut jugé suffisamment fiable pour l'utilisation du
logiciel[^71], p. 86.]. En 2018, J. Dressel et H. Farid[^72], tout en révisant ce taux à 65, 2%, ont
montré que des humains utilisant seulement 7 critères (comparé aux 137
variables de *Compas*) avaient obtenu un résultat légèrement
supérieur de 67%[^73]. Quoi qu'il en soit, on peut s'étonner qu'un niveau de fiabilité
de 70% soit jugé satisfaisant pour recourir à un algorithme amené à se
prononcer sur une question aussi grave que la libération d'un condamné
ou son maintien en détention.

Les exemples abondent d'algorithmes défectueux qui ont provoqué des
conséquences catastrophiques. La poste anglaise a utilisé à partir de
1999 un logiciel *Horizon*, conçu par la firme japonaise Fujitsu,
sur la base duquel 736 employés ont été condamnés entre 2000 et 2014
pour détournements de fonds, dont certains à des peines de prison. Une
enquête a démontré que le logiciel était dès le début affecté de
*bugs* importants, que la poste le savait et qu'elle a néanmoins
continué à utiliser le logiciel. Cette affaire est à l'origine d'un des
plus grands scandales judiciaires au Royaume-Uni. Dans une série
d'arrêts, rendus entre 2019 et 2021, la Cour d'appel a renversé plus de
50 condamnations pénales, tandis que la poste transigeait avec plus de
550 agents injustement sanctionnés. La poste anglaise a annoncé qu'elle
allait remplacer le logiciel *Horizon* par un autre plus
perfectionné…[^74] EWCA Crim 1443.]

Aux Pays-Bas, un rapport d'*Amnesty International* a révélé qu'un
« algorithme xénophobe », introduit en 2013, destiné à traquer la fraude
en matière d'allocations familiales avait conduit à supprimer à tort les
allocations perçues par des dizaines de milliers de familles dont un
nombre disproportionné d'origine étrangère et de pauvres, privés de
leurs droits et contraints de rembourser les sommes déjà
perçues[^75] Peter Benenson House, 2021, accessible à
l'adresse :
<https://www.amnesty.be/IMG/pdf/20211025_rapport_xenophobic_machines.pdf>.
Il s'agit en réalité ici d'un second rapport plus approfondi, qui a
suivi la dénonciation publique de l'affaire.]. Cette affaire a conduit à
la démission du gouvernement néerlandais en janvier 2021.

On ne peut que s'inquiéter de la précipitation et de l'imprudence avec
laquelle certaines autorités publiques mettent en place des dispositifs
algorithmiques peu éprouvés et peu fiables. Si des taux de fiabilité de
70% voire 80% ou plus peuvent être considérés comme encourageants quant
aux potentialités de l'intelligence artificielle, le juriste se montrera
davantage préoccupé par le pourcentage résiduel d'erreurs, qui multiplié
par le nombre massif de cas traités par les algorithmes, aboutira à des
centaines voire des dizaines de milliers de condamnations ou de
suppressions illicites de droits. Dans de tels cas, il semble évident
que la responsabilité tant politique que juridique des autorités puisse
être engagée.
## Qualité et certification de l'algorithme. -- 
<qualité-et-certification-de-lalgorithme.>
Compte tenu du caractère sophistiqué et délicat des algorithmes et des
dommages considérables que leur usage est susceptible de causer, l'idée
a fait son chemin notamment aux États-Unis et en Europe d'une approche
préventive visant à identifier les risques et à contrôler en amont la
qualité des algorithmes. Tel est l'objet de la proposition de règlement
de l'Union européenne établissant des règles harmonisées en matière
d'intelligence artificielle introduite par la Commission en
2021[^76].
La proposition, qui « suit une approche fondée sur les risques », classe
les algorithmes en trois catégories selon qu'ils créent un risque
inacceptable, élevé ou faible. Les premiers sont interdits. Les deux
autres sont soumis à des précautions et à des procédures qui varient
selon le degré de risque. Sont ainsi prévues des études d'impact, des
tests de performance, des codes de conduite et d'autres mesures de ce
type. Sans entrer dans le détail, nous reconnaissons sans peine ici le
modèle de la normalisation technique, caractéristique du droit global,
dont la mise en œuvre reposera sur une filière de certification et de
labellisation des opérateurs et des produits et une logique de
conformité (*compliance*) au sein des entreprises. Cette procédure
de certification s'applique du reste déjà à de nombreux produits et
services, notamment en ce qui concerne les algorithmes à des logiciels
embarqués dans des systèmes critiques, comme les avions, et à certains
dispositifs médicaux[^77].

On ne peut que se réjouir de la mise en place d'un processus de contrôle
en amont des risques, de la qualité et des performances des algorithmes
en particulier ceux qui prennent des décisions ou formulent des
recommandations qui affectent les droits et les intérêts des personnes.
Il faut cependant s'intéresser de près au contenu du cahier des charges,
dont l'élaboration est d'ores et déjà bien avancée. Nous sommes en effet
en plein dans ce que Gregory Lewkowicz appelle « le moment éthique » de
l'encadrement de l'intelligence artificielle[^78]. L'association *AlgorithmWatch*
recensait, en 2019 64 référentiels éthiques publiés[^79], cité par G. Lewkowicz, disponible
en ligne :
algorithmwatch.org/en/project/ai-ethics-guidelines-global-inventory.].
D'autres en comptent 84[^80], leur nombre ne cessant de croître. Les organisations
internationales comme l'OCDE et le Conseil de l'Europe ne sont pas en
reste, non plus que l'Union européenne qui a publié, en 2019, ses
_Lignes directrices en matière éthique pour une IA digne de
confiance_, qui tend vers l'élaboration de standards
sectoriels[^81]*.* L'Institute of Electrical and Electronics Engineers
(IEEE), qui joue un rôle comparable à l'ISO dans les domaines de
l'électricité et de l'informatique, a lancé une initiative globale
« _Ethically Aligned Design : A Vision for Prioritizing Human
Well-Being with Autonomous and Intelligent
Systems_ »[^82].
Cette initiative a débouché en 2021 sur l'entrée en vigueur du standard
IEEE P7000, qui détermine les procédures et méthodes pour découvrir et
régler les problèmes éthiques à respecter dans la conception
(*design*) et le développement des
algorithmes[^83].
Ce standard de type procédural sera décliné dans une série de 14 normes
techniques plus opérationnelles, actuellement en cours de discussion,
qui porteront notamment sur la transparence des systèmes autonomes
(P7001), le traitement des données personnelles (P7002), le règlement
des biais algorithmiques (P7003), mais aussi des questions comme la
gouvernance des données concernant les enfants et les étudiants (P7004)
et les employés (P7005)[^84]. Le standard
P7010 établira des « critères de bien-être des humains directement
affectés par des systèmes intelligents et
autonomes »[^85]. Le standard P7011 participera à la lutte contre les fausses
nouvelles (*fake news*) en établissant des procédures d'évaluation
de la fiabilité des sources d'informations[^86]. Et ainsi de suite.

On comprend bien qu'il s'agit à terme de mettre au point une
normalisation technique globale certifiable couvrant l'ensemble des
questions que nous avons examinées dans le cadre de cette étude, et bien
d'autres encore. Notons que ces normes n'ont pas seulement vocation à
s'adresser aux ingénieurs et aux entreprises qui développent des
algorithmes, mais également aux éducateurs et aux décideurs
publics[^87].
Qu'on les qualifie de « techniques », « éthiques » ou « juridiques » n'a
rien à voir avec la nature de ces règles ni des problèmes ou
comportements qu'elles prétendent réguler, mais désigne seulement la
voie régulatoire choisie. Ainsi la voie de la normalisation technique
constitue un moyen parallèle et concurrent à la voie législative
européenne ou internationale qui a toutes les chances de s'imposer au
niveau global et même au niveau de l'Union européenne qui privilégie ce
modèle de régulation[^88], Larcier,
\2015.].
## Conclusion. -- 
<conclusion.>
Les administrations des États développés, comme la Belgique, sont en
train de mettre en place de manière accélérée des dispositifs de
décision automatisées ou semi-automatisées, reposant sur des
algorithmes, qui impliquent l'usage de technologies dites d'intelligence
artificielle. Le recours à ces dispositifs, qui ne sont pas toujours
mûrs ni performants, s'opère souvent de manière précipitée voire
imprudente et dans une certaine clandestinité qui tend à échapper aux
autorités de contrôle.

Ces procédés inquiètent légitimement dès lors qu'ils affectent, d'une
part, les droits, les intérêts et les libertés des citoyens qui en sont
les destinataires et, d'autre part, les règles et les principes de
fonctionnement de l'État de droit. Tant les dispositifs eux-mêmes que
les décisions qui en sont le produit reposent sur des bases juridiques
fragiles et sont en conséquence très exposés à un contrôle judiciaire de
leur validité. Parmi les moyens susceptibles de leur être opposés, nous
avons noté l'illégalité des dispositifs de *deep learning* voire
des algorithmes connexionnistes en général, le défaut de transparence
des systèmes et de motivation des décisions, le caractère
disproportionné et non nécessaire des ingérences dans les droits et
libertés, le fait que l'algorithme repose sur des données inadéquates ou
illicites, qu'il recourt à des proxies contestables ou à des catégories
interdites, qu'il applique des critères de choix inadéquats ou qui ne
correspondent pas à l'objectif annoncé ou assigné, qu'il ne soit pas
performant notamment en produisant des décisions erronées ou
discriminatoires.

Dans ses projets de réglementation des algorithmes, l'Union européenne a
choisi de miser principalement sur la normalisation technique, telle que
l'Institut des ingénieurs électriciens et électroniciens est en train de
la développer au niveau global. Sur la base de l'étude des autres
chantiers du droit global, nous pensons qu'il est probable que cette
stratégie soit à terme couronnée de succès.

Toutefois, dans l'état actuel de la lutte pour le droit, il est
nécessaire que les juristes praticiens s'emparent de ces questions et
n'hésitent pas à contester les dispositifs algorithmiques devant les
juges et à demander réparation des préjudices causés. Plusieurs
exemples, émanant notamment d'États voisins, illustrent à la fois
l'importance de ces combats et la possibilité de les gagner. C'est le
devoir des juristes de les mener pour sauvegarder les droits et les
intérêts de leurs clients, l'État de droit et des libertés publiques et,
disons-le franchement, l'avenir de leur profession. Il ne faut à cet
égard céder ni à la fascination ni à la phobie technologique. Nous avons
tenté de montrer dans cette étude que les problèmes posés par
l'intelligence artificielle dans le cadre de la gouvernance
algorithmique entrent pleinement dans la sphère de compétence des
juristes et qu'ils ne sont pas si difficiles à appréhender pour autant
qu'on veuille bien y appliquer quelque effort.

---

[^1]: Cette étude dont la presse européenne s'est faite
largement l'écho est à considérer avec prudence car, lors d'une dernière
vérification, elle n'est plus disponible en ligne. Voir cependant son
premier compte-rendu par J. Patterson, "One in four Europeans trust
artificial intelligence more than politicians, says study », _Metro
UK,
[^2]: D. Kahneman, O. Sibony,
and C. R. Sunstein, *Noise: A Flaw in Human Judgment*, Willam
Collins, 2021.  
[^3]: Dans
cette veine, nous recommandons l'essai de H. Bersini, _Big Brother
is driving you. Brèves réflexions d'un informaticien obtus sur la
société à venir
[^4]: Paraphrase de définitions proches proposées par
John McCarty et Marvin Lee Minsky, les organisateurs de la conférence de
Dartmouth de l'été 1956 au cours de laquelle ils proposèrent le choix de
cette expression pour désigner leurs travaux collectifs.
[^5]: Pour une description
détaillée, voyez le rapport très complet en anglais d'Elise Degrave et
de son équipe : E. Degrave, L. Gérard et J. Mont, « L'action publique et
ses juges face aux défis de la numérisation : la situation belge »,
2019, p. 11 à 17, accessible à l'adresse :
<https://researchportal.unamur.be/fr/publications/laction-publique-et-ses-juges-face-aux-défis-de-la-numérisation-l>.
[^6]: Voyez E. Degrave, « Les citoyens contrôlés via leurs
données covid ? Le *datamatching* et le *datamining* utilisés
par l'Etat », *Journal des Tribunaux,* 2021, p. 125-128. En vertu
de l'article 9 de l'arrêté ministériel du 12 janvier 2021, l'ONSS se
voit accorder le droit, pour le compte de nombreuses institutions, de
« collecter, combiner et traiter, y compris via le *datamining* et
le *datamatching*, des données concernant la santé relatives au
coronavirus Covid-19, des données de contact, d'identification, de
travail et de résidence relatives aux travailleurs salariés et
travailleurs indépendants, en vue de soutenir le traçage et l'examen des
clusters et des collectivités ». Le journal *Le Soir* du 19 janvier
2021 mentionne que ce système serait utilisé pour infliger des amendes
de 250€ aux personnes de retour de l'étranger en défaut de se faire
tester.
[^7]: S.
Desmoulin-Canselier et D. Le Métayer, _Décider avec les
algorithmes. Quelle place pour l'Homme, quelle place pour le droit ?
[^8]: *Idem*, p.
48 pour la France. Des programmes similaires sont annoncés en
Belgique.
[^9]: *Idem*, p. 37 évoque des programmes à Los
Angeles, Allegheny (Pennsylvanie) et à Copenhague.  
[^10]: Voir *infra*.
[^11]: E.
Degrave, L. Gérard et J. Mont, « L'action publique et ses juges (…) »,
*op. cit.*, spéc. p. 1 et s. et 5 et s. 
[^12]: C'était déjà largement le cas pour
l'introduction des méthodes du nouveau management public (B. Frydman,
« Le management comme alternative à la procédure », in B. Frydman et E.
Jeuland éds., _Le nouveau management de la justice et
l'indépendance des juges
[^13]: Règlement UE 2016/679
du 27 avril 2016 relatif à la protection des personnes physiques à
l\'égard du traitement des données à caractère personnel et à la libre
circulation de ces données.
[^14]: Art. 22, 1.
[^15]: Art. 22, 2 b).
[^16]: Selon la déclaration de mandat de M. Frank
Robben à la Cour des comptes, disponible à l'adresse suivante :
<https://www.cumuleo.be/mandataire/2616-frank-robben.php>. On
notera que M. Robben était également Président du comité de direction de
la SMALS jusqu'en 2018 inclus.
[^17]: Voir
la séance publique de questions-réponses à la commission de l'Intérieur
du 4 octobre 2021(*Doc. Ch.* 2020-21, CRIV 55, COM 597, p. 2 à
6).
[^18]: Coordonné semble-t-il par M. Frank Robben dont
l'audition a en conséquence été demandée et obtenue à la commission de
la Justice de la Chambre.
[^19]: Exposé à la commission de la Justice de la Chambre du
24 mars 2021, relatée par la presse :
<https://www.rtbf.be/info/belgique/detail_mathieu-michel-veut-donner-un-acces-clair-a-chaque-citoyen-concernant-ses-donnees-utilisees-par-l-etat?id=10726662>)
[^20]: B. Frydman, « Comment penser le droit global ? », in
J.-Y. Chérot et B. Frydman éds., _La science du droit dans la
mondialisation
[^21]: E. Degrave, « Les citoyens contrôlés via leurs
données covid ? (…) », *op. cit.*
[^22]: Comme l'article 22. 2 b) du RGPD l'y invitait (voir
*supra* § 3).
[^23]: Arrêt 3/2021 du 14 janvier
2001 disponible à l'adresse suivante :
<https://www.const-court.be/public/f/2021/2021-003f.pdf>.
[^24]: Directive UE
2016/680 du 27 avril 2016 relative à la protection des personnes
physiques à l'égard du traitement des données à caractère personnel par
les autorités compétentes à des fins de prévention et de détection des
infractions pénales, d'enquêtes et de poursuites en la matière ou
d'exécution de sanctions pénales et à la libre circulation de ces
données.
[^25]: « Pour un retour au droit commun ! » n'est pas
seulement pour notre auteur le titre de l'un de ses articles consacré
aux garanties des cessions d'actions, mais un véritable *mantra*,
en tout cas un principe de méthode, qui traverse l'ensemble de l'œuvre
juridique de Xavier Dieux, dans la droite ligne de ses prédécesseurs de
l'École de Bruxelles, en particulier Jean Van Ryn et Pierre Van
Ommeslaghe.
[^26]: C'est vrai tant pour le RGPD que pour la proposition
de règlement 2021/0106 du 21 avril 2021 qui sera examinée *infra* §
\9. On voit ici l'un des effets du concept de « gouvernance » qui tend à
voir dans les organismes publics des personnes comme les autres.
[^27]: Sur la topique dans l'ancienne rhétorique, v. B.
Frydman, *Le sens des lois*, 3ème éd., Bruylant, 2011, § 19
et s., p. 59 et s.
[^28]: Parmi ces
études, signalons tout particulièrement : D. Restrepo Amariles et G.
Lewkowicz, « De la donnée à la décision: comment réguler par des données
et des algorithmes », in E. Godet, R. Mosseri et M. Bouzeghoub
(ed.), *Les Big Data à Decouvert*, Paris, CNRS édition, 2017, pp.
80 et s. -- En Belgique, nous nous sommes appuyés principalement sur les
articles remarquables et pionniers d'Élise Degrave : « Contrôle des
assurés sociaux et profilage dans le secteur public », _Journal des
Tribunaux
[^29]: Il semble que l'application joue
également le rôle de décision du trajet pour le service *Uber*, le
chauffeur ne pouvant s'écarter de l'itinéraire indiqué que de l'accord
du client.
[^30]: Loi relative à la protection des données personnelles du
20 juin 2018 (Loi n°2018-493) renversant la solution de la loi du 6
janvier 1978. Cette loi, qui transpose la directive européenne 2016/680
sur la prévention et détection des infractions pénales, enquêtes et
poursuites, exécution des peines a été validée par le Conseil
constitutionnel pour autant que le responsable conserve la maîtrise du
traitement.
[^31]: E. Degrave dénonce « a very
late and poor quality legal framework" (« The Use of Algorithms to
Combat Social Fraud in Belgium », *op. cit.*)
[^32]: Selon les lignes directrices publiées par comité
européen pour la protection des données, dit « Groupe 29 ») sur
l'interprétation du RGPD, dont les interprétations ne font toutefois pas
autorité, l'intervention humaine devrait être le fait d'une personne en
capacité de modifier la décision ou de prendre une nouvelle décision.
[^33]: Loi du 5 septembre
2019 instituant un comité de sécurité de l'information autorisant le
*datamatching* et *datamining* en matière sociale (art. 12 et
13) et fiscale (art. 71), en dépit de l'avis critique du Conseil d'Etat
et de l'Autorité de protection des données. Voyez l'analyse de E.
Degrave, « Les citoyens contrôlés via leurs données covid ? », _op.
cit.
[^34]: « The Use of Algorithms to Combat Social Fraud in
Belgium », *op. cit.*, p. 174 : « there is, in our view, an
intermediate administrative decision that is adopted : the decision to
carry out an on-site check".
[^35]: S.
Desmoulin-Canselier et D. Le Métayer, *op. cit.*, p. 102-103 et les
références citées. Des considérations similaires justifient la défiance
des juges à l'égard des projets d'algorithmisation de certains
contentieux.
[^36]: En ce
sens également, S. Desmoulin-Canselier et D. Le Métayer, _op.
cit.
[^37]: Loi
311-3-1 du Code des relations entre le public et l'administration.
[^38]: S. Desmoulin-Canselier et D. Le Métayer,
*op. cit.*, p. 196.
[^39]: Décret du 14 mars 2017.
[^40]: Proposition modifiant la loi relative à la publicité de
l'administration du 11 avril 1994 afin d'introduire une plus grande
transparence dans l'usage des algorithmes par les administrations,
déposée par MM V. Matz et consorts (*Doc. Ch.*, 2020-21,
1904/001).
[^41]: Voyez E. Degrave, « The Use of Algorithms to
Combat Social Fraud in Belgium », *op. cit.*, p. 171-172.
[^42]: C.E., 21 mai 2001, n°95677,
*Antoun*.
[^43]: Discours prononcé à l'occasion de la conférence
des présidents des juridictions administratives à Rennes le 20 avril
2018 par M. Jean-Marc Sauvé, VIC-Président du Conseil d'Etat, spéc. p.
7 reprenant le Rapport de la CNIL, _Comment permettre à l'homme de
garder la main ? Les enjeux éthiques des algorithmes et de
l'intelligence artificielle
[^44]: C.E., 16 septembre
2004, n°134986, *Computer Sciences*.
[^45]: M.B.
12 sep. 1991, p. 19976.
[^46]: Nous nous reportons à la synthèse qu'en donne P. Goffaux,
*Dictionnaire de droit administratif*, 2ème éd., Bruylant,
2015, p. 389 et s.
[^47]: C.E., 20 sep. 2010,
n°207.455, *Marthoz*, cité par P. Goffaux, *op. cit.*, p.
\393.
[^48]: C.E., 28 oct. 2004, n°136.856,
*Pappens*.
[^49]: P. Goffaux, *op. cit.*, p. 390 se référant au
Conseil d'État et à la Cour de cassation.
[^50]: M.B. 10 sep.
2018, p. 69589.
[^51]: Sur cette loi, voyez E. Degrave, « Les citoyens
contrôlés via leurs données covid ? », *op. cit.*, p. 125 et s.,
spéc. p. 127, n. 28 sur l'article 61.
[^52]: S. Desmoulin-Canselier et D. Le Métayer, _op.
cit.
[^53]: Pour le lecteur intéressé, j'ai traité cette
question de manière circonstanciée dans B. Frydman, « Habermas et la
société CIVIL contemporaine », in B. Frydman (dir.), _La société
CIVIL et ses droits
[^54]: Wis. SC, *State v. Loomis*, July 13,
2016, n° 2015AP157--CR.
[^55]: US D.C. Southern D. of Texas, Huston Div., Houston Fed.
of teachers et al. v. Houston Independent, May 4, 2017, 251 F. Supp. 3d
1168 (2017), accessible à l'adresse :

<https://www.leagle.com/decision/infdco20170530802>.
[^56]: S. Desmoulin-Canselier et D. Le Métayer,
*op. cit.*, p. 221 et s.
[^57]: Décision n° 2018-765 DC, loi relative
à la protection des données personnelles, § 66, p. 16-17.
[^58]: Dans le même sens, J.-M. Sauvé, *loc. cit.*
[^59]: Voyez sur cette notion *supra*
§ 1er.
[^60]: Ce que les réalistes
américains ont parfois appelés les « *cover motives* ».
[^61]: S. Wachter,
B. Mittelstadt & Ch. Russell, "Counterfactual Explanations without
Opening the Blackbox: Automated Decisions and the GDPR", _Harvard
Journal of Law & Technology,
[^62]: *Supra*, §
1er.
[^63]: En France, une décision du du Défenseur des
droits du 18 janvier 2019 a ainsi condamné l'ajout dans la plateforme
*Parcoursup* de critères géographiques quant à l'origine des
étudiants (cité par S. Desmoulin-Canselier et D. Le Métayer, _op.
cit.
[^64]: E. Degrave, « The Use of Algorithms to Combat
Social Fraud in Belgium », *op. cit.*, p. 175.
[^65]: Une liste des catégories qui ne devraient être
utilisées qu'en cas de « nécessité absolue » pour la recherche et la
répression des infractions est également fournir à l'art. 10 de la
directive 2016/680 précitée, à laquelle se réfère également l'article 11
sur les décisions automatiques à l'aide d'algorithmes.
[^66]: S. Desmoulin-Canselier et D. Le Métayer, _op.
cit.
[^67]: Voyez sur ces différentes
composantes, l'étude détaillée de S. Barocas et A. Selbst, « Big Data's
Disparate Impact », *California Law Review*, vol. 104 (2016), p.
671 et s..
[^68]: S. Desmoulin-Canselier et D. Le Métayer,
*op. cit.*, p. 99.
[^69]: H. Bersini, *op. cit.*, p. 19.
[^70]: Ronald
Dworkin a bien montré la contradiction entre cette position utilitariste
et la conception déontologique des droits fondamentaux comme « atouts »
(*trumps*) permettant à l'individu de résister en principe aux
exigences politiques fixées par l'intérêt général (_Taking Rights
Seriously
[^71]: S. Desmoulin-Canselier et D. Le Métayer, _op.
cit.
[^72]: Il s'agit de
deux académiques du département de sciences informatiques de Darthmouth
College dans le New Hampshire.
[^73]: J. Dressel et H. Farid, « The accuracy,
fairness and limits of predicting algorithms », *Science Advances*,
vol. 4 (2018), accessible à l'adresse :
<https://www.science.org/doi/10.1126/sciadv.aao5580>. Beaucoup
d'autres études ont été publiées sur cet algorithme et d'autres du même
type.
[^74]: Voyez notamment l'arrêt du 21 avril 2021 :
*Ambrose v Post Office Ltd *\[2021\
[^75]: Amnesty International, _Xenophobic Machines.
Discrimination through unregulated use of algorithms in the Dutch
childcare benefit scandal,
[^76]: Prop. 2021/0106 du 21 avril 2021 accessible à l'adresse
suivante :
<https://eur-lex.europa.eu/resource.html?uri=cellar:e0649735-a372-11eb-9585-01aa75ed71a1.0020.02/DOC_1&format=PDF>.
[^77]: S. Desmoulin-Canselier et D. Le Métayer,
*op. cit.*, p. 247-8.
[^78]: G. Lewkowicz,
« Encadrer le développement de l'intelligence artificielle : le moment
éthique », *Betech-Blog* de l'Incubateur européen du Barreau de
Bruxelles, accessible à l'adresse :
<https://www.incubateurbxl.eu/fr/encadrer-le-developpement-de-lintelligence-artificielle-le-moment-ethique/>
. Les développements qui suivent se nourrissent des informations et
réflexions de cet article.
[^79]: _AI
Ethics Guidelines Global Inventory
[^80]: A. Jobin, M. Ienca, E. Vayena,
« Artificial Intelligence : the Global Landscape of Ethics Guidelines"
cité par S. Desmoulin-Canselier et D. Le Métayer, *op. cit.*, p.
105, note 27.
[^81]: Ce texte est accessible à l'adresse :
<https://op.europa.eu/en/publication-detail/-/publication/d3988569-0434-11ea-8c1f-01aa75ed71a1/language-fr/format-PDF>.
Pour une explication synthétique, voyez l'article précité de G.
Lewkowicz.
[^82]: <https://standards.ieee.org/content/dam/ieee-standards/standards/web/documents/other/ead_v2.pdf>.
[^83]: <https://standards.ieee.org/standard/7000-2021.html>.
[^84]: La liste des projets de standards de la
série P7000 et leur description est disponible sur le site de l'IEEE à
l'adresse : <https://ethicsstandards.org/p7000/>.
[^85]: Traduction libre : « (…) wellbeing metrics relating
to human factors directly affected by intelligent and autonomous systems
(…) ».
[^86]: Traduction libre :
« Standard for the Process of Identifying & Rating the Trustworthiness
of News Sources ».
[^87]: *Ethically Aligned Design*, op. cit., p. 2.
[^88]: Pour une analyse très approfondie de cette
question : A. Van Waeyenberghe, _Nouveaux instruments juridiques de
l'Union européenne. Évolution de la mét___________________
