Le contrôle juridique des algorithmes

Gouvernance algorithmique et intelligence artificielle.-¶

Les progrès informatiques en matière d'aide à la décision réveillent depuis quelque temps certaines angoisses profondes relatives à la domination de l'homme par la technique et les machines. La figure du «  juge-robot  », qui tranche automatiquement les litiges qui lui sont soumis, n'est encore qu'une fiction et pour certains un projet, mais elle a le mérite d'avoir mobilisé la vigilance de la communauté des juristes, qui avaient jusque-là vécu assez tranquillement l'informatisation progressive de leurs professions. Le fantasme de la créature artificielle qui échappe à son créateur humain se double ici de la crainte de la disparition des métiers du droit.

Le «  crédit social  » chinois, qui attribue une note aux personnes physiques et morales en fonction de leurs conduites dans l'espace public, au travail, dans leurs interactions sociales, leurs activités sur Internet et sur les réseaux sociaux, fait lui déjà partie de la réalité, même s'il ne se déploie pas encore dans toute l'étendue voulue par les autorités de Pékin. Le système, qui récompense ou punit les citoyens selon leur note, y compris au niveau de l'accès aux services publics essentiels comme la santé, concrétise une forme de totalitarisme high-tech, qui réveille en Occident les frayeurs suscitées par les dystopies qui n'ont cessé de fasciner le public depuis un siècle.

D'un autre côté, le projet d'une gouvernance algorithmique compte également de nombreux partisans, non seulement parmi les ingénieurs qui y travaillent, mais aussi des gouvernants, managers et autres gestionnaires du secteur public ou privé et aussi du grand public. Selon un sondage d'opinions, réalisé en 2019 par l'Université IE à Madrid, auprès d'un échantillon de 2.500 personnes dans 8 pays européens, 25% en moyenne de la population européenne se prononcerait en faveur d\'un gouvernement dirigé par une intelligence artificielle. Cette proportion monte à 30% au Royaume-Uni et en Allemagne et jusqu'à 43% aux Pays-Bas¹ 20 mars 2019 accessible à l'adresse : https://metro.co.uk/2019/03/20/one-four-europeans-trust-artificial-intelligence-politicians-8949238/.].

D'après ses promoteurs, le recours aux algorithmes présenterait plusieurs avantages considérables. D'abord, ils accroîtraient l'efficacité de l'administration et contribueraient ainsi à en réduire les coûts. Ensuite, ils permettraient d'améliorer la qualité des décisions prises dès lors que celles-ci reposeraient sur des données et informations fiables (evidence based) plutôt que sur des habitudes ou des intuitions hasardeuses². Enfin, la gouvernance algorithmique permettrait de conjurer les défauts inhérents au gouvernement politique, y compris démocratiques, à savoir l'exercice du pouvoir par des hommes peu compétents et intéressants, dont les conflits incessants ne permettent pas de décider en faveur de l'intérêt général et encore moins de mettre en œuvre les moyens appropriés pour réaliser celui-ci³, L'Académie en poche, 2ème éd., 2018 qui vante les mérites de la future gouvernance algorithmique : «  Projetons-nous donc dans cette société en devenir où toute échappatoire au bien commun deviendra impossible tant les systèmes algorithmiques mis en place ne rendront disponibles que les comportements vertueux  » (p. 26) et stigmatise la loi trop lente et les «  juristes dépassés  » (p. 130 et s.).].

Ce projet constitue la dernière version en date d'un projet aussi ancien que la philosophie de Platon d'un gouvernement de la science et de la raison, revivifié après la Révolution française par Saint-Simon, Auguste Comte et les ingénieurs positivistes. Depuis l'après-guerre, la cybernétique, ancêtre de l'informatique, a pris le relais.

A l'été 1956, John McCarty et Marvin Lee Minsky réunissent un groupe interdisciplinaire pour travailler à la conception d'«  intelligences artificielles  » (IA), c'est-à-dire de programmes, éventuellement associés à des robots, capables de réaliser des tâches, qui, lorsqu'elles sont réalisées par les humains, requièrent des aptitudes intellectuelles telles que l'apprentissage, la mémoire et le raisonnement⁴. Parmi ces activités intelligentes, on compte les décisions, qui supposent un choix entre plusieurs options de la solution la meilleure sur la base d'un certain nombre de données. Le processus de décision peut être algorithmisé, c'est-à-dire programmé en une succession ordonnée d'opérations itératives qui vont conduire d'un problème à sa solution et permettre le traitement rapide d'un grand nombre de cas. Cette IA dite «  symbolique  » va donner lieu à d'importantes recherches et déboucher sur des «  systèmes experts  » qui exécutent automatiquement des «  arbres de décision  ». Délaissés un temps en raison d'un manque de progrès, cette technique algorithmique va se relancer à la faveur de la révolution informatique qui accroît considérablement leur complexité et leur rendement. Cette forme d'IA connaît aujourd'hui un grande nombre d'applications extrêmement utiles, notamment dans l'administration des personnes et des choses, comme le fait d'attribuer des écoles ou des universités à des élèves en fonction de critères multiples tels leurs choix, leurs aptitudes, leur lieu de résidence, etc.

Les progrès dans le domaine de la reconnaissance d'images ont par ailleurs suscité l'émergence d'une autre forme d'intelligence artificielle qualifiée de «  connexionniste  ». Il s'agit d'une technique d'apprentissage par laquelle une IA va pouvoir par exemple distinguer des photos selon qu'elles représentent un chat ou un chien. Dans l'apprentissage dit supervisé, on nourrit la mémoire de l'IA d'un grand nombre (un million au moins) d'images «  étiquetées  » ou «  annotées  » c'est-à-dire qui associent à celles-ci le nom de l'animal représenté. L'ordinateur pourra ensuite classer lui-même de nouvelles images non étiquetées, avec un coefficient d'erreur plus ou moins réduit. La différence avec l'IA symbolique, qui sera importante pour notre propos, est que la règle suivant laquelle on distingue un chat d'un chien n'est pas donnée à l'ordinateur. Il la découvre pour ainsi dire lui-même au départ de la bibliothèque d'exemples qui lui est fournie. En simplifiant à l'extrême, on dira que l'ordinateur construit un «  profil  » de chien et de chat dans sa «  boîte noire  » dès lors que sa décision ne correspond pas à l'application de règles explicites préalablement déterminées. L'apprentissage peut encore être «  renforcé  » par un système de bons et de mauvais points en fonction des performances obtenues par l'IA. D'autres applications ne supervisent pas l'apprentissage de sorte que l'IA détermine elle-même un certain nombre de catégories ou de clusters qui regroupent des éléments ou classes d'éléments apparentés selon certains critères ou entre lesquels sont établies certaines corrélations.

Cette IA connexionniste connaît également de multiples applications dans des domaines très variés. Elle peut aider au diagnostic d'une maladie, par exemple par la détection de tumeurs sur des radiographies. Elle permet également de classer des documents, notamment des décisions administratives ou judiciaires en fonction de données contenues dans leurs textes ou dans certaines sections de ceux-ci. Elle favorise la création de profils qui permettent de prédire les comportements des personnes étudiées, de leur adresser des recommandations, de détecter des anomalies ou des illégalités supposées.

Le basculement algorithmique des administrations publiques.¶

Pendant que les chiens de garde de la démocratie aboient, la caravane des algorithmes avance à vive allure. Elle étend rapidement son domaine aux administrations publiques. En Belgique⁵, l'algorithme OASIS traque depuis 2005 le travail au noir tant du côté des employeurs que des travailleurs, désignant aux fonctionnaires de l'inspection sociale les profils des suspects qui nécessitent un contrôle. Un autre algorithme signale quant à lui les allocataires sociaux qui recourent à des adresses fictives par le moyen des données de consommation d'eau, de gaz et d'électricité que la loi impose aux compagnies de fournir à l'administration. L'administration fiscale recourt également à des algorithmes pour lui signaler des fraudeurs potentiels afin de sélectionner et de déclencher les procédures de contrôle et de redressement. L'inscription des élèves dans les écoles secondaires est gérée par un algorithme, tant en Flandre qu'en communauté française. Plusieurs polices locales ont recours à des logiciels de police prédictive, qui proposent des plans de déploiement des forces en fonction des lieux et périodes de commission des délits. La crise du covid a également donné lieu depuis 2019 a une multiplicité d'initiatives algorithmiques destinées au «  traçage  » des personnes positives et de leurs contacts, à l'organisation de la campagne de vaccination et à la gestion du «  covid safe ticket  » (pass sanitaire), mais aussi, semble-t-il, pour la sanction des Belges en provenance de l'étranger, pris en défaut de se faire tester⁶.

Dans d'autres pays, des algorithmes décident les bénéficiaires de greffes d'organes, comme le logiciel Scorecoeur en France qui détermine les récipiendaires en fonction de plusieurs paramètres dont le lieu de prélèvement, l'état de santé et l'âge du bénéficiaire. Une priorité est donnée aux personnes plus jeunes, ce qui n'est pas le cas des logiciels équivalents utilisés aux États-Unis. On comprend ainsi que l'algorithme incorpore des choix politiques qui, en l'espèce et en raison de la pénurie d'organes, tranchent littéralement des questions de vie ou de mort. D'autres gèrent la mobilité et la promotion ou la sanction des professeurs des écoles publiques⁷, Dalloz, 2020, p. 43 cite un exemple en France de même que dans plusieurs villes des Etats-Unis (Chicago, Huston, New-York, Washington).] ou encore les politiques d'activation des chômeurs⁸. Des algorithmes sont mis en œuvre pour le dépistage d'enfants à risque de délinquance ou de maltraitance⁹. Certains logiciels d'intelligence artificielle fonctionnent désormais sur le terrain judiciaire. Ainsi, l'algorithme Compas produit une évaluation du risque de récidive dont l'utilisation est recommandée ou imposée dans différents États américains soit pour la détermination par le juge de la peine d'un condamné, soit pour instruire les requêtes en libération conditionnelle¹⁰.

Ces exemples ne sont en réalité que les premiers éléments visibles d'une lame de fond appelée à recouvrir la plus grande partie des domaines administratifs dans un futur proche. Le recours à des algorithmes constitue l'étape en cours du long processus d'informatisation de l'administration et d'ailleurs de la société entière. Après le remplacement des machines à écrire par des terminaux d'ordinateurs, bientôt reliés en réseaux, le développement de l'Internet a poussé les administrations publiques à créer des sites, qui sont ensuite devenus des plateformes d'interactions avec les usagers. Ces interactions s'automatisent aujourd'hui par le moyen de formulaires ou même de chatbots. Bien plus, la recherche active dans les bases de données administratives ou extérieures (datamining) et le croisement de ces bases (datamatching) supportent les initiatives proactives de l'administration telles le repérage de fraudes et d'irrégularités ou bien le contrôle et l'incitation des activités et des personnes dans les différents secteurs de leur vie, au travail ou à leur domicile et dans la vie familiale, dans les transports, en ce qui concerne la santé, la sécurité publique, la consommation d'énergie, l'éducation, etc.

Le développement de ces nouvelles techniques d'administration s'appuie sur une infrastructure technologique désormais bien en place¹¹, nourrie par des masses de données en croissance exponentielle - le «  big data  » -, rendues opérationnelles grâce à une puissance de calcul formidable et de moins en moins coûteuse, qui favorise l'avènement de «  l'État plateforme  » au niveau central aussi bien que des «  villes intelligentes  » (smart cities) au niveau local. La mise en œuvre de ces nouvelles technologiques s'accompagne mécaniquement d'un accroissement très significatif de la surveillance des personnes, ainsi que d'une ingérence de plus en plus poussée de la puissance publique dans la vie des personnes et les activités de la société civile.

Réglementation en vigueur et signaux inquiétants. --¶

Les transformations en cours interpellent nécessairement les juristes attachés au respect des principes et des règles de l'action publique et à la préservation des droits et des libertés des citoyens. Pour autant ces questions n'ont pas jusqu'à présent préoccupés exagérément ceux qui ont conçu et développé ces applications ni ceux qui les leur ont commandées. Les informaticiens ignorent largement, comme il est normal, les règles du droit qu'ils ont parfois tendance à considérer comme des obstacles techniques parmi d'autres à surmonter ou à contourner. Leur culture les pousse en outre à faire «  tourner  » leurs applications assez tôt quitte à corriger ensuite les erreurs et à améliorer progressivement les performances de leurs outils. Quant aux administrations et aux décideurs politiques, ils ont surtout été séduits, dans un mouvement d'ailleurs global, par les perspectives de modernisation, de gains d'efficacité et de contrôle promises par les nouvelles technologies. D'autant que les réformes ne sont pas perçues comme juridiques ni d'ailleurs politiques, mais plutôt d'ordre technique et managérial, opérées dans un cadre et par un personnel distinct de l'appareil réglementaire classique¹², Dalloz, 2011, p. 101-110, spéc. p. 101).].

La gestion administrative à l'aide d'algorithmes n'a pas donné lieu jusqu'à présent à une réglementation spécifique dans notre pays. S'y applique cependant l'article 22 du Règlement général européen sur la protection des données -- le fameux RGPD¹³ -- qui conditionne la validité d'une «  décision fondée exclusivement sur un traitement automatisé, y compris le profilage, produisant des effets juridiques concernant [la personne] ou l\'affectant de manière significative de façon similaire  »¹⁴ notamment à une autorisation du droit de l'État «  qui prévoit également des mesures appropriées pour la sauvegarde des droits et libertés et des intérêts légitimes de la personne concernée  »¹⁵.

La loi du 3 décembre 2017 a institué, en exécution du RGPD, une autorité indépendante chargée de la protection des données, qui dispose d'importants pouvoirs de contrôle à l'égard des responsables de traitement des données personnelles tant publics que privés. Depuis sa création, les plus hautes autorités de l'État ont toutefois montré de manière répétée leur difficulté à accepter l'indépendance et le contrôle d'une telle agence sur les activités publiques. Ainsi, elles ont nommé au sein de l'Autorité de protection des données, en violation flagrante des règles de conflit d'intérêts prévues par le règlement européen, l'administrateur général de la Banque-carrefour de la sécurité et de la Plateforme eHealth qui gère les données de santé des citoyens, par ailleurs administrateur de la SMALS, véritable bras armé de l'État et de la Sécurité sociale en matière d'informatisation depuis l'après-guerre¹⁶. La Belgique a été mise en demeure par la Commission européenne de régler ce problème pour le 12 janvier 2022 à peine de devenir le premier État membre de l'Union à se voir assigné devant la Cour de justice pour manquement grave au RGPD. Le gouvernement a en outre sciemment omis de soumettre son projet de loi sur l'extension du covid safe ticket à l'Autorité de protection des données alors que le Conseil d'État lui en avait formellement rappelé l'obligation, ce qui a donné lieu à une nouvelle plainte devant la Commission européenne. En décembre 2021, la directrice du département juridique de l'Autorité a démissionné en dénonçant la situation de blocage et les pressions politiques. La Chambre a depuis engagé à huis-clos une procédure de révocation «  pour faute grave  » du président de l'Autorité et d'une autre directrice «  lanceuse d'alerte  », au motif qu'«  elle ne correspond plus à la fonction  ». Au moment d'écrire ces lignes, le gouvernement annonce son intention de refonder complètement par un nouvelle loi l'Autorité de protection des données…

Cette situation de grande confusion n'a pas contribué, pour dire le moins, à créer un climat de confiance quant à la protection des données des citoyens. D'autant que, sur le fond, plusieurs affaires ont été révélées par la presse au cours de ces derniers mois de nature à inquiéter fortement les citoyens et les observateurs. La ministre de l'Intérieur a ainsi reconnu à la Chambre que, contrairement à ses démentis, la Police fédérale avait bien eu recours au logiciel Clearview, illégal en Europe, qui permet la reconnaissance faciale de milliards d'individus sur bases de leurs photos postées notamment sur des réseaux sociaux tels Facebook. La Police fédérale belge figurait en effet comme «  client  » de cette société sur un document indiquant entre 100 et 500 requêtes pour son compte. La ministre a reconnu l'illégalité de cette pratique en l'état actuel du droit et a indiqué travailler à l'établissement d'une base légale pour permettre dans l'avenir l'exploitation de ces ressources¹⁷. De même, le secrétaire d'État à la digitalisation et à la protection de la vie privée a reconnu en mars 2021 le développement, sans base légale, à l'initiative d'un groupe de fonctionnaires¹⁸ d'un projet très avancé de centralisation de l'ensemble des données de chaque citoyen auxquelles les administrations ont accès. M. Michel en a reconnu l'illégalité, déclaré y mettre fin immédiatement et travaillé à un autre projet similaire, mais poursuivi dans l'intérêt des citoyens et qui donnera à ceux-ci l'accès à leurs données¹⁹.

Enfin la gestion de la crise du covid 19 a donné lieu au développement de nouvelles applications numériques qui ont soulevé des questions. Ainsi, la mise en place dans de nombreux États dont la Belgique et au niveau de l'Union européenne d'un nouvel objet juridique non identifié (OJNI)²⁰, Bruylant, 2011, p. 17-48, spéc. p. 20 et s.], le passeport sanitaire digital conditionnant l'accès à certains lieux publics ou privés. En outre, plusieurs failles de sécurité sérieuses et parfois grossières obérant la confidentialité des données individuelles de santé ont été dénoncées, de même que la possibilité d'accès et de consultation de ces données par des groupes beaucoup trop larges parmi lesquels, entre beaucoup d'autres, des compagnies d'assurances²¹.

Nécessité du contrôle juridictionnel. -- Utilité du droit commun. --¶

Ces signaux inquiétants appellent à s'interroger sur les garanties et les recours à la disposition des justiciables préjudiciés dans leurs droits ou leurs intérêts légitimes par les dispositifs algorithmiques. La Belgique n'a pas prévu de mesures spécifiques à cet effet sinon les compétences attribuées à l'Autorité de protection des données en vertu du RGPD²². Encore a-t-elle exempté les autorités publiques, qui ne fournissent pas des biens et services sur le marché, des amendes administratives considérables (jusqu'à 10 ou 20 millions d'euros) prévues par le RGPD en cas de violation de ses dispositions. Cette exemption, critiquée par la section de législation du Conseil d'État et par la défunte Commission de protection de la vie privée en tant qu'elle prive les citoyens d'une garantie importante du respect de leurs droits, a été validée par la Cour constitutionnelle dans son arrêt du 14 janvier 2021, qui rejette le recours en annulation introduit par la Fédération des entreprises de Belgique (FEB)²³. Notons également qu'une directive européenne de 2016 règle le traitement des données personnelles par les autorités compétentes dans le cadre d'enquêtes et de poursuite d'infractions pénales²⁴.

Le juriste pragmatique ne se laisse pas découragé par cette absence de mesures pro forma dès lors qu'il trouve dans le droit commun, comme Xavier Dieux l'a maintes fois mis en évidence dans ses publications²⁵, les ressources nécessaires à la solution des difficultés et à la protection des droits. Les principes fondamentaux qui structurent notre droit soumettent les pouvoirs publics à des règles différentes des entreprises et des acteurs privés, bien qu'en matière de gouvernance algorithmique l'Union européenne ait choisi de ne pas les distinguer²⁶. Ces règles particulières du droit public, qui comportent d'importants privilèges, n'ont certainement pas pour objet d'exempter l'État et les administrations du respect du droit, comme c'est le cas dans l'État de police. Au contraire, dans l'État de droit, les autorités publiques sont assujetties à des contraintes particulières en raison des obligations spécifiques du service public mais aussi de l'imperium dont elles disposent. Les usagers n'ont pas le choix de ne pas traiter avec l'administration qui a les moyens d'obtenir un grand nombre d'informations sur leur situation et dispose du pouvoir unilatéral de prendre des règles et des décisions obligatoires qui affectent directement leurs droits et leurs intérêts.

En vertu du droit commun, les décisions administratives prises au moyen d'algorithmes sont soumises, comme toutes les autres, au contrôle de leur légalité notamment dans le cadre du contentieux de l'annulation devant le Conseil d'État et sont susceptibles d'engager la responsabilité de l'administration devant les juridictions judiciaires. Ce contrôle ne se limite nullement au respect des règles spéciales en matière de traitement des données personnelles et de protection de la vie privée. Il faut également vérifier que ces décisions reposent sur une base légale, qu'elles n'ajoutent pas et ne modifient pas les conditions fixées par la loi, qu'elles respectent l'égalité et ne soient pas discriminatoires, que les mesures prises lorsqu'elles portent atteinte aux droits apparaissent nécessaires et proportionnées, qu'elles soient publiques et transparentes et que les décisions apparaissent raisonnables et correctement motivées, etc.

Méthode, enjeux et sources. --¶

Or, dans l'état actuel des choses, nombre de décisions prises à l'aide d'algorithmes apparaissent critiquables ou du moins vulnérables par rapport à ces exigences, comme je vais tenter de le montrer dans les lignes qui suivent. Le droit commun me semble offrir des moyens solides d'attaquer les décisions contraires aux droits ou aux intérêts légitimes de leurs destinataires et même plus largement, dans certains cas, la validité du dispositif algorithmique lui-même. L'objet ici n'est pas d'exposer ni même de tenter d'anticiper une jurisprudence qui est encore dans les limbes, mais plutôt d'esquisser à l'attention des plaideurs, quelques-uns des moyens et des arguments qui me paraissent intéressants à développer en vue du contentieux juridictionnel qui ne va manquer de se développer rapidement. Il ne s'agit donc pas à proprement parler d'une étude de droit positif mais plutôt d'un exercice d'argumentation consistant à tracer sommairement les premiers éléments d'une topique, c'est-à-dire d'une grille d'arguments à la manière de l'ancienne rhétorique²⁷.

Outre le droit commun administratif, cet exercice peut s'appuyer sur quelques décisions jurisprudentielles prometteuses, émanant notamment d'autres États membres de l'Union européenne proches de notre pays comme la France et les Pays-Bas. De plus, la doctrine continentale récente a désormais dépassé le stade de la discussion de principe sur la gouvernance algorithmique pour examiner de manière juridiquement plus précise les modalités du contrôle de l'administration²⁸, 2015, p. 517-519 ; « L'action publique et ses juges face aux défis de la numérisation (…)  », op. cit., 2019, avec L. Gérard et J. Mont ; «  The Use of Algorithms to Combat Social Fraud in Belgium  », European Review of Digital Administration & Law, 2020, p. 167-177  ; «  Les citoyens contrôlés via leurs données covid  ? (…), op. cit., 2021. Nous avons également eu recours à l'ouvrage Décider avec les algorithmes…, op. cit., 2020, produit d'une collaboration entre une juriste et un ingénieur, qui comprend beaucoup d'exemples concrets et d'informations intéressantes. Signalons enfin le récent W. Barfield ed., The Cambridge Handbook of the Law of Algorithms, Cambridge U.P., qui contient notamment l'intéressant article pour notre sujet de D. Restrepo Amariles, «  Algorithmic Decision Systems : Automation and Machine Learning in the Public Administration  », p. 273-300.].

Le développement d'un tel contentieux m'apparaît comme la ligne de front actuelle de la lutte pour l'Etat de droit et le respect des libertés face à un nouveau mode de gouvernance puissant, mais dangereux car à la fois très invasif et difficile à contrôler. Ce contentieux ne concerne pas que les spécialistes de la protection des données ou les défenseurs des droits de l'homme. Vu l'empire que les dispositifs algorithmiques est en train de prendre dans l'ensemble des champs de l'action publique (et d'ailleurs aussi du secteur privé), ceux-ci concernent également à part entière les entreprises et les acteurs économiques en général et la vie des affaires de sorte qu'il serait imprudent pour les praticiens du droit privé et du droit économique en général de ne pas s'en préoccuper.

Prédictions, décisions, recommandations. --¶

Il faut commencer par examiner la part variable prise par l'algorithme dans le processus de gouvernance administrative car celle-ci influe de manière significative sur les recours et moyens qui pourront être invoqués en cas de contestation.

Une même intelligence artificielle peut remplir des fonctions différentes de prédiction, de recommandation ou de décision. Prenons par exemple un logiciel de navigation de type Waze. Il peut servir à des planificateurs urbains ou des compagnies de transport pour prédire des temps de parcours ou bien aux automobilistes afin de leur recommander le meilleur itinéraire ou encore déterminer la voie à suivre par un véhicule autonome²⁹. Dans les trois cas, l'opération intellectuelle, c'est-à-dire le programme de calcul est le même bien que les applications varient.

Du point de vue juridique, le régime sera néanmoins très différent. L'outil de prédiction s'ajoute à l'appareil statistique croissant et de plus en perfectionné conçu et mis en œuvre au sein de l'État afin de lui fournir les connaissances utiles à l'action gouvernementale. Ces instruments ne sont pas même soumis aux règles relatives à la protection de la vie privée et des données personnelles dès lors qu'ils agrègent les données individuelles pour en tirer des enseignements généraux.

Il en va tout autrement des décisions prises automatiquement par un algorithme. Tel est le cas dans certains pays où l'enregistrement par un radar d'un excès de vitesse entraîne l'envoi automatique au propriétaire du véhicule identifié d'une invitation à s'acquitter d'une amende. De telles décisions ouvrent à leurs destinataires les recours administratifs et judiciaires prévus par le droit commun.

L'article 22 § 2 du RGPD conditionne la validité des dispositifs de décision automatique à une habilitation par le droit de l'État membre, sauf s'il s'agit de l'exécution d'un contrat ou que le destinataire a donné son accord. Cette clause n'offre cependant qu'une protection limitée. Une loi française de 2018 a ainsi autorisé de manière générale l'usage de ces dispositifs par l'administration, renversant ainsi l'interdiction décrétée jusqu'alors par une loi précoce de 1978³⁰. En Belgique, une loi de 2016 a de même autorisé rétrospectivement le dispositif Oasis en matière de lutte contre la fraude sociale, dont l'origine remonte à 2005, de même qu'en matière de détection de la fraude fiscale³¹. En outre, il n'est pas requis que l'habilitation émane du pouvoir législatif.

Le même article 22 § 3 prévoit encore le «  droit de la personne concernée d'obtenir une intervention humaine de la part du responsable de traitement, d'exprimer son point de vue et de contester la décision  »³², mais ce droit ne s'applique pas lorsque le dispositif est autorisé par le droit de l'État membre, ce qui nous ramène au droit commun.

Dans la plupart des cas pourtant, le dispositif ne prévoit pas de décision automatique. L'algorithme opère des recommandations. Tel est le cas des dispositifs belges de détection de la fraude sociale et fiscale qui signalent aux agents une probabilité de fraude, déclenchant un contrôle à l'issue duquel l'inspection sociale ou fiscale prendra ou non une décision de redressement ou de sanction³³, p. 126).]. Dans un rapport très complet et particulièrement intéressant réalisé par Élise Degrave et son équipe, celle-ci avance que de tels signalements algorithmiques pourraient être considérés comme des «  décisions intermédiaires  », ouvrant ainsi la voie à des recours³⁴. L'idée est ingénieuse, mais il n'est pas certain qu'elle convainque les juges.

Dans d'autres situations, l'algorithme proposera directement une décision à l'agent administratif. Le processus managérial incitera l'agent à entériner celle-ci eu égards au grand nombre des dossiers qu'il aura à traiter, au temps à investir pour proposer une solution alternative, au risque d'engager sa responsabilité dans ce cas et à un certain «  biais d'automatisation  » qui tend à accorder une confiance excessive aux solutions proposées par une machine³⁵. Ces circonstances rendent en pratique assez floue et poreuse la distinction entre recommandation et décision³⁶, p. 52.]. La recommandation algorithmique n'étant pas en elle-même susceptible de recours, il faudra attaquer la décision administrative, quitte à trouver le moyen de mettre en cause le calcul algorithmique qui la sous-tend.

Explication et motivation. --¶

Lorsque la décision administrative est fondée sur la recommandation d'un algorithme, la question de la motivation ou de l'explication de la décision et de la transparence du dispositif se trouve très souvent soulevée. Cette question suscite un débat d'autant plus aigu que les autorités publiques rechignent très souvent à communiquer le fonctionnement de l'algorithme et le «  raisonnement  » qu'ils mettent en œuvre.

En France, la loi pour une République numérique du 7 octobre 2016 prévoit qu'«  une décision individuelle prise sur le fondement d\'un traitement algorithmique comporte une mention explicite en informant l\'intéressé. Les règles définissant ce traitement ainsi que les principales caractéristiques de sa mise en œuvre sont communiquées par l\'administration à l\'intéressé s\'il en fait la demande  »³⁷. Le décret d'application du 14 mars 2017 précise que l'administration doit indiquer la finalité du traitement algorithmique et le droit de l'administré d'obtenir à sa demande la communication des règles définissant ce traitement ainsi que des principales caractéristiques de sa mise en œuvre³⁸. L'administration doit ainsi communiquer de manière intelligible au destinataire de la décision, sauf secret protégé par la loi, les informations suivantes : «  1° le degré et le mode de contribution du traitement algorithmique à la prise de décision  ; 2° les données traitées et leurs sources  ; 3° les paramètres de traitement et, le cas échéant, leur pondération, appliqués à la situation de l'intéressé  ; 4° les opérations effectuées par le traitement  »³⁹.

Il n'existe aucune législation de ce type en Belgique. Une proposition de loi, très proche de la loi française jusque dans le choix des termes, a été introduite par l'opposition à la Chambre en avril 2021⁴⁰. L'administration a depuis longtemps fait preuve de réticences très fortes à communiquer en particulier sur le dispositif Oasis en dépit d'efforts consentis depuis plusieurs années par certains académiques pour obtenir légitimement des informations⁴¹. Bien entendu, en l'absence de dispositions spécifiques, le droit commun s'applique, en particulier les règles relatives à la transparence administrative et à la motivation des décisions de l'administration.

Les premiers combats ont souvent porté sur la communication par l'administration des codes sources des programmes qu'elle utilise. Dès 2001, le Conseil d'État a tranché un contentieux relatif au vote électronique et au dépouillement automatisé en annulant le refus par le ministre de l'Intérieur de la communication du code source et des algorithmes, qui avait été requise par un citoyen soucieux de s'assurer de l'intégrité du scrutin⁴². De même en France, dans l'affaire de l'algorithme APD (admission post-bac) qui règle l'inscription des étudiants dans les différentes filières de l'enseignement supérieur, la Commission nationale de l'informatique et des libertés (CNIL) a mis l'Etat en demeure de donner suite à la demande formulée par l'Association Droits des lycéens de recevoir communication du code source de l'algorithme de la plateforme. L'association a ensuite fait appel à des ingénieurs pour l'aider à déchiffrer le code. Elle a réussi à montrer que certains critères utilisés ne correspondaient pas à ceux fixés par la réglementation, ce qui a conduit en 2018 au remplacement de APB par une nouvelle version nommée «  Parcoursup  ».

Le code source apparaît comme un document abscons pour le non-initié qui est en droit d'obtenir une explication intelligible comme le soulignent en France la CNIL et le vice-Président du Conseil d'État Jean-Marc Sauvé dans un discours important sur «  Le juge et l'intelligence artificielle  »⁴³, décembre 2017, p. 51. Le discours de M. Sauvé est accessible à l'adresse suivante : https://www.conseil-etat.fr/actualites/discours-et-interventions/le-juge-administratif-et-l-intelligence-artificielle. Il n'est peut-être pas inutile de rappeler que le vice-Président du Conseil d'État en est le Président effectif, le titre de «  Président  » étant réservé au Premier Ministre ou au ministre de la Justice au cas où il déciderait de participer à l'assemblée générale protocolaire de la haute juridiction.]. Notons que notre Conseil d'État avait, dès 2004, suspendu pour illégalité manifeste une décision administrative d'évincement d'un soumissionnaire à un marché public fondée sur l'algorithme mystérieux Decision Lab⁴⁴. Dans un considérant surabondant et savoureux, «  le Conseil d\'État ne peut que s\'interroger sur la légalité d\'une motivation formelle qui se réfère à un document à caractère nettement ésotérique, rédigé en un jargon anglicisant, mettant en avant des notions étrangères à tout honnête homme, telles que des \"types de courbe : III (VSHAPE) ou V (linéar)\" ou que des seuils d\'indifférence \"q\" et des seuils de préférence strict \"p\", pour se réfugier plus sûrement derrière l\'utilisation du logiciel DECISION LAB ou l\'application de la pondération PROMETHEE  ».

De manière plus générale, les justiciables trouvent dans la jurisprudence du Conseil d'État qui interprète la loi du 29 juillet 1991 relative à la motivation formelle des actes administratifs⁴⁵ les moyens d'exiger des explications circonstanciées des décisions prises à l'aide d'algorithmes ou non⁴⁶. Rappelons ainsi que la motivation doit permettre au destinataire de comprendre les raisons de fait et de droit qui ont conduit à adopter la décision et à lui permettre d'en apprécier la légalité et la pertinence et donc aussi l'opportunité de la contester en justice. L'administration doit «  démontrer que les éléments invoqués sont exacts, pertinents ou admissibles  »⁴⁷. La motivation doit être adaptée au cas d'espèce et ne peut donc être stéréotypée⁴⁸. Bien plus, il faut selon le Conseil d'Etat que le raisonnement conduisant à la décision soit formalisé dans l'acte⁴⁹. Cette jurisprudence semble placer la barre particulièrement haut pour l'administration lorsqu'elle est amenée à justifier auprès du destinataire une décision recommandée par un algorithme.

Pour autant, comme nous l'avons dit, les autorités publiques rechignent et ont développé plusieurs contre-arguments pour opposer un refus aux demandes d'explication et de justification.

Un premier argument qui vient comme une sorte de réflexe est celui du secret. La loi française le réserve d'ailleurs explicitement en renvoyant cependant à une liste précise des cas ainsi couverts. L'administration belge semble le cultiver particulièrement. Dans l'affaire déjà évoquée du logiciel de vote et de dépouillement automatique, le ministre invoqua sans succès le secret du vote et aussi celui des affaires. L'article 61 de la loi du 5 septembre 2018 instituant le Comité de sécurité de l'information⁵⁰ déroge au RGPD en permettant de retarder, limiter ou exclure le droit à l'information de personnes qui font l'objet de traitement de données personnelles dans des enquêtes pour fraude sociale. Ce secret ne s'étend pas à la décision bien entendu⁵¹. De même, la police de Durham en Grande-Bretagne a refusé de communiquer l'algorithme Hart et son code source, qui sélectionne les condamnés susceptibles de bénéficier d'un programme de réinsertion car cela aurait pu nuire au fonctionnement du système⁵², p. 78. Dans un second temps, la police a finalement accepté le principe d'une communication mais seulement à une autorité de régulation compétente une fois que celle-ci serait établie.]. C'est sans doute ici le moment de rappeler que, depuis les Lumières et le droit nouveau issu des révolutions libérales, la publicité est l'axiome fondamental de la légalité. Les actes secrets de l'autorité publique sont en principe illégaux sur leur face. Les exceptions sont bien entendu de stricte interprétation et l'invocation du secret appelle le contrôle judiciaire le plus scrupuleux⁵³, Bruylant, 2004, p. 123-144.].

Un deuxième argument fréquent consiste à invoquer les droits de propriété intellectuelle ou le secret des affaires du propriétaire de l'algorithme pour s'opposer à sa divulgation. Cet argument a notamment été invoqué avec succès dans l'une des plus célèbres affaires du contentieux algorithmique jusqu'à présent, l'affaire State of Wisconsin v. Loomis⁵⁴ qui concerne l'algorithme Compas développé par la société Northpointe. Cet algorithme évalue le risque de récidive de condamnés sur la base de plus de 137 critères. Il est consulté, parfois de manière obligatoire, soit en vue de prendre une décision de libération conditionnelle, soit pour déterminer la peine du condamné. Loomis, qui s'était vu imposé une peine particulièrement sévère par un juge qui avait suivi la recommandation de Compas jugeant son risque de récidive particulièrement élevé, demanda au nom des règles du procès équitable (due process) à ce que les règles de fonctionnement de l'algorithme lui soient communiquées pour qu'il puisse contester la légalité de sa condamnation. La Cour suprême du Wisconsin rejeta sa demande au motif notamment que l'algorithme constituait seulement une recommandation pour le juge qui avait motivé sa décision à suffisance dans le jugement et au regard des droits de la société Northpointe qui refuse de divulguer publiquement pour des raisons commerciales les secrets de son algorithme.

Notons que cette décision n'est pas nécessairement représentative de l'état de la jurisprudence aux Etats-Unis. Dans une autre affaire, qui mettait en cause un système administratif d'évaluation des enseignants par un algorithme développé par une entreprise privée, le juge fédéral de Houston au Texas a décidé que le secret des affaires ne pouvait être opposé aux droits fondamentaux des enseignants dont l'évaluation avait conduit dans certains cas au non-renouvellement de leur contrat⁵⁵.

En tout état de cause, dans notre droit, il est clair que l'administration ne saurait invoquer ses obligations contractuelles pour prétendre se soustraire en tout ou en partie à son obligation légale de motiver ses décisions. Il faudra également veiller dans ces contrats que l'administration n'accorde pas au fournisseur ou au gestionnaire privé de l'algorithme un droit d'accès et d'exploitation des données, qu'il réclame souvent et qui serait contraire aux dispositions du RGPD.

Un troisième argument, soulevé principalement par la doctrine notamment anglophone consiste à exempter la décision prise à l'aide d'un algorithme de l'obligation de motiver celle-ci dès lors que, en raison de la «  boîte noire  » de l'algorithme, une telle motivation serait de fait impossible⁵⁶. A l'ère de l'intelligence artificielle, les motifs des décisions ou recommandations des algorithmes nous demeurant en tout ou en partie inconnues, il nous faudrait donc collectivement renoncer à une telle exigence. C'est selon nous à l'évidence la conclusion inverse qui s'impose : faute de connaître les motifs de la décision ou recommandation d'un algorithme et donc de pouvoir en rendre compte et en contrôler la légalité, le recours à ce type d'outil devra être exclu ou sera jugé non conforme aux exigences légales de motivation. En d'autres termes, on ne peut fonder une décision administrative sur un algorithme dont on ne peut ouvrir et disséquer la «  boîte noire  ».

Le Conseil constitutionnel français l'a clairement affirmed dans sa décision du 12 juin 2018⁵⁷ déclarant en termes de principes inconstitutionnel le recours à des «  algorithmes 'auto-apprenant' susceptibles de réviser eux-mêmes les règles qu'ils appliquent  ». L'autorisation par le législateur de tels algorithmes porterait atteinte «  aux principes de valeur constitutionnelle régissant le pouvoir réglementaire dans la mesure où, d'une part, il ne serait pas garanti que les règles appliquées par les algorithmes seront conformes au droit et, d'autre part, l'administration aurait abandonné son pouvoir réglementaire aux algorithmes définissant leurs propres règles  »⁵⁸.

Cette décision, que l'on ne peut qu'approuver, a un impact considérable dès lors qu'elle revient purement et simplement à interdire l'usage par l'administration aux fins de décision des algorithmes qui utilisent les «  réseaux neuronaux  » et les techniques de «  deep learning  » ou dont on ne peut connaître exactement et rendre compte des règles ou des profils au moyen desquels ils prononcent leurs oracles. Je pense que cela revient à interdire, dans l'état actuel de la technique, tous les algorithmes connexionnistes⁵⁹.

Les partisans de l'administration algorithmique ont cependant trouvé dans la théorie du droit un contre-argument ingénieux qu'il convient de rencontrer. De même qu'il est établi que le cheminement du juge qui le conduit à la solution du cas diffère des motifs par lesquels il en rend compte légalement dans son jugement⁶⁰, de même il faut distinguer la faculté de justifier le choix opéré par l'algorithme du fonctionnement même de l'algorithme, des catégories qu'il crée et des calculs qu'ils opèrent pour arriver à celui-ci. Certains proposent dès lors la production de justifications «  contre-factuelles  », à savoir d'un arbre de décision comme approximation pour rendre la décision intelligible⁶¹ vol. 31 (2018), p. 841 et s. -- S. Desmoulin-Canselier et D. Le Métayer, op. cit., p. 222 et 227-8. -].

On commencera par démonter l'anthropomorphisme de l'argument qui nous ramène au mythe du «  juge robot  »⁶², à une intelligence artificielle qui aurait été créée à l'image de l'homme. Plus fondamentalement l'argument ne tient pas car, comme l'exprime très bien le Conseil constitutionnel français, l'obligation de motiver n'est pas seule en cause, mais bien les modalités d'exercice des pouvoirs publics. Chaque autorité publique doit exercer effectivement et conserver la maîtrise des pouvoirs de décision et d'exécution qui lui sont attribués, en telle sorte que la conformité au droit de ses actes puisse être contrôlée et sanctionnée le cas échéant.

Si on a commencé, contrairement à l'usage, cet examen juridique des décisions algorithmiques par le contrôle de leur motivation, on en comprend à présent les raisons. Non seulement, cette question est centrale pour l'intelligence artificielle, mais en outre elle est la condition de possibilité et le préalable nécessaire à tout contrôle sérieux de la légalité interne de la décision algorithmique.

Légalité de l'algorithme. --¶

De manière remarquable, le contrôle d'une décision ou prise par ou sur le fondement d'un algorithme impliquera souvent ou nécessitera même le contrôle de la légalité de l'algorithme lui-même. Certes celui-ci ne peut faire directement l'objet d'un recours ou d'une annulation, mais un défaut rédhibitoire de l'algorithme pourra constituer le moyen de faire annuler la décision qui en procède.

En cas de compétence liée, il faudra contrôler minutieusement que l'algorithme n'ajoute ni ne retranche rien aux conditions fixées par la loi ou le règlement⁶³, p. 135).]. Lorsque l'administration jouit d'un pouvoir d'appréciation discrétionnaire, le juge vérifiera que la décision respecte les objectifs fixés par la loi, qu'elle ne procède pas d'une erreur manifeste d'appréciation, qu'elle est proportionnée et raisonnable et, dès lors que le dispositif implique un traitement de données personnelles voire une ingérence dans la vie privée, que celle-ci apparaît nécessaire pour atteindre l'objectif fixé.

Un tribunal de La Haye du 5 février 2020, saisi à l'initiative du Comité néerlandais des juristes pour les droits de l'homme a ainsi déclaré que la législation mettant en place l'algorithme Syri de lutte contre la fraude sociale et fiscale viole l'article 8 de la Convention européenne de sauvegarde des droits de l'homme et des libertés fondamentales. Le tribunal estime que si le dispositif poursuit un objectif légitime d'intérêt général, les moyens qu'il met en œuvre n'apportent pas suffisamment de protection aux libertés individuelles notamment au niveau de la précision des finalités du traitement des données et de la minimisation des données à traiter. Le tribunal stigmatise surtout le manque de transparence de l'algorithme. Celui-ci fonctionne par l'attribution de «  scores  » par «  facteurs de risque  » (de fraude) selon un «  arbre de décision », mais dont le tribunal constate qu'il est totalement inaccessible et donc incompréhensible et invérifiable par le justiciable comme par le juge. L'Etat a fait appel de cette décision. Élise Degrave estime qu'un recours pourrait être introduit sur les mêmes bases en Belgique contre l'algorithme Oasis⁶⁴.

Sur le fond, la discussion a porté jusqu'à présent principalement, tant du côté des juristes que des ingénieurs, sur la question des discriminations⁶⁵. Ainsi, la question de savoir si l'algorithme Compas est discriminatoire à l'égard des Noirs, confirmant en quelque sorte les biais racistes du système américain ou de ses acteurs, a fait couler beaucoup d'encre⁶⁶, p. 88-89 rend compte de ce débat. Ainsi certaines études montrent que Compas produit 45% de faux positifs pour les Noirs contre 23% pour d'autres catégories et seulement 28% de faux négatifs pour les Noirs contre 48% pour les autres catégories.]. Il est apparu à l'examen que les algorithmes ne sont étonnamment pas immunisés contre les préjugés susceptibles d'affecter le jugement du commun des mortels comme des décideurs. Les algorithmes peuvent produire des discriminations directes notamment en construisant, spontanément ou non, des catégories interdites ou sensibles, comme l'âge, le genre ou l'origine ethnique, auxquelles ils appliquent des différences de traitement illicites. Des discriminations indirectes ont également été mises en évidence comme la prise en compte du code postal, non prévue par la réglementation, pour déterminer l'inscription dans les études supérieures, ayant pour effet de discriminer potentiellement certaines populations défavorisées. Ou encore, comme dans le cas de Compas et beaucoup d'autres, on pourra juger de l'effet discriminatoire de l'algorithme en faisant «  tourner  » un jeu de données (dataset) sur une application pour en observer les effets éventuellement discriminants sur différentes catégories.

Les informaticiens ont apporté des éléments nouveaux notamment mathématiques à la discussion tendant à montrer qu'il serait toujours possible de démontrer une forme de discrimination dans n'importe quelle série de décisions, prises par un humain ou un algorithme ou encore qu'il existe plusieurs dimensions de la discrimination et que l'on ne peut réduire l'une qu'en augmentant l'autre. On aperçoit ici l'apport que l'hybridation des logiques juridique et mathématique pourrait apporter notamment quant à la définition de la discrimination et à sa preuve.

Pour autant, l'égalité de traitement des destinataires ne constitue certainement pas la seule dimension de l'algorithme dont le contrôle s'impose pour apprécier sa validité juridique. Il est nécessaire d'examiner tous les éléments qui déterminent effectivement la décision proposée par l'algorithme soit notamment les données qui le nourrissent, les proxies utilisés, les critères de choix qu'il opère et les performances qu'il permet d'obtenir⁶⁷.

\1. Les données utilisées par l'algorithme ne peuvent être illicites ou obtenues illégalement, comme nous l'avons vu dans l'affaire Clearview, à peine d'entacher la décision. Ces données doivent également être correctes et adéquates. Par exemple, déterminer si un migrant peut bénéficier du statut de mineur non accompagné, les autorités publiques recourent à des standards relatifs à la taille des poignets qui détermine l'âge probable des personnes. Ces standards ont été établis sur base d'un échantillon d'adolescents et de jeunes adultes vivant aux Etats-Unis dans les années 1950, de sorte que l'on peut légitimement s'interroger sur leur pertinence pour assigner un âge à des jeunes des années 2020 issus d'Afrique ou d'Asie.

\2. Ceci nous conduit à la question importante des proxies. Dans l'univers des statistiques, un proxy est une donnée qui vaut pour une autre. Ainsi, dans l'exemple précédent, la taille des poignets vaut pour l'âge de la personne. Le choix de ces proxies ne peut être abandonné à la discrétion de l'opérateur car il a des conséquences déterminantes sur le résultat du traitement. Ainsi, la mesure de la «  sécurité  » dans un indicateur international ne produira pas le même résultat ni le même classement selon que le proxy choisi est le nombre d'homicides annuels rapportés au nombre d'habitants, la population carcérale rapportée au nombre d'habitants ou encore l'importance que les juridictions de l'Etat accordent dans leurs décisions à la force obligatoire des contrats, telle que mesurée sur une échelle graduée de 1 à 5 par un panel d'experts. Il est donc indispensable, comme l'a bien dit le juge de La Haye, que l'on puisse connaître, comprendre et vérifier les proxies choisis pour établir les différents facteurs de risque de fraude, de même d'ailleurs que la pondération des critères qui influe sur la décision, ainsi que le prévoit d'ailleurs la réglementation française.

\3. De même que la pondération relative des variables, il faudra encore examiner le critère de choix ou de distribution programmés, ce qu'on qualifie également d'algorithme au sens étroit du terme. Ainsi, les plateformes APD et Parcoursup recourent pour l'inscription des étudiants dans les établissements d'études supérieures à l'algorithme de Gale-Shapley, publié en 1962, pour résoudre la question dite des mariages stables. Selon cet algorithme itératif, à chaque étape les hommes choisissent des femmes auxquelles ils se proposent, y compris celles qui sont déjà en couple, qui choisissent à leur tour de conserver leur conjoint ou d'accepter une nouvelle proposition. Comme l\'explique très bien Hugues Bersini, cet algorithme est élitiste au sens où à la fin les plus belles femmes se marient avec les plus beaux hommes ou, pour le dire autrement, les étudiants les plus brillants ont seuls accès aux établissements les plus prestigieux. Encore faut-il vérifier que ce choix politique correspond bien à l'objectif défini ou annoncé, ce qui n'est pas évident dans le cas de Parcoursup qui inclut également des mesures visant à améliorer la mixité sociale⁶⁸. Selon Hugues Bersini, c'est le critère utilitariste de la maximisation de la somme des bénéfices et des coûts qui s'imposera de manière incontournable dans la plupart des cas⁶⁹. Il faut cependant bien mesurer la portée politique d'une telle règle générale qui est loin de correspondre à la pratique législative actuelle et aux règles juridiques relatives au respect des droits individuels⁷⁰ (1977), 2d ed., Bloomsbury Academics, 1997).].

\4. Enfin, il faut vérifier le niveau de performances de l'algorithme pour déterminer si celui-ci constitue un moyen efficace, adéquat, fiable et raisonnable pour atteindre l'objectif poursuivi et justifier les dérogations aux libertés individuelles. Les informaticiens disposent de méthodes éprouvées pour mesurer les taux d'erreurs de l'algorithme. L'outil Compas de prédiction de la récidive a fait l'objet de nombreuses études publiées qui comparent la prédiction algorithmique et les récidives effectivement constatées. Ces études repèrent à la fois les «  faux positifs  », à savoir les personnes évaluées comme à haut risque, mais qui n'ont pas récidivé, et les «  faux négatifs  », à savoir les personnes évaluées à faible risque, mais qui ont récidivé dans une période donnée. En 2012, une étude menée par l'État de New-York indiqua une fiabilité globale de 71% pour cet État, ce qui fut jugé suffisamment fiable pour l'utilisation du logiciel⁷¹, p. 86.]. En 2018, J. Dressel et H. Farid⁷², tout en révisant ce taux à 65, 2%, ont montré que des humains utilisant seulement 7 critères (comparé aux 137 variables de Compas) avaient obtenu un résultat légèrement supérieur de 67%⁷³. Quoi qu'il en soit, on peut s'étonner qu'un niveau de fiabilité de 70% soit jugé satisfaisant pour recourir à un algorithme amené à se prononcer sur une question aussi grave que la libération d'un condamné ou son maintien en détention.

Les exemples abondent d'algorithmes défectueux qui ont provoqué des conséquences catastrophiques. La poste anglaise a utilisé à partir de 1999 un logiciel Horizon, conçu par la firme japonaise Fujitsu, sur la base duquel 736 employés ont été condamnés entre 2000 et 2014 pour détournements de fonds, dont certains à des peines de prison. Une enquête a démontré que le logiciel était dès le début affecté de bugs importants, que la poste le savait et qu'elle a néanmoins continué à utiliser le logiciel. Cette affaire est à l'origine d'un des plus grands scandales judiciaires au Royaume-Uni. Dans une série d'arrêts, rendus entre 2019 et 2021, la Cour d'appel a renversé plus de 50 condamnations pénales, tandis que la poste transigeait avec plus de 550 agents injustement sanctionnés. La poste anglaise a annoncé qu'elle allait remplacer le logiciel Horizon par un autre plus perfectionné…⁷⁴ EWCA Crim 1443.]

Aux Pays-Bas, un rapport d'Amnesty International a révélé qu'un «  algorithme xénophobe  », introduit en 2013, destiné à traquer la fraude en matière d'allocations familiales avait conduit à supprimer à tort les allocations perçues par des dizaines de milliers de familles dont un nombre disproportionné d'origine étrangère et de pauvres, privés de leurs droits et contraints de rembourser les sommes déjà perçues⁷⁵ Peter Benenson House, 2021, accessible à l'adresse : https://www.amnesty.be/IMG/pdf/20211025_rapport_xenophobic_machines.pdf. Il s'agit en réalité ici d'un second rapport plus approfondi, qui a suivi la dénonciation publique de l'affaire.]. Cette affaire a conduit à la démission du gouvernement néerlandais en janvier 2021.

On ne peut que s'inquiéter de la précipitation et de l'imprudence avec laquelle certaines autorités publiques mettent en place des dispositifs algorithmiques peu éprouvés et peu fiables. Si des taux de fiabilité de 70% voire 80% ou plus peuvent être considérés comme encourageants quant aux potentialités de l'intelligence artificielle, le juriste se montrera davantage préoccupé par le pourcentage résiduel d'erreurs, qui multiplié par le nombre massif de cas traités par les algorithmes, aboutira à des centaines voire des dizaines de milliers de condamnations ou de suppressions illicites de droits. Dans de tels cas, il semble évident que la responsabilité tant politique que juridique des autorités puisse être engagée.

Qualité et certification de l'algorithme. --¶

Compte tenu du caractère sophistiqué et délicat des algorithmes et des dommages considérables que leur usage est susceptible de causer, l'idée a fait son chemin notamment aux États-Unis et en Europe d'une approche préventive visant à identifier les risques et à contrôler en amont la qualité des algorithmes. Tel est l'objet de la proposition de règlement de l'Union européenne établissant des règles harmonisées en matière d'intelligence artificielle introduite par la Commission en 2021⁷⁶. La proposition, qui «  suit une approche fondée sur les risques  », classe les algorithmes en trois catégories selon qu'ils créent un risque inacceptable, élevé ou faible. Les premiers sont interdits. Les deux autres sont soumis à des précautions et à des procédures qui varient selon le degré de risque. Sont ainsi prévues des études d'impact, des tests de performance, des codes de conduite et d'autres mesures de ce type. Sans entrer dans le détail, nous reconnaissons sans peine ici le modèle de la normalisation technique, caractéristique du droit global, dont la mise en œuvre reposera sur une filière de certification et de labellisation des opérateurs et des produits et une logique de conformité (compliance) au sein des entreprises. Cette procédure de certification s'applique du reste déjà à de nombreux produits et services, notamment en ce qui concerne les algorithmes à des logiciels embarqués dans des systèmes critiques, comme les avions, et à certains dispositifs médicaux⁷⁷.

On ne peut que se réjouir de la mise en place d'un processus de contrôle en amont des risques, de la qualité et des performances des algorithmes en particulier ceux qui prennent des décisions ou formulent des recommandations qui affectent les droits et les intérêts des personnes. Il faut cependant s'intéresser de près au contenu du cahier des charges, dont l'élaboration est d'ores et déjà bien avancée. Nous sommes en effet en plein dans ce que Gregory Lewkowicz appelle «  le moment éthique  » de l'encadrement de l'intelligence artificielle⁷⁸. L'association AlgorithmWatch recensait, en 2019 64 référentiels éthiques publiés⁷⁹, cité par G. Lewkowicz, disponible en ligne : algorithmwatch.org/en/project/ai-ethics-guidelines-global-inventory.]. D'autres en comptent 84⁸⁰, leur nombre ne cessant de croître. Les organisations internationales comme l'OCDE et le Conseil de l'Europe ne sont pas en reste, non plus que l'Union européenne qui a publié, en 2019, ses Lignes directrices en matière éthique pour une IA digne de confiance, qui tend vers l'élaboration de standards sectoriels⁸¹. L'Institute of Electrical and Electronics Engineers (IEEE), qui joue un rôle comparable à l'ISO dans les domaines de l'électricité et de l'informatique, a lancé une initiative globale «  Ethically Aligned Design : A Vision for Prioritizing Human Well-Being with Autonomous and Intelligent Systems  »⁸². Cette initiative a débouché en 2021 sur l'entrée en vigueur du standard IEEE P7000, qui détermine les procédures et méthodes pour découvrir et régler les problèmes éthiques à respecter dans la conception (design) et le développement des algorithmes⁸³. Ce standard de type procédural sera décliné dans une série de 14 normes techniques plus opérationnelles, actuellement en cours de discussion, qui porteront notamment sur la transparence des systèmes autonomes (P7001), le traitement des données personnelles (P7002), le règlement des biais algorithmiques (P7003), mais aussi des questions comme la gouvernance des données concernant les enfants et les étudiants (P7004) et les employés (P7005)⁸⁴. Le standard P7010 établira des «  critères de bien-être des humains directement affectés par des systèmes intelligents et autonomes  »⁸⁵. Le standard P7011 participera à la lutte contre les fausses nouvelles (fake news) en établissant des procédures d'évaluation de la fiabilité des sources d'informations⁸⁶. Et ainsi de suite.

On comprend bien qu'il s'agit à terme de mettre au point une normalisation technique globale certifiable couvrant l'ensemble des questions que nous avons examinées dans le cadre de cette étude, et bien d'autres encore. Notons que ces normes n'ont pas seulement vocation à s'adresser aux ingénieurs et aux entreprises qui développent des algorithmes, mais également aux éducateurs et aux décideurs publics⁸⁷. Qu'on les qualifie de «  techniques  », «  éthiques  » ou «  juridiques  » n'a rien à voir avec la nature de ces règles ni des problèmes ou comportements qu'elles prétendent réguler, mais désigne seulement la voie régulatoire choisie. Ainsi la voie de la normalisation technique constitue un moyen parallèle et concurrent à la voie législative européenne ou internationale qui a toutes les chances de s'imposer au niveau global et même au niveau de l'Union européenne qui privilégie ce modèle de régulation⁸⁸, Larcier, \2015.].

Conclusion. --¶

Les administrations des États développés, comme la Belgique, sont en train de mettre en place de manière accélérée des dispositifs de décision automatisées ou semi-automatisées, reposant sur des algorithmes, qui impliquent l'usage de technologies dites d'intelligence artificielle. Le recours à ces dispositifs, qui ne sont pas toujours mûrs ni performants, s'opère souvent de manière précipitée voire imprudente et dans une certaine clandestinité qui tend à échapper aux autorités de contrôle.

Ces procédés inquiètent légitimement dès lors qu'ils affectent, d'une part, les droits, les intérêts et les libertés des citoyens qui en sont les destinataires et, d'autre part, les règles et les principes de fonctionnement de l'État de droit. Tant les dispositifs eux-mêmes que les décisions qui en sont le produit reposent sur des bases juridiques fragiles et sont en conséquence très exposés à un contrôle judiciaire de leur validité. Parmi les moyens susceptibles de leur être opposés, nous avons noté l'illégalité des dispositifs de deep learning voire des algorithmes connexionnistes en général, le défaut de transparence des systèmes et de motivation des décisions, le caractère disproportionné et non nécessaire des ingérences dans les droits et libertés, le fait que l'algorithme repose sur des données inadéquates ou illicites, qu'il recourt à des proxies contestables ou à des catégories interdites, qu'il applique des critères de choix inadéquats ou qui ne correspondent pas à l'objectif annoncé ou assigné, qu'il ne soit pas performant notamment en produisant des décisions erronées ou discriminatoires.

Dans ses projets de réglementation des algorithmes, l'Union européenne a choisi de miser principalement sur la normalisation technique, telle que l'Institut des ingénieurs électriciens et électroniciens est en train de la développer au niveau global. Sur la base de l'étude des autres chantiers du droit global, nous pensons qu'il est probable que cette stratégie soit à terme couronnée de succès.

Toutefois, dans l'état actuel de la lutte pour le droit, il est nécessaire que les juristes praticiens s'emparent de ces questions et n'hésitent pas à contester les dispositifs algorithmiques devant les juges et à demander réparation des préjudices causés. Plusieurs exemples, émanant notamment d'États voisins, illustrent à la fois l'importance de ces combats et la possibilité de les gagner. C'est le devoir des juristes de les mener pour sauvegarder les droits et les intérêts de leurs clients, l'État de droit et des libertés publiques et, disons-le franchement, l'avenir de leur profession. Il ne faut à cet égard céder ni à la fascination ni à la phobie technologique. Nous avons tenté de montrer dans cette étude que les problèmes posés par l'intelligence artificielle dans le cadre de la gouvernance algorithmique entrent pleinement dans la sphère de compétence des juristes et qu'ils ne sont pas si difficiles à appréhender pour autant qu'on veuille bien y appliquer quelque effort.

https://www.leagle.com/decision/infdco20170530802.