<< Retour aux articles

Une police des algorithmes pour lutter contre les biais… des algorithmes

Tech&droit - Données, Intelligence artificielle

18/01/2018

L’été 2017 a vu la ville de New-York adopter une législation inédite, à l’image du sujet qu’elle vient encadrer, à savoir la protection des citoyens contre la discrimination… des algorithmes. Le point avec Arnaud Touati, avocat associé, co-fondateur du cabinet Alto Avocats, et Gary Cohen, collaborateur.

Place actuelle des algorithmes dans la justice
Les algorithmes sont des suites d’opérations permettant de parvenir à la résolution d’un problème ou à l’obtention d’un résultat. Ils font désormais partie intégrante de la vie quotidienne des citoyens du monde entier. Dans le domaine de la justice, les algorithmes sont par exemple utilisés en France par les innovantes solutions de justice prédictive, afin notamment de pouvoir évaluer (ou "prédire") les chances de réussite dans le cadre d’un litige ou encore le montant des dommages-intérêts susceptibles d’être accordés.

En France, et en Europe de manière plus générale, les algorithmes restent peu utilisés par les acteurs de la justice et surtout de la police, alors que cela est beaucoup plus courant aux États-Unis, comme par exemple, par la ville de New-York. Toutefois, comment soumettre ces algorithmes aux mêmes règles régissant les décisions prises par l’homme, en particulier l’absence de discrimination (v. Sangaré Fr., École 42 : « Pour s’assurer de la loyauté des algorithmes, il faudrait coder les lois d’Asimov et les figer », Actualités du droit, 8 févr. 2017) ?

Des algorithmes qui peuvent reproduire les biais des développeurs
Cette question a pu dans un premier temps surprendre car l’on voit mal comment des lignes de code pourraient avoir des préjugés, mais cette situation est en réalité beaucoup plus courante qu’escompté, dans la mesure où l’humain qui est l’auteur de ces algorithmes, reproduit consciemment ou non ses biais. C’est d’ailleurs ce qu’a pu exprimer Serge Abiteboul, directeur de recherche à l’École normale supérieure : « les algorithmes ne sont ni justes ni injustes par nature, ils sont une création humaine ». Une enquête menée par Propublica, organisme américain non lucratif, a permis de mettre en exergue ces discriminations (v. également, Christin A., « Une grande majorité des juridictions américaines utilise des algorithmes d’estimation de la récidive », Actualités du droit, 4 sept. 2017).

En effet, aux États-Unis, les profils de certains suspects sont soumis à un logiciel qui permet, en théorie, de déterminer leur propension à récidiver. Or, lorsqu’un blanc au passé criminel lourd a été comparé à une femme noire au passif négligeable, cette dernière a reçu un risque de récidive de 8 (« high risk »), alors que le premier s’est vu fixer un score simplement de 3 (« low risk »). Le futur a d’ailleurs donné tort à cette classification algorithmique : l’homme blanc a récidivé et non la femme noire.

Cependant, ces éléments sont de nature à remettre en cause l’impartialité de la justice ainsi que le principe d’individualisation des peines, de telle sorte que les juges pourraient être amenés, dans leurs peines, à se fonder en partie sur les risques de récidive tels que présentés par les algorithmes, et non sur les risques propres à la personnalité du détenu.

La piste de solution anti-biais de la ville de New-York
Afin de palier ces difficultés, la municipalité de New-York (http://legistar.council.nyc.gov/LegislationDetail.aspx?ID=3137815&GUID=437A6A6D-62E1-47E2-9C42-461253F9C6D0) a décidé de créer une sorte de « police des algorithmes » (http://mashable.france24.com/monde/20171220-new-york-algorithmes-decisions-police-justice).
Cette police prend la forme d’une équipe d’experts chargés d’étudier les lignes de code et de les corriger. Il leur reviendra donc de déterminer ce qu’est l’impartialité. Ce qui semble n’avoir pour effet que de déporter le problème : en quoi la police des algorithmes serait-elle légitime pour déterminer ce qui est biaisé et ce qui ne l’est pas, dans la mesure où ses membres sont certainement, par nature, empreints de certains préjugés ?

L’Europe ne semble pour l’instant pas avoir pris conscience de ce énième risque posé par la révolution numérique, alors que les experts en la matière, comme Maître Bossi-Malafosse, conseillère auprès du Conseil de l’Europe, préviennent déjà que la réglementation à venir (Règl. (UE) 2016/679, 27 avr. 2016, joue 4 mai, n° L 119, dit RGPD, en vigueur en mai 2018) s’accorde mal avec ces enjeux (v. https://www.ldh-france.org/wp-content/uploads/2017/07/Compte-rendu-Algorithmes-et-risques-de-discriminations.pdf et Cazaux-Charles H., « L’usage de l’algorithme est un sujet auquel sera confrontée la justice pénale dans les années qui viennent », Actualités du droit, 1^ernov. 2017).

Source : Actualités du droit