La quantité d’informations qu’engloutissent les systèmes d’intelligence artificielle chaque jour finit par leur imposer des biais. Certains pays font face à des épisodes alarmants.
Le journal Le Monde l’affirme: “Les qualificatifs statistiquement les plus donnés aux Noirs américains sont davantage liés à un champ lexical négatif que ceux attribués aux Blancs.” Il se fonde sur un article publié dans la revue académique Science par une équipe de chercheurs des universités de Princeton et Bath, laquelle prouve que les IA adoptent des biais discriminants. À partir d’une technologie nommée GloVe, les scientifiques peuvent déterminer comment les intelligences artificielles calculent les associations entre les mots. Les résultats sont sans appel. Les biais algorithmiques appris par les IA “reflètent des inégalités sociales ou des discriminations passées”.
Pays-Bas, quand les “machines xénophobes” accusent à tort
Dès 2013, l’administration néerlandaise utilisait un algorithme pour détecter les fraudes dans l’octroi de différentes aides sociales, dont les allocations familiales. Cependant, les critères de détection étaient discriminatoires car basés sur la nationalité et l’origine ethnique. Amnesty International, l’organisation internationale qui milite pour la défense des droits humains, l’explique : “L’algorithme était conçu de telle façon qu’il renforçait un préjugé institutionnel existant, établissant un lien entre la “race” ou l’origine ethnique et la criminalité et attribuant un comportement à un groupe racial ou ethnique tout entier.” Ces biais sont totalement contraires au principe de non-discrimination en vigueur au sein de l’Union Européenne.
Plusieurs dizaines de milliers de parents, appartenant pour la plupart à des minorités, se sont donc retrouvés de plus en plus ciblés par des contrôles. Accusés à tort, ils ont subi des saisies agressives, des pertes d’emploi, des expulsions et des traumatismes psychologiques profonds.
« Le système de boîte noire a abouti à un trou noir en matière de responsabilité. L’administration fiscale néerlandaise s’est reposée sur un algorithme pour l’aider à prendre des décisions, sans procéder à une surveillance en bonne et due forme » – Merel Koning, directrice de la stratégie, de la recherche et de la médiation chez Amnesty International.
Huit ans après, le scandale aux Pays-Bas est révélé au grand jour. Il aboutit à la démission collective du gouvernement en janvier 2021. La même année, Amnesty International publie le rapport Xenophobic Machines (« machines xénophobes »). L’organisation se sert de ce cas comme d’un avertissement à portée globale concernant l’utilisation de l’intelligence artificielle dans l’automatisation des services publics.
L’Europe se penche sur la régulation
Le 15 janvier 2026, le Conseil de l’Europe publie article dans lequel il se montre conscient des enjeux liés à la discrimination. Dans le secteur public, privé, de l’emploi et chez les forces de l’ordre, le biais algorithmique existe bel et bien. Des discriminations sont observées dans les allocations sociales, des systèmes de sélection favorisant des candidats masculins ou des reconnaissances faciales basées sur l’origine nationale des individus.
L’Europe veut répondre à ces problèmes. Le Règlement européen sur l’intelligence artificielle (ou “AI Act”), qui est entré en vigueur le 1er août 2024, établit un cadre juridique aux fournisseurs de systèmes d’intelligence artificielle et interdit certains systèmes “attentatoires aux droits fondamentaux”. La Convention-cadre du Conseil de l’Europe sur l’intelligence artificielle , lancée 5 septembre 2024, est le “premier instrument international juridiquement contraignant dans ce domaine.” Elle permet de réguler les systèmes d’intelligence artificielle afin de s’assurer qu’ils respectent les droits humains et la démocratie. Elle permet aussi de “pallier à tout vide juridique qui pourrait résulter des avancées technologiques rapides.”
L’Europe a ainsi posé les premières bases d’un cadre concret pour encadrer les systèmes d’intelligence artificielle, afin de limiter le risque qu’ils reproduisent ou amplifient des discriminations existantes. Toutefois, la mise en œuvre de ces principes reste un défi. Des organisations comme Unia, l’institution publique indépendante belge chargée de lutter contre les discriminations et de promouvoir l’égalité des chances, travaillent aux côtés d’acteurs tels que la Commission européenne et le Conseil de l’Europe pour identifier, surveiller et corriger les biais discriminatoires des systèmes d’IA, notamment dans les administrations publiques.