Discriminatie door algoritmes en AI-systemen blijft een terugkerende zorg. De NCDR heeft zich de afgelopen jaren sterk gemaakt voor meer aandacht voor en maatregelen tegen discriminatie door dit soort systemen.
Risicoprofielen die met behulp van algoritmes zijn samengesteld, zijn in de meeste gevallen niet transparant. Personen die door een dergelijk profiel worden benadeeld komen niet te weten welke criteria gebruikt zijn waardoor zij in het profiel zijn geplaatst. Dat kan niet door de beugel, vond de Haagse rechtbank in een recente uitspraak. De IND had bij de afwijzing van een visum voor kort verblijf van een vrouw uit Marokko een algoritme (het Informatie Ondersteund Beslissen (IOB) gebruikt. Omdat de IND daar niet transparant over was geweest en omdat ook uit het Algoritmeregister niet duidelijk bleek welke criteria waren gebruikt, bepaalde de rechtbank dat de IND meer informatie over het selectieproces moet verstrekken. (Rechtbank Den Haag, 5 augustus 2025, ECLI:NL:RBDHA:2025:14544)
Niet alleen bij risicoprofilering moeten organisaties het gebruik van algoritmes en AI beperken, ook op andere terreinen moet terughoudend gebruik worden gemaakt van deze systemen. Zo blijkt uit een recente rapportage van de Autoriteit Persoonsgegevens (AP) dat het gebruik van AI op de arbeidsmarkt tot aanzienlijke risico’s leidt.
Steeds meer werkgevers gebruiken AI bij het werven van personeel. Het filteren van cv’s door AI-systemen, een veelvuldig gebruikte toepassing, kan leiden tot het uitsluiten van kandidaten uit bepaalde bevolkingsgroepen. Daarvoor waarschuwt de AP in haar periodieke rapportage over de toepassing van algoritmes en AI. Zowel bij het opstellen van vacatureteksten als bij de daadwerkelijke selectie van kandidaten kan de uitkomst discriminerend zijn. Zo kunnen de gebruikte algoritmes getraind zijn met data die vooroordelen bevatten. Daardoor worden vrouwelijke sollicitanten bijvoorbeeld minder snel geselecteerd voor technische banen. Daarnaast kunnen bepaalde aannames van de samenstellers van algoritmes de uitkomsten beïnvloeden. Bijvoorbeeld het criterium ‘aantal onafgebroken dienstjaren’: dat kan vrouwen of mensen met een beperking uitsluiten, omdat zij vaker een onderbreking in hun carrière hebben dan mannen en mensen zonder beperking.
Verder stelt de AP vast dat veel werkgevers niet transparant zijn over de elementen die gebruikt zijn om tot een bepaalde uitkomst te komen. Dan is sprake van een black box. Veel werkgevers maken ook niet duidelijk dat zij AI gebruiken bij de werving en selectie. Dat is in strijd met de AI-verordening. Die bepaalt dat het gebruik van AI bij de selectie in begrijpelijke taal aan kandidaten moet worden gecommuniceerd.
Bij de werving en selectie moeten werkgevers die AI-systemen gebruiken aan een aantal randvoorwaarden voor een ethische en discriminatievrije toepassing voldoen, vindt de AP. Werkgevers moeten overwegen of het gebruik van AI bij werving en selectie geschikt en noodzakelijk is, zij moeten naar sollicitanten transparant zijn over de inzet van AI, opstellers van de AI-systemen moeten zich bewust zijn van risico’s van discriminatie en er moet betekenisvolle menselijke tussenkomst zijn bij beslissingen die genomen worden.
Op basis van het voorgaande dringt de NCDR aan op beter toezicht op AI en algoritmes. Gebrek aan transparantie en inzicht in de samenstelling van criteria blijkt vaak nadelig uit te pakken van vrouwen en mensen uit minderheidsgroepen. Omdat dat op grote schaal gebeurt bij de inzet van algoritmes en AI, kun je spreken van institutionele discriminatie. Het lijkt er ook op dat technische oplossingen, zoals impact assessments en andere tools, deze vormen van institutionele achterstelling niet kunnen oplossen. Ook het Algoritmeregister is geen garantie voor transparantie, laat de uitspraak van de Haagse rechtbank zien. De risico’s op discriminatie die de AP aangeeft zijn daarom een sterk pleidooi voor een betekenisvol toezicht op AI en algoritmes.
Op het Nationaal Congres tegen Discriminatie en Racisme op 18 juni wijdt de NCDR een deelsessie aan de vraag hoe het toezicht op discriminerende algoritmes en AI verbeterd kan worden. Aanmelden voor het Nationaal Congres kan via deze link.
