Algoritmische discriminatie in Europa: kansen en uitdagingen voor het Europese gelijkebehandelingsrecht

Coauteur Raphaële Xenidis

Risico’s van ongelijke behandeling door algoritmen

Begin 2020 erkende de Europese Commissie in haar witboek over kunstmatige intelligentie (hierna: AI) dat AI een aantal potentiële risico’s meebrengt. De Commissie benoemde daarbij specifiek het risico van ongelijke behandeling op grond van geslacht en andere vormen van discriminatie. Vanwege die risico’s vond de Commissie het belangrijk dat nader onderzoek zou worden gedaan naar de vraag of het EU-gelijkebehandelingsrecht eigenlijk wel een goed antwoord kan bieden op de bijzondere vragen die samenhangen met de enorme vlucht die algoritmes hebben genomen op bijna ieder terrein van het maatschappelijk leven. Die vraag stond daarom centraal in de net gepubliceerde studie 'Algorithmic Discrimination in Europe', die is voorbereid in samenwerking met het European network of legal experts in gender equality and non-discrimination.

Onze studie heeft allereerst bevestigd dat algoritmen inderdaad een steeds grotere rol spelen in ons leven. Tot nu toe kwamen veel van de voorbeelden uit de Verenigde Staten, maar de Europese expertrapportages hebben laten zien dat er ook in Europa er steeds meer algoritmische toepassingen te zien zijn. Die toepassingen zijn allereerst te vinden in de publieke sector. Het gaat dan bijvoorbeeld om de ondersteuning van arbeidsmarktbeleid en van beleid op het terrein van maatschappelijk welzijn, onderwijs, criminaliteitsbestrijding en -opsporing, rechtspleging en het reguleren van (klassieke en sociale) media. Daarnaast zijn veel voorbeelden te zien in de private sector, bijvoorbeeld in het wervings- en selectiebeleid van ondernemingen, het inrichten van platformwerk, het bepalen van risico’s in het banken- en verzekeringswezen, het afstemmen van vraag en aanbod in de retail, en het personaliseren van online advertenties. Bij al die voorbeelden is bovendien sprake van risico’s van ongelijke behandeling en bias bij de inzet van algoritmen. Het is dus niet voor niets dat de Europese Commissie de risico’s van algoritmische discriminatie als wijdverbreid en diepgeworteld heeft gekenschetst.

De alomtegenwoordigheid van die risico’s maakt het belang van een goed EU-non-discriminatiebeleid en sterke regelgeving des te groter. Tegelijkertijd blijkt uit onze studie dat het huidige EU-recht sterk tekortschiet als het gaat om het bieden van een antwoord op de bestaande uitdagingen. Dat geldt vooral waar het gaat om machine-learning-algoritmen, die na een leerproces zelfstandig in staat zijn om relevante uitkomsten te genereren op basis van grote hoeveelheden ingevoerde data. We bespreken hierna vier kernproblemen die we in onze studie hebben aangetroffen, en gaan ten slotte in op een aantal kansen en mogelijkheden om die problemen aan te pakken.

Probleem 1: hiaten in het EU-gelijkebehandelingsrecht

Het eerste probleem heeft ermee te maken dat het EU-gelijkebehandelingsrecht momenteel een soort gatenkaas is. Het EU-recht verbiedt discriminatie als het gaat om geslacht, ras, etnische afkomst, handicap, religie of overtuiging, seksuele oriëntatie en leeftijd, maar eigenlijk alleen als het gaat om het terrein van de arbeid. Gaat het daarentegen om onderwerpen als het aanbod en gebruik van goederen en diensten, dan is alleen discriminatie op grond van geslacht en ras verboden. Bij onderwijs, media en online advertenties in principe zelfs alleen discriminatie naar etnische afkomst en ras verboden.(1) Die beperkingen zijn problematisch omdat zelflerende algoritmen vooral veel worden benut op de markt voor goederen en diensten. Daar worden ze bijvoorbeeld ingezet om aanbod te personaliseren en prijzen af te stemmen op de wensen en behoeften van gebruikers, kunnen ze helpen de risico’s te bepalen als iemand een lening aanvraagt en spelen ze een belangrijke rol als het gaat om het toesnijden van online advertenties op een specifiek publiek. Als zich daarbij discriminatie voordoet naar handicap, leeftijd, overtuiging of seksuele oriëntatie, heeft het EU-gelijkebehandelingsrecht daarop dus nauwelijks grip. Dat betekent bovendien dat een deel van de EU-burgers momenteel geen rechtsbescherming kan krijgen tegen dit soort gevallen van discriminatie.(2)

Probleem 2: intersectionaliteit en discriminatie op grond van proxy’s

Een tweede kernprobleem heeft ermee te maken dat het soort discriminatie dat samenhangt met algoritmische toepassingen niet goed aansluit op de gronden van discriminatie die in het EU-recht centraal staan en de manier waarop het Hof van Justitie van de EU daarmee omgaat. Allerhande profileringstechnieken kunnen worden gecombineerd met het doorzoeken en analyseren van grote hoeveelheden persoons- en gedragsgegevens, met heel verfijnde profielen als resultaat. Die profielen omvatten een veelheid van persoonlijke kenmerken, variërend van een voorkeur voor rode schoenen tot het soort kapsel dat iemand heeft. Die profielen en kenmerken overlappen lang niet altijd met de nogal grove en algemene gronden die in de EU-gelijkebehandelingsrichtlijnen centraal staan, zoals ‘geslacht’ of ‘leeftijd’.

In de praktijk leidt dit tot problemen. Allereerst kan algoritmische profilering leiden tot allerlei vormen van ‘intersectionele’ discriminatie. Het gaat dan om discriminatie die is gelegen op het snijvlak van erkende gronden, zoals religie en etnische afkomst, of die voortkomt uit een unieke combinatie van die gronden. Lastig is daarbij dat het Hof van Justitie van de EU in zijn Parris-uitspraak de notie van intersectionaliteit heeft verworpen: een ongelijke behandeling moet altijd concreet kunnen worden teruggevoerd op één van de verboden gronden. Juist vanwege de veelvormigheid van algoritmische discriminatie is dit vaak niet goed mogelijk.

Hier komt bij dat het erg moeilijk is om factoren als geslacht, afkomst, handicap, religie, overtuiging, seksuele oriëntatie en leeftijd volledig uit te bannen als inputvariabelen in een algoritme. Als het al lukt om een algoritme ‘blind’ te maken op dit punt, blijken machine-learning-algoritmen erg gemakkelijk ‘proxy’s’ te herkennen voor dit soort gronden, zoals lichaamslengte, filmvoorkeuren of koopgedrag. Het EU-gelijkebehandelingsrecht kan momenteel alleen worden toegepast als zo’n ‘proxy’ duidelijk in verband kan worden gebracht met een van de benoemde gronden. Waarschijnlijk gaat dat niet zo gemakkelijk, omdat ook hier het Hof van Justitie hoge eisen stelt die niet gemakkelijk toepasbaar zijn in de context van algoritmische discriminatie. In ieder geval weigerde het Hof van Justitie in de zaak Jyske Finans (2017) iemands geboorteland te erkennen als proxy voor diens etnische afkomst.

Probleem 3: directe en indirecte discriminatie

Een derde probleem is dat algoritmische discriminatie niet zo gemakkelijk is in te passen in de typen van discriminatie die in het EU-gelijkebehandelingsrecht zijn erkend. Zo vergt ‘directe’ discriminatie dat iemand kan aantonen dat een ongelijke behandeling volledig is ingegeven door een beschermde grond, en, volgens de klassieke riedel, dat iemand ‘minder gunstig is behandeld dan iemand anders in een vergelijkbare situatie is of zou worden behandeld’. Het is al lastig om dat te bewijzen als gevolg van het hiervoor benoemde proxyprobleem, en dit wordt nog moeilijker doordat algoritmen vaak ondoorgrondelijk zijn voor de mensen die erdoor worden geraakt – daardoor kunnen zij nauwelijks achterhalen hoe groot en essentieel de rol is geweest van, bijvoorbeeld, de grond ‘geslacht’ of ‘etnische afkomst’.

Op zichzelf kan dit bewijsprobleem nog wel worden aangepakt door te werken met het concept van ‘indirecte’ discriminatie. Daarbij gaat het om de situatie waarbij een ogenschijnlijk neutraal geformuleerde regeling of praktijk (zoals een algoritmegedreven besluit) een disproportioneel nadeel oplevert voor personen die behoren tot een beschermde categorie (dus bijvoorbeeld vrouwen of ouderen). Vanwege de hoge bewijseisen is dat vaak lastig aan te tonen. Daarnaast biedt het concept van indirecte discriminatie duidelijk minder grote juridische bescherming dan het concept van direct onderscheid. Iedere indirecte discriminatie kan namelijk worden gerechtvaardigd door een objectief en legitiem doel aan te voeren. Vaak komt de beoordeling daarvan neer op het maken van een kosten-batenanalyse, waarbij de precisie van de algoritmische uitkomsten moet worden afgewogen tegen algemene noties van sociale rechtvaardigdheid.

Probleem 4: afdwingingsproblemen

Een vierde en laatste kernprobleem is dat het afdwingen van gelijkheidsrechten in een algoritmische context erg moeilijk is. Het is vaak moeilijk te achterhalen of er sprake is van discriminatie doordat de onderliggende algoritmen voor gewone mensen onbegrijpelijk zijn, of doordat de werking van het algoritme geheim wordt gehouden vanwege bedrijfsgeheimen, intellectuele-eigendomsrechten of het belang van criminaliteitsbestrijding. Daar komt nog bij dat het niet altijd gemakkelijk is om te weten wie moet worden aangesproken op de uitkomsten van een algoritmisch besluitvormingsproces. Dat geldt zeker als er sprake is van nauwe samenwerking tussen mensen en machines (waarbij mensen bijvoorbeeld geneigd kunnen zijn de output van een algoritme te snel voor waar aan te nemen), of als er sprake is van samengestelde systemen waarbij verschillende algoritmen samenwerken. Zeker nu er in deze wereld ook vaak nog sprake is van samenwerkingen tussen internationale en buitenlandse actoren, is het moeilijk om gelijkheidsrechten goed af te dwingen. De rechtsbescherming tegen algoritmische discriminatie staat daardoor sterk onder druk.

Een positief besluit: ‘PROTECT’

Hoewel uit de bespreking van deze vier kernproblemen geen al te positief beeld oprijst, blijkt uit onze studie dat algoritmen ook veel kansen bieden. Dat geldt ook als het gaat om het identificeren, voorkomen en verzachten van discriminatie. Uit het rapport blijkt bijvoorbeeld dat algoritmen het gemakkelijker kunnen maken om discriminerende advertentieteksten te detecteren en dat ze ertoe kunnen bijdragen dat meer gelijke kansen worden geboden aan mannen en vrouwen bij werving en selectie. Het goede nieuws is bovendien dat uit de studie blijkt dat er in veel Europese landen al veel ‘good practices’ zijn op dit punt, bijvoorbeeld op het terrein van het houden van toezicht op discriminerende effecten van algoritmen tot pogingen om de relevante professionele gemeenschappen diverser te maken.

Om deze kansen te benutten is het wel nodig om degelijke gelijkebehandelingsregelgeving in te voeren en een robuust non-discriminatiebeleid te voeren. In de studie stellen we een geïntegreerd raamwerk voor onder de naam ‘PROTECT’, met als hoofddoel vergroting van het maatschappelijk bewustzijn van en het bieden van stevige juridische waarborgen tegen structurele ongelijkheid en discriminatie. Dat is essentieel om het fundamentele recht op gelijkheid in de algoritmische samenleving te kunnen waarborgen.