Dienst Uitvoering Onderwijs (DUO) gebruikte een algoritme om te controleren of studenten misbruik maakten van de uitwonendenbeurs. De manier waarop DUO dat deed was discriminerend en daarom onrechtmatig, concludeert de Autoriteit Persoonsgegevens (AP) na onderzoek.
DUO gaf studenten een ‘risicoscore’ door naar onderwijssoort, afstand tussen adressen en leeftijd te kijken. Voor die criteria was geen objectieve rechtvaardiging. Dat maakte deze werkwijze discriminerend en dus onrechtmatig. Bovendien zegt de minister van Onderwijs, Cultuur en Wetenschap (OCW) - verantwoordelijk voor DUO - dat dit algoritme studenten met een migratieachtergrond indirect heeft gediscrimineerd.
De ene student kreeg een hogere risicoscore dan de andere, zonder dat daar een goede onderbouwing voor was. Ook heeft DUO de werking van het algoritme nooit geëvalueerd.
Aleid Wolfsen, voorzitter AP: ‘Als je een algoritme met selectiecriteria gebruikt, dan maak je per definitie onderscheid tussen groepen personen. Dat onderscheid moet je altijd heel goed en precies onderbouwen. Ook moet je testen of de uitkomst van het algoritme niet onbedoeld een oneerlijk onderscheid maakt. Doe je dit niet en ga je zonder een stevige onderbouwing met een algoritme aan de slag? Dan is er al snel sprake van een discriminerend algoritme en dus een discriminerende, onrechtmatige verwerking van persoonsgegevens.’
DUO berekende met een algoritme het risico dat een student zou frauderen met de uitwonendenbeurs. Zo selecteerde DUO met het algoritme studenten voor een huisbezoek. Dat gebeurde met deze criteria:
Onderwijssoort: een mbo-opleiding gaf een hogere risicoscore dan een hbo- of wo-opleiding.
Afstand: een kortere afstand tussen het woonadres van de student en dat van de ouder(s) gaf een hogere risicoscore.
Leeftijd: een lagere leeftijd van de student gaf een hogere risicoscore.
Met een hogere risicoscore kon je als student (na een handmatige selectie door DUO) vaker te maken krijgen met een controle en een huisbezoek van DUO. Naar schatting van de AP heeft DUO tussen 2013 en 2022 21.500 studenten geselecteerd en gecontroleerd op fraude, mede op basis van de berekeningen van het algoritme.
Directe discriminatie
Voor het maken van onderscheid tussen mensen moet er altijd een onderbouwde objectieve rechtvaardiging zijn. Bijvoorbeeld een juridische of wetenschappelijke onderbouwing of een statistische analyse met robuuste significante en over de tijd stabiele uitkomsten. Maar de AP stelt vast dat deze voor de selectiecriteria van DUO ontbraken. Daardoor heeft DUO direct gediscrimineerd op basis van onderwijssoort, afstand en leeftijd. Dat maakt de verwerking van persoonsgegevens door DUO onrechtmatig.
Daar komt bij dat het selectieproces volgens de minister leidde tot indirecte discriminatie. Dit concludeerde de minister van OCW zelf op basis van onderzoek. Deze indirecte discriminatie ontstond doordat studenten met een niet-Europese migratieachtergrond hoger scoren op de selectiecriteria. Daardoor werden zij vaker geselecteerd voor een controle of een huisbezoek dan andere studenten.
Discriminatie is altijd verboden, ongeacht of het om directe of indirecte discriminatie gaat. Dat staat in artikel 21 van het Handvest van de grondrechten van de Europese Unie, artikel 14 van het Europees Verdrag voor de Rechten van de Mens (EVRM) en artikel 1 van de Grondwet. DUO discrimineerde direct op onderwijssoort, afstand en leeftijd, en indirect op achtergrond van de student.
De overheid gebruikt steeds vaker algoritmes. Bijvoorbeeld om geautomatiseerde selectieprocessen uit te voeren waarbij grote hoeveelheden data verwerkt moeten worden. Bij zulke processen kan het gebruik van algoritmes zinvol zijn.
Wanneer een overheidsorganisatie een algoritme met selectiecriteria wil gebruiken, moet de organisatie deze criteria altijd vooraf onderbouwd objectief rechtvaardigen. Ook de uitkomst van een algoritme moet de organisatie vooraf toetsen. Criteria in algoritmes maken immers altijd onderscheid tussen groepen personen. Ook ogenschijnlijk neutrale criteria, zoals in dit geval onderwijssoort, afstand en leeftijd. Voor dit onderscheid moet altijd een objectieve rechtvaardiging zijn en het mag ook niet leiden tot ongerechtvaardigde indirecte discriminatie.
Aleid Wolfsen: ‘Discriminatie wordt helaas nog lang niet altijd goed herkend. Omdat vaak wordt gedacht dat discriminatie gaat over bijvoorbeeld afkomst, seksuele voorkeur of religie. Maar maak je zonder rechtvaardiging op een andere manier onderscheid tussen mensen? Dan is dat evengoed discriminatie en dus verboden. Ook DUO zag dit aanvankelijk over het hoofd. DUO registreerde weliswaar niet de migratieachtergrond van studenten, maar wel andere gegevens om onderscheid te maken. En ook daar was geen objectieve rechtvaardiging voor.’
De AP startte een onderzoek naar DUO naar aanleiding van alarmerende mediaberichten. In het onderzoek werd duidelijk dat er geen objectieve rechtvaardiging was voor de selectiecriteria. En dat daarmee de fraudeaanpak van DUO discriminerend en onrechtmatig was.
Aleid Wolfsen: ‘De overtreding was zó evident, dat we de afronding van het rapport niet hebben afgewacht om de minister te informeren over de voorlopige uitkomsten. We hebben hem gewezen op het belang dit zo snel mogelijk recht te zetten voor de getroffen studenten. Het pakket aan maatregelen waar de minister vandaag mee komt, past daar goed in.’
