Steeds vaker zetten organisaties algoritmes in om werkprocessen te verbeteren, maar dat gaat niet zonder risico. In meerdere gevallen is gebleken dat algoritmische discriminatie plaatsvindt. Er zijn verschillende aanpakken ontwikkeld om discriminatie te meten en voorkomen. In hoeverre zijn deze al doeltreffend en effectief?
Organisaties zetten steeds vaker algoritmes in om werkprocessen te verbeteren. Dat gebruik blijkt echter niet zonder risico: de afgelopen jaren kwamen meerdere gevallen van algoritmische discriminatie aan het licht, waaronder de kinderopvangtoeslagenaffaire en de controle op uitwonende studenten door DUO. Om discriminatie te kunnen meten en voorkomen zijn de afgelopen jaren de zogeheten fairness-methodes ontwikkeld. Maar in hoeverre zijn deze methodes echt geschikt om discriminatie vast te stellen?
Het College voor de Rechten van de Mens vroeg de Technische Universiteit Eindhoven om onderzoek te doen naar hoe deze kwantitatieve methodes overlappen met de manier waarop discriminatie juridisch wordt vastgesteld. Er is ook gekeken hoe deze ingezet kunnen worden voor het meten en voorkomen van discriminatie in algoritmes.
Tekst gaat verder onder het document.
Het onderzoek concludeert dat fairness-methodes overeenkomsten bevatten met de beoordelingskaders die worden gebruikt om vast te stellen of er sprake is van discriminatie. Deze kwantitatieve methodes alleen zijn niet voldoende om discriminatie aan te tonen. Discriminatie is namelijk geen technisch probleem dat (alleen) met technische aanpassingen opgelost kan worden.
Het toetsen en voorkomen van discriminatie in algoritmes vereist multidisciplinaire samenwerking, actieve monitoring en verankering van het toetsen van discriminatie in de werkprocessen.
Een voorbeeld van algoritmische discriminatie is het gebruik van een CV‑matchingtool om te filteren voor een technische functie, zoals software engineer. Het algoritme bevat de variabele ‘geslacht’, waarbij het vrouwelijke of non-binaire kandidaten automatisch lager scoort of zelfs direct afwijst. Omdat de selectie op basis van het beschermde persoonskenmerk plaatsvindt, geslacht, is er sprake van directe discriminatie.
Hoewel fairness-methodes op zichzelf niet volstaan, kunnen ze wel onderdeel zijn van de beoordeling of er sprake is van discriminatie. Op basis van het onderzoeksrapport reikt het College voor de Rechten van de Mens organisaties handvatten aan om deze methodes toe te passen zodat het aansluit bij het recht op gelijke behandeling.
In deze samenvatting met handvatten wordt onder andere het verschil uitgelegd tussen directe en indirecte discriminatie en vind je verschillende vragen en uitgangspunten die essentieel zijn om als organisatie mee te nemen bij de afweging of er sprake is van discriminatie.
