In mei publiceerde de Staatscommissie tegen Discriminatie en Racisme een rapport waarin ze een kritisch perspectief deelden op het gebruik van profileringsalgoritmen door de overheid. Daarbij hebben ze één prangend advies: stop ermee.
Stop met lopende toepassingen van datagedreven profilering en begin niet met nieuwe toepassingen, adviseert de Staatscommissie kortgezegd. Datagedreven profilering komt namelijk met ernstige risico’s voor burgers, de rechtsstaat, de democratie en het bestuurlijk vermogen. Burgers lopen het risico gediscrimineerd te worden, zoals in het verleden in veelvoud is gebeurd. Overheden zijn onvoldoende transparant over hoe en waarom zij profileringsalgoritmen inzetten. En burgers missen rechtszekerheid en rechtsbescherming wanneer ze worden gediscrimineerd. En dat terwijl de effectiviteit en efficiëntie van deze algoritmen te wensen overlaat. Daarin zit niet veel verschil met willekeurige controles, terwijl er wel een enorm verschil is voor betrokkenen wiens fundamentele rechten geschaad kunnen worden.
“In veel gevallen wordt de inzet van datagedreven methoden gepresenteerd als een technische keuze, terwijl het in feite gaat om een ingrijpende normatieve keuze over hoe de overheid burgers benadert”, stelt de Staatscommissie. En daarmee wordt de vinger op de zere plek gelegd. Het is een politieke en bestuurlijke keuze om profileringsalgoritmen in te zetten om te voorspellen wie er fraudeur, crimineel of profiteur zou kunnen zijn. Een benadering die veel zegt over het wantrouwen van de overheid naar haar eigen burgers. En dat terwijl diezelfde overheid zélf regelmatig de regels aan haar laars lapt bij de inzet van profileringsalgoritmen. Bijvoorbeeld door adviezen van interne toezichthouders te negeren wanneer al gewaarschuwd wordt voor discriminatie. Of door direct of indirect onderscheid te maken op discriminerende gronden. En toch blijven overheden zich verschuilen achter het argument dat ze niet zonder deze technologie kunnen, omdat ze niet alles handmatig kunnen doen. Maar dat is jarenlang wel gelukt, toen de technologie nog niet ingezet kon worden.
Lees de rest van het artikel op de website van Bits of Freedom
