De Tweede Kamer maakt zich zorgen over mogelijke vooringenomenheid door de politie door het gebruik van algoritmes. Het is niet uit te sluiten dat de politie eerlijk en onpartijdig selectiecriteria heeft gebruikt, wat betekent dat het gebruikte algoritme mogelijk niet voldoet aan de basiseisen. Kamerleden willen weten wat het kabinet eraan gaat doet om risico’s op vooringenomenheid in het algoritmesysteem van de politie weg te nemen. Dat blijkt uit schriftelijke vragen van Songül Mutluer (PvdA) en Stephan van Baarle (DENK) aan minister Dilan Yeşilgöz-Zegerius van Justitie en Veiligheid.
Eerder deze maand publiceerde de Algemene Rekenkamer een onderzoeksrapport naar het gebruik van algoritmes door overheidsdiensten. De onderzoekers concludeerden dat zes van de negen onderzochte algoritmes niet voldeden aan de basiseisen. Dat brengt allerlei risico’s met zich mee, waaronder een gebrekkige controle op prestaties en effecten, vooringenomenheid, een datalek of ongeautoriseerde toegang.
In het rapport schrijft de Rekenkamer dat de onderzochte algoritmes gebruikt worden door de politie, het directoraat-generaal Migratie van het ministerie van Justitie en Veiligheid en de Rijksdienst voor Identiteitsgegevens. Er is bij de organisaties geen overzicht welke medewerkers toegang hebben tot de data en het algoritme. “Ongeautoriseerde toegang tot systemen kan tot beschadiging of verlies van data leiden, met alle gevolgen voor burgers of bedrijven”, aldus de Algemene Rekenkamer.
Staatssecretaris van Koninkrijksrelaties en Digitalisering Alexandra van Huffelen beloofde met uitvoeringsorganisaties in gesprek te gaan om te kijken hoe tekortkomingen kunnen worden aangepakt. Nog voor het zomerreces wil ze de Tweede Kamer informeren over eventuele vervolgstappen.
Songül Mutluer (PvdA) en Stephan van Baarle (DENK) waren de conclusies aanleiding om minister Yeşilgöz-Zegerius van Justitie en Veiligheid aan de tand te voelen. De Kamerleden vragen of het Criminaliteit Anticipatie Systeem (CAS) mogelijk gebruik heeft gemaakt van “discriminatoire gronden in de selectiecriteria”. Ze willen van de minister horen zij ervoor gaat zorgen dat controles in de toekomst wel mogelijk zijn.
CAS probeert aan de hand van data criminaliteitspatronen in kaart te brengen. Tevens is het systeem uitgerust met geavanceerde plannings- en voorspellingsmethoden. Daarmee kan het voorspellen welke incidenten waar plaatsvinden. Deze werkwijze wordt ook wel predictive policing genoemd.
Mutluer en Van Baarle vragen zich af waarom bij de start van het systeem geen basisvereiste van zorgvuldigheid in acht is genomen. “Wat zijn de criteria op grond waarvan het lerende algoritme CAS voorspelt waar de kans groot is dat misdaden zullen worden gepleegd?”, zo willen ze van de minister weten.
De Kamerleden zijn bezorgd dat de samenstelling van een woonwijk mogelijk als criterium wordt gebruikt door CAS. Een wijk waar veel inwoners met een migratieachtergrond wonen zijn daardoor mogelijk het haasje. Ze vragen aan minister Yeşilgöz-Zegerius of ze kan uitsluiten dat dit momenteel het geval is.
De politie vindt het niet nodig om CAS tijdelijk buiten werking te stellen. De PvdA en DENK vragen aan de minister of zij er ook zo over denkt. Tevens informeren ze naar het menselijke aspect van het systeem. “Hoe ziet de menselijk toets eruit die naast het CAS plaatsvindt? Welke criteria worden door de mens getoetst? Vindt die toets altijd plaats? Is de menselijke toets daarbij altijd doorslaggevend?”
Tot slot vragen Mutluer en Van Baarle welke stappen de minister gaat zetten om risico’s op vooringenomenheid in het systeem van de politie weg te nemen. Ze willen van haar horen of ze bereid is het huidige algoritme door te lichten op mogelijke vooringenomenheid. “Zo ja, op welke termijn wilt u dit onderzoek voltrekken? Zo nee, waarom niet?”