Recentelijk kwam naar buiten dat de Autoriteit Persoonsgegevens (“AP”) minister Wopke Hoekstra heeft opgeroepen om uitleg te geven over een algoritme dat binnen het ministerie van Buitenlandse Zaken wordt gebruikt bij de beoordeling van visumaanvragen.
Uit door het NRC in samenwerking met journalistieke organisatie Lighthouse Reports uitgevoerd onderzoek is naar voren gekomen dat de digitalisering van de verstrekking van Schengenvisa problematisch is verlopen vanwege een algoritme dat mogelijk ten onrechte een negatieve score toekent in het geval van bepaalde nationaliteiten (1)
Voorheen werden visa verleend door Nederlandse consulaten en ambassades in het buitenland. In het kader van de gewenste digitalisering van visumaanvragen heeft de overheid het grootste gedeelte van de documentenafhandeling overgedragen aan VFS Global, een multinational met hoofdkantoor in Dubai. Reizigers dienen voor hun visumaanvraag naar een kantoor van VFS Global te gaan. VFS Global digitaliseert de visumaanvraagdossiers en stuurt deze vervolgens naar de zogenoemde beslisambtenaren.
Door het NRC wordt aangegeven dat deze zogenoemde beslisambtenaren eerst op de ambassades werkzaam waren, maar in 2015 zijn verhuisd naar een kantoor in Den Haag. Deze beslisambtenaren maken gebruik van het zogenoemde Informatie Ondersteund Beslissen (“IOB”): een algoritme dat risicoscores toekent aan visumaanvragen. Door het NRC wordt dit als volgt toegelicht. Een hoog getal als risicoscore staat voor een minder kansrijke aanvraag. Een risicoscore met een laag getal wijst erop dat de aanvraag er goed uitziet. Hoe hoger een getal is, hoe intensiever de betreffende ambtenaar de aanvraag moet bestuderen, waarbij het soms nodig kan zijn dat er een interview nodig is, of extra documenten.
De door het IOB-algoritme berekende risicoscore voor een visumaanvrager wordt gebaseerd op eerdere aanvragen, persoonsgegevens en hits in databestanden van onder andere de marechaussee en immigratiedienst IND. Het IOB-algoritme bekijkt op basis van onder meer nationaliteit, geslacht, leeftijd van de aanvrager en plaats van aanvraag of een dergelijke aanvraag ‘kort’ of ‘intensief’ bestudeerd moet worden. Aanvragen die in de laatste categorie vallen, worden vervolgens veel minder vaak toegekend dan aanvragen uit de eerste categorie.
Uit de berichtgeving van het NRC blijkt dat de toenmalige functionaris gegevensbescherming van het ministerie van Buitenlandse Zaken in 2022 heeft geadviseerd om direct te stoppen met het profileren van visumaanvragers, omdat dit discriminatie in de hand kon werken. Zo wordt door het NRC het voorbeeld gegeven van visumaanvragen van jonge Surinaamse mannen, wiens aanvragen automatisch op de stapel met ‘intensief’ te beoordelen visumaanvragen belanden.
Als gevolg van het door NRC en Lighthouse Reports uitgevoerde onderzoek moet minister Wopke Hoekstra in persoon bij de AP verschijnen, om het gebruik van de IOB-software te verdedigen, zo meldt het NRC.
Naast datahandel en digitale overheid, is algoritmes & AI een van de focusgebieden van de AP in de periode 2020-2023, zo volgt uit de Focus AP 2020-2023 (2). Buiten de voordelen die het gebruik van algoritmes en AI kunnen bieden, wijst de AP erop dat de inzet ervan ook risico’s en schadelijke effecten kent.
Zo noemt de AP dat beslissingen het resultaat kunnen zijn van bias als zelflerende algoritmes getraind worden met datasets die objectief correct zijn, maar inherent vooroordelen bevatten. Voorts wijst de AP erop dat de ontwerpkeuzes van makers van algoritmes (onbedoelde) vooroordelen kunnen bevatten.
Er is op dit moment nog geen wetgeving met een specifieke focus op algoritmes en AI. Op EU-niveau is echter wel specifieke wetgeving in de maak: de AI Act. Het eerste voorstel voor de AI Act van de Europese Commissie werd op 12 april 2021 gedaan en eind vorig jaar hebben de Europese telecomministers een akkoord bereikt over de AI Act. Hierna zijn het Europees Parlement en de Europese Commissie in onderhandeling getreden over de AI Act. Het streven is om in het najaar van 2023 een definitief akkoord te hebben bereikt, waarna de lidstaten de AI Act in eigen land gaan doorvoeren.
De huidige tekst van de AI Act volgt een risicogebaseerde aanpak, waarbij onderscheid wordt gemaakt tussen AI-toepassingen die i) een onaanvaardbaar risico, ii) een hoog risico, en iii) een laag of minimaal risico met zich meebrengen. Uit overweging 39 van het voorstel voor de AI Act volgt dat de nauwkeurigheid, niet-discriminerende aard en transparantie van AI-systemen die in de context van migratie, asiel en grensbeheer worden gebruikt, van bijzonder belang zijn om de eerbiediging van de grondrechten van de betrokken personen te waarborgen, en met name (onder meer) hun recht op vrij verkeer, non-discriminatie, bescherming van het privéleven en de persoonsgegevens. In dat licht wordt aangegeven dat het passend is om AI-systemen te classificeren met een hoog risico, wanneer zij bedoeld zijn om door de overheid te worden gebruikt bij het uitvoeren van taken op het gebied van migratie, asiel en grensbeheer, zoals bij het indienen van een visum- of asielaanvraag.
Gelet op het voorgaande, zal het IOB-algoritme waarschijnlijk op grond van Bijlage III, punt 7 (d) AI Act kwalificeren als een AI-systeem met een hoog risico in de zin van artikel 6 lid 2 AI Act. Hoewel AI-systemen die op grond van de AI Act zouden kwalificeren als een hoog risicosysteem niet per definitie verboden zijn, gelden hiervoor wel strengere eisen en verplichtingen, waaronder het volgen van een conformiteitsbeoordelingsprocedure op basis van interne controle en hoge transparantie-eisen.
Op grond van de AI Act zijn lidstaten straks verplicht een nationale toezichthoudende autoriteit aan te wijzen. Vooruitlopend hierop is in Nederland reeds een algoritmetoezichthouder aangewezen. Sinds begin dit jaar houdt de AP, ondanks het gebrek aan specifieke wetgeving, namelijk toezicht op algoritmes vanuit het oogpunt van gegevensbescherming. Hiervoor is binnen de AP een nieuw organisatieonderdeel in het leven geroepen: de directie Coördinatie Algoritmes. Hiermee wordt een bijdrage geleverd aan de ambitie van de Tweede Kamer en het kabinet om discriminatie en willekeur te voorkomen en transparantie te bevorderen in algoritmes die persoonsgegevens verwerken, aldus de AP.
Voor 2023 heeft de AP aangegeven concreet de volgende activiteiten op te pakken:
(Sector- en domeinoverstijgende) signalen en inzichten over de risico’s en effecten van algoritmegebruik verzamelen, analyseren en kennis daarover delen
Bestaande samenwerkingen bij algoritmetoezicht versterken en faciliteren
Gezamenlijke en sectoroverstijgende normuitleg en ‘guidance’ bevorderen
Daarnaast heeft de AP aangegeven in de loop van dit jaar tezamen met andere toezichthouders en betrokken ministeries bepalen wat er nog meer nodig is om het algoritmetoezicht in Nederland te versterken. Eind dit jaar zal de AP in dat kader een gezamenlijk rapport opstellen, waarin de ontwikkelingen in het algoritmetoezicht en de risico’s van algoritmes inzichtelijk worden gemaakt.
https://www.nrc.nl/nieuws/2023/04/23/beslisambtenarenblijven-profileren-met-risicoscores-a4162837
https://www.autoriteitpersoonsgegevens.nl/sites/default/files/atoms/files/focus_ap_202-2023_groot.pdf
