Beantwoording Kamervragen over bericht dat algoritmen kunnen leiden tot mogelijke vooringenomenheid

In deze brief bied ik u de gezamenlijke beantwoording aan van de vragen die gesteld zijn op 16 april door de leden Bouchallikh en Bromet (beiden GroenLinks) (2021Z06272) over het bericht dat algoritmen kunnen leiden tot vooringenomen uitkomsten en van de vragen die op 22 april zijn gesteld door het lid van Baarle (DENK)(20212021Z06776) over gemeenten die mogelijk discriminerende algoritmen gebruiken.

De staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties,

drs. R.W. Knops

2021Z06272

Vraag 1

Heeft u kennis genomen van de berichten ‘Algoritmes gemeente Rotterdam kunnen leiden tot ‘vooringenomen uitkomsten’ 1) en ‘Harde kritiek op algoritmes voor opsporing van bijstandsfraude?

Antwoord vraag 1

Ja.

Vraag 2

Wat is uw reactie op het rapport ‘Gekleurde technologie’ van de Rekenkamer Rotterdam?

Antwoord vraag 2

Het is belangrijk om onderzoek te doen naar de manier waarop algoritmische data-analyses in de praktijk door de overheid gebruikt worden en hoe het toezicht daarop georganiseerd is. Het Rekenkamerrapport maakt nog eens inzichtelijk dat er risico’s op het gebied van vooringenomenheid kunnen ontstaan wanneer in datasets (indirect) onderscheid wordt gemaakt met behulp van variabelen. De Rekenkamer Rotterdam concludeert dat er in deze gemeente aandacht is voor ethische principes bij het gebruik van algoritmen, maar dat deze aandacht nog niet wijdverspreid is. De gemeente Rotterdam is eerstverantwoordelijk om op dit rapport te reageren en dat heeft de gemeente ook gedaan.

Vraag 3

Is het waar dat de gemeente Rotterdam in het kader van het project ‘Analytics Uitkeringsfraude’ gebruik maakt van algoritmes die op eigen houtje zoeken naar kenmerken van fraudeurs? Is er daarmee sprake van de inzet van zelflerende algoritmes?

Antwoord vraag 3

In haar bestuurlijke reactie zegt de gemeente dat het genoemde algoritme geen fraude opspoort, maar risico op fraude inschat. Het gaat om een risico-inschattingsmodel dat op basis van beschikbare historische data uit het uitkeringsproces een inschatting maakt van de kans dat er iets met de rechtmatigheid van een uitkering aan de hand kan zijn. Op basis van de risico-inschatting worden uitkeringsgerechtigden uitgenodigd voor een gesprek. Daarna wordt de rechtmatigheid van de uitkering beoordeeld.

De gemeente Rotterdam zegt dat er geen sprake is van een zelflerend algoritme. Het ontwikkelen ("trainen") van het algoritmisch model gebeurt door in data van historische rechtmatigheidsonderzoeken naar patronen te zoeken en te testen of deze patronen in ongeziene data (een apart gehouden deel van de historische rechtmatigheidsonderzoeken) een voorspellende waarde hebben over de mate van (on)rechtmatigheid. Hierin zit altijd een menselijke handeling.

Vraag 4

Deelt u de conclusie dat dit kan leiden tot vooringenomenheid omdat het model, via een omweg langs andere variabelen zoals laaggeletterdheid, ook etnische achtergrond mee kan nemen en sommige mensen als gevolg daarvan een grotere kans hebben te worden onderworpen aan controles? Zo nee, waarom niet? Zo ja, wat vindt u hiervan?

Antwoord vraag 4

Ik deel de conclusie dat door het gebruik van variabelen die een (indirecte) relatie hebben met een in de wet beschermde grond zoals leeftijd of godsdienst, vooringenomenheid in algoritmische modellen kan ontstaan. Dat moet worden voorkomen. Het gebruik van kenmerken die indirect verwijzen naar een beschermde grond is lastiger te herkennen dan kenmerken die direct verwijzen naar beschermde gronden. In het voorbeeld van de Rekenkamer Rotterdam wordt spreekvaardigheid genoemd als een kenmerk dat indirect kan verwijzen naar iemands afkomst of etniciteit. De gemeente Rotterdam zegt dat zij voorafgaand aan het Rekenkameronderzoek op eigen verzoek een onderzoek door Concern Auditing heeft laten uitvoeren op het algoritme. Door Concern Auditing is aangegeven dat er bij de ontwikkeling van het algoritme en de werking daarvan goed is nagedacht over keuzes en maatregelen om vooringenomenheid te voorkomen. Zo bevat de input geen beschermde gronden zoals nationaliteit en vindt er pseudonimisering plaats op de data waarop het algoritme draait. Ook wordt de output gescreend om te voorkomen dat er onnodige heronderzoeken plaatsvinden.

Niet alleen de gemeente Rotterdam zet algoritmen in ter ondersteuning van publieke taken; vele overheden doen dat. Daarom wordt vanuit het ministerie van BZK beleid ontwikkeld dat overheden helpt om algoritmen op een verantwoorde manier in te zetten. Om vooringenomenheid van algoritmische modellen te voorkomen, is de Handreiking AI-systeemprincipes voor non-discriminatie ontwikkeld (die binnenkort aan uw Kamer zal worden toegezonden). De handreiking bevat een overzicht van de belangrijkste non-discriminatiewetgeving en allerlei voorbeelden van direct en indirect onderscheid die mogelijk kunnen leiden tot discriminatie. De handreiking helpt overheden om al in de ontwikkelfase van een algoritmisch systeem discriminerende patronen in modellen en gegevens zoveel mogelijk te identificeren, te voorkomen en te bestrijden. In de handreiking is een vertaalslag gemaakt van essentiële juridische kaders naar operationele ontwerpprincipes. Binnenkort zal het ministerie daarnaast een impact assessment mensenrechten en algoritmen (IAMA) publiceren. Dit impact assessment helpt overheden om risico’s voor mensenrechten (waaronder non-discriminatie) bij de ontwikkeling van systemen in kaart te brengen en af te zwakken. Verschillende instrumenten voor een verantwoorde inzet van algoritmen komen samen in de toolbox ethisch verantwoord innoveren voor overheden. (1)

Vraag 5

Wat onderneemt u, in navolging van de motie-Klaver c.s., om te verzekeren dat zelflerende algoritmes die worden gebruikt door de overheid geen gevoelige variabelen zoals nationaliteit of etniciteit hanteren, direct of indirect?

Antwoord op vraag 5

Het is niet toegestaan om nationaliteit of etniciteit te gebruiken als indicator in risicomodellen tenzij er een objectieve rechtvaardiging voor die gegevensverwerking is en het gemaakt onderscheid proportioneel is. Naast de bovengenoemde instrumenten die overheden helpen om de juiste variabelen in modellen te gebruiken, kijken we ook naar de kwaliteit van bestaande modellen in de praktijk. Zo vindt er momenteel een rijksbrede inventarisatie plaats naar het onrechtmatig (niet volgens geldende wet- en regelgeving toegestane) en het oneigenlijk (niet objectief gerechtvaardigd) gebruik van nationaliteit, etniciteit en geboorteplaats in risicomodellen. Als gegevens zijn gebaseerd op onrechtmatig en oneigenlijk gebruik in risicomodellen, dan worden deze gegevens beschouwd als vervuilde data en worden deze opgeruimd door de overheidsinstellingen zelf. Gemeenten en andere overheidsinstellingen zijn bij deze inventarisatie betrokken in zoverre zij onderdeel zijn van de ketens en dienstverleningsprocessen aan burgers en bedrijven. Op 8 april jl. zond ik uw Kamer hierover een brief. (2) De rijksbrede inventarisatie is een uitwerking van de motie van het lid Marijnissen (SP) c.s. om voor 1 maart een voorstel te doen hoe overal binnen overheidsinstellingen vervuilde data, risicomodellen en het gebruik van nationaliteit worden opgeruimd met inachtneming van de motie van het lid Klaver (GroenLinks) c.s. om hierbij niet alleen te kijken naar nationaliteit, maar ook naar etniciteit en geboorteplaats.

Vraag 6

Deelt u de bevinding van de Rekenkamer Rotterdam dat bijstandsontvangers onmogelijk kunnen weten waarom het algoritme hen aanmerkt voor nadere controle? Zo nee, waarom niet? Zo ja, in hoeverre is dat verenigbaar met de privacywetgeving die stelt dat burgers het recht hebben om inzicht te krijgen in de achtergrond van belangrijke beslissingen? Kunt u het antwoord juridisch onderbouwen met verwijzing naar de relevante wet- en regelgeving?

Antwoord vraag 6.

Het transparantievereiste uit de AVG (artikel 5, eerste lid, onder a) vergt dat persoonsgegevens worden verwerkt op een wijze die voor de betrokkenen transparant is. Dit beginsel wordt uitgewerkt in verschillende informatieverplichtingen. Bij artikel 5 AVG is overwogen dat overeenkomstig het transparantiebeginsel informatie en communicatie in verband met de verwerking van die persoonsgegevens eenvoudig toegankelijk en begrijpelijk moeten zijn, en dat duidelijke en eenvoudige taal moet worden gebruikt. Het beginsel betreft met name het informeren van de betrokkenen over de identiteit van de verwerkingsverantwoordelijke en de doeleinden van de verwerking. Tevens bevat het beginsel verdere informatie om te zorgen voor behoorlijke en transparante verwerking met betrekking tot de natuurlijke personen in kwestie en hun recht om bevestiging en mededeling te krijgen van hun persoonsgegevens die worden verwerkt.

De gemeente Rotterdam heeft aangegeven zich ervan bewust te zijn dat er duidelijker moet worden gecommuniceerd over het gebruik van algoritmen. Ook uit een interne beoordeling van het risico-inschattingsmodel, die de gemeente op eigen initiatief heeft laten uitvoeren voorafgaand aan het rapport van de Rekenkamer Rotterdam, was al gebleken dat transparantie rondom en communicatie over het gebruik van het algoritme aandacht behoeven. De gemeente heeft inmiddels actie uitgezet om dit te verbeteren. Dit zou in de komende maanden zichtbaar moeten worden.

Vraag 7

Hoe verhoudt het gebruik van algoritmes binnen het project ‘Analytics Uitkeringsfraude’ zich tot de rechterlijke uitspraak van 5 februari 2020 die het gebruik van het fraude-opsporingssysteem SyRI verbiedt?

Antwoord vraag 7

In de SyRI-uitspraak wijst de rechtbank fraudebestrijding en het verzamelen en combineren van gegevens en het gebruik van algoritmen/profilering daarvoor niet zonder meer af. De rechtbank oordeelde dat het programma niet in verhouding stond met de inmenging in de privacy die de toepassing met zich meebracht. Het systeem was volgens de rechtbank onvoldoende transparant, o.a. over welke objectieve feitelijke gegevens tot een verhoogd risico konden leiden, over de werking van het risicomodel (dus welk type algoritme, welke methode voor risicoanalyse), en over hoe het model gevalideerd werd. Ook was het niet duidelijk hoe betrokkenen geïnformeerd werden of konden controleren of hun gegevens op de juiste manier werden verwerkt. Bovendien werden bij SyRI veel gegevens gecombineerd, zonder integraal toezicht van een onafhankelijke derde, wat strijdig is met doelbinding. Tot slot was niet duidelijk of het risico op discriminatie werd ondervangen.

In algemene zin bestaat er ruimte om algoritmen in te zetten bij het uitoefenen van taken en bevoegdheden. De wet biedt daar kaders voor, in het bijzonder de AVG. De rekenkamer en de bestuurlijke reactie van de gemeente Rotterdam adresseren dezelfde zorgen die ook in deze uitspraak geuit zijn. Daarbij gaat het met name om transparantie en om de validatie van de gebruikte modellen.

Vraag 8

Wat vindt u ervan dat het project ‘analytics uitkeringsfraude’ al vier jaar bestaat, in toenemende mate wordt gebruikt om uitkeringsgerechtigden te selecteren voor controles, maar nog altijd de status van een pilot heeft?

Antwoord vraag 8

De gemeente Rotterdam heeft aangegeven dat het project feitelijk niet meer de status heeft van een pilot, ook al suggereert de naamgeving dit. De gemeente heeft toegezegd hierover duidelijk te zullen communiceren, bijvoorbeeld via haar website.

Vraag 9

Bent u bereid, op basis van het rapport van de Rekenkamer Rotterdam, deze uitgerekte pilot met onmiddellijke ingang stop te laten zetten? Zo nee, waarom niet?

Antwoord op vraag 9

Uiteindelijk zijn gemeenten zelf verantwoordelijk voor naleving van de wet. Dat geldt ook wanneer zij algoritmen inzetten. Als rijksoverheid bieden wij kaders en beleid om dit zo goed mogelijk te doen.

Vraag 10

Hoe is het mogelijk dat er algoritmes worden ingezet zonder dat de betrokken ambtenaren, volgens de Rekenkamer Rotterdam, ook maar beseffen dat daar ethische risico’s aan zijn verbonden?

Antwoord vraag 10

In het rapport is niet gesteld dat de betrokken ambtenaren geen enkel besef hebben van de ethische risico’s die zijn verbonden aan het gebruik van algoritmen. Wel constateert de Rekenkamer Rotterdam dat instrumentarium om ethische risico’s in beeld te brengen en te toetsen, onvoldoende aanwezig is of wordt gebruikt. De gemeente Rotterdam heeft aangegeven ervoor zorg te dragen dat gemaakte keuzes rondom ethische vraagstukken, navolgbaar zullen worden vastgelegd.

Vanuit het ministerie van BZK zetten we de komende jaren in op het beter over het voetlicht brengen van eerdergenoemde instrumenten voor een verantwoorde inzet van algoritmen. Daarnaast hebben we het Rathenau Instituut gevraagd om in kaart te brengen op welke vlakken (denk aan bijvoorbeeld kennis, capaciteit en processen) overheidsorganisaties verder versterkt kunnen worden om mensenrechten (zoals non-discriminatie) bij digitalisering (en dus de inzet van algoritmen) te borgen.

Vanuit de Vereniging van Nederlandse Gemeenten (VNG) worden gemeenten daarnaast gestimuleerd om een commissie in te zetten die advies geeft over de ethische en maatschappelijke aspecten van digitaliseringsprojecten.

Vraag 11

Deelt u de mening dat de verantwoorde inzet van algoritmes onmogelijk is zonder besef van de risico’s? Zo nee, waarom niet? Zo ja, wat onderneemt u om bewustwording en kennis onder rijksambtenaren en medeoverheden op dit vlak te vergroten?

Antwoord vraag 11

Die mening deel ik. Het bewustzijn van de risico’s is altijd de eerste stap. Er bestaan al instrumenten, zoals het Privacy Impact Assessment (PIA), waarmee de risico’s in kaart worden gebracht. Zo’n PIA moet worden gedaan bij het verwerken van (bijzondere) persoonsgegevens. Aanvullend werkt het kabinet aan de ontwikkeling en toepassing van instrumenten die overheden en bedrijven ondersteunen bij het beter in de praktijk toepassen van wettelijke verplichtingen en die (daarmee) helpen algoritmen op verantwoorde wijze in te zetten. Onder de beantwoording van vraag vier ben ik al ingegaan op de Handreiking AI-systeemprincipes voor non-discriminatie en het impact assessment mensenrechten en algoritmen (IAMA). Ook heeft het kabinet richtlijnen voor data-analyse opgesteld die op verschillende plekken binnen de overheid zijn getest en momenteel verder worden doorontwikkeld. Vanuit het innovatiebudget financier ik projecten die zien op verantwoorde inzet van algoritmen. Onder die projecten is ook het project ’Public AI in Control’ dat de Rekenkamer Rotterdam als goed voorbeeld benoemt. Ten slotte wordt op dit moment een vervolg op de nationale AI-cursus ontwikkeld met speciale aandacht voor ethiek.

Vraag 12 en 13

Wat vindt u ervan dat de gemeente Rotterdam nog geen overzicht heeft van de algoritmes die de gemeente zelf gebruikt? Wat onderneemt u om een overzicht te krijgen van alle overheidsalgoritmes? Bent u bijvoorbeeld bereid om er bij medeoverheden op aan te dringen dat zij ieder een centrale regisseur en eindverantwoordelijke benoemen voor het gebruik van algoritmes?

Hoe staat het met de uitvoering van de motie-Klaver c.s. die de regering verzoekt om een algoritmeregister op te zetten zodat iedereen, ook experts van buiten, toezicht kan houden op mogelijk discriminerende algoritmes? Kunt u een nauwkeurig tijdpad geven van de uitvoering van deze motie?

Antwoord vraag 12 en 13.

De gemeenten zijn zelf verantwoordelijk om een overzicht te hebben van algoritmen die worden ingezet. Vanuit mijn verantwoordelijkheid voor de digitale overheid wordt vanuit BZK onderzoek gedaan naar de nut- en noodzaak van een algoritmeregister. De gemeente Rotterdam experimenteert hiermee. Daarnaast zijn er ook proeven in Amsterdam, Utrecht en de provincie Zuid-Holland. In een dergelijk register worden algoritmen opgenomen die voor burgers en toezichthouders in te zien zijn. Een register kan informatie verschaffen over het type algoritmen, maar ook over de data die gebruikt zijn. Ook kan zo’n register een status overzicht geven van de kwaliteitseisen die toegepast zijn en de verantwoordelijke vermelden waar burgers terecht kunnen met vragen. Het is belangrijk dat een algoritmeregister aansluit bij de behoeften van burgers. Ik kom hier op terug in de brief aan uw Kamer die medio juni verschijnt en bericht over de voortgang van moties die zijn ingediend tijdens het debat over het rapport van de Parlementaire Ondervragingscommissie Kinderopvangtoeslag.

Vraag 14 en 15.

In hoeverre denkt u dat de door de Rekenkamer geconstateerde problemen rond het gebruik van algoritmes in Rotterdam ook spelen in andere gemeenten? Hoe houdt u daar zicht op?

Welke instanties houden toezicht op het gebruik van algoritmes bij de rijksoverheid en medeoverheden? Hoeveel modellen zijn door een toezichthouder getoetst en hoeveel zijn aangemerkt als problematisch?

Antwoord op vraag 14 en 15.

Ik heb geen zicht op het gebruik van algoritmen door gemeenten, en ik heb geen signalen ontvangen dat er in andere gemeenten soortgelijke problemen spelen. Er vinden interne controles plaats bij gemeenten, daarnaast zijn er ook externe controles van gemeentelijke auditdiensten en van gemeentelijke rekenkamers. Op Rijksniveau vinden ook interne controles plaat, is de Audit Dienst Rijk bevoegd om audits uit te voeren op algoritmen en doet de Algemene Rekenkamer (ARK) regelmatig onderzoek naar algoritmen. Onlangs nog heeft de ARK een onderzoek afgerond “Aandacht voor algoritmen” met daarin een overzicht van algoritmen die het Rijk gebruikt. (3) Daarnaast zijn er toezichthouders zoals de Autoriteit Persoonsgegevens en het College voor de Rechten van de Mens die proactief, of op basis van signalen die ze krijgen, onderzoek kunnen instellen. De Nationale Ombudsman doet onderzoek naar klachten. Recent bracht de Nationale Ombudsman een onderzoek naar buiten “de burger is geen dataset”. (4) Verder is in mijn opdracht recent door TNO opnieuw een quick-scan gemaakt met daarin een inventarisatie van AI-toepassingen in de publieke sector. (5)

Vraag 16 en 17

Deelt u de conclusie van de Rekenkamer Rotterdam dat de bestaande AVG-wetgeving niet toereikend is voor goede borging van de ethiek en kwaliteit van algoritmes? Zo nee, waarom niet? Zo ja, op welke wijze zou de wetgeving moeten worden aangepast?

Bent u bereid om de aanbeveling van de Rekenkamer Rotterdam, om voor alle algoritmes regels, richtlijnen en instructies te formuleren die toezien op transparantie en eerlijkheid en die voorzien in de systematische beoordeling en evaluatie van in gebruik zijnde algoritmes, Rijksbreed op te volgen?

Antwoord vraag 16 en 17

Het kabinet heeft eerder in de kabinetsreactie op drie algoritmeonderzoeken geconcludeerd dat algoritmen niet in een juridisch vacuüm vallen. (6) Zo bevat de AVG uitvoerige eisen voor de kwaliteit van data en vraagt zij tests die van tevoren moeten worden gedaan, óók om andere fundamentele vrijheden te beschermen. Toch bestaan er in praktische zin knelpunten, zoals de mogelijkheid om ‘bijzondere persoons­gegevens’ te gebruiken om de kwaliteit van modellen en data te beoordelen. (7) Het kabinet zal een wettelijke grondslag voor de verwerking van bijzondere persoonsgegevens in het leven roepen die ertoe strekt het onder strenge voorwaarden mogelijk te maken gegevens te verwerken om discriminatie in een algoritmisch model te voorkomen. (8) Daarnaast zal het kabinet bezien of in aanvulling op de bestaande transparantieverplichtingen die voortvloeien uit de AVG, aanvullende wettelijke waarborgen nodig zijn die o.a. beogen om het publiek beter te informeren. Tot slot vindt het kabinet het van belang om wet- en regelgeving die veel open normen bevatten, beter toepasbaar te maken voor de ontwerppraktijk. Zie ook het antwoord op vraag 11. Begin juni zal een voortgangsrapportage AI en algoritmen uw Kamer bereiken. Hierin worden de verschillende acties die nodig zijn om burgers de noodzakelijke bescherming te bieden verder toegelicht.

Voetnoten:

(1) https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/nieuwe-technologieen-data-en-ethiek/publieke-waarden/toolbox-voor-ethisch-verantwoorde-innovatie/
(2) Kamerstukken II 2020/21, 26 643, nr. 751.
(3) https://www.rekenkamer.nl/over-de-algemene-rekenkamer/publicaties/rapporten/2021/01/26/aandacht-voor-algoritmes
(4) https://www.nationaleombudsman.nl/nieuws/onderzoeken/2021021-een-burger-is-geen-dataset
(5) https://www.rijksoverheid.nl/documenten/rapporten/2021/05/20/quickscan-ai-in-publieke-dienstverlening-ii
(6) Kamerstukken II 2020/21, 26 643, nr. 726.
(7) Kamerstukken II 2020/21, 31066, nr. 883.
(8) Kamerstukken II 2019/20, 26 643/32761, nr. 641

2021Z06776

Vraag 1
Kent u het bericht ‘Rekenkamer Rotterdam: risico op vooringenomen uitkomsten door gebruik algoritmes’? (1)

Antwoord vraag 1
Ja, het bericht is mij bekend.

Vraag 2

Aan welk wettelijk kader dienen gemeenten zich te houden bij het gebruik van algoritmes? Op welke kenmerken mag wel geselecteerd en gecontroleerd worden en op welke kenmerken niet? Kunt u dit zo uitgebreid mogelijk omschrijven?

Antwoord vraag 2

Het is belangrijk dat de inzet van algoritmen binnen het kader van de wet gebeurt. Een gemeente moet bij het handelen zorgen dat de mensenrechten, zoals neergelegd in onze Grondwet en in internationale verdragen worden nageleefd. Het verbod op discriminatie is één van deze mensenrechten. Het recht op een gelijke behandeling is verder uitgewerkt in de Algemene wet gelijke behandeling (Awgb) en een aantal specifieke wetten, zoals de Wet gelijke behandeling op grond van leeftijd, de Wet gelijke behandeling van mannen en vrouwen en de Wet gelijke behandeling op grond van handicap of chronische ziekte. Daarnaast is de Algemene wet bestuursrecht (Awb) van toepassing op het nemen van besluiten door een gemeente. Dat geldt ook als daarvoor algoritmen worden ingezet. Ook dan moeten besluiten zorgvuldig worden voorbereid en goed worden gemotiveerd. Met de ‘Richtlijnen voor het toepassen van algoritmen door overheden en publieksvoorlichting over data-analyses’ worden handvatten gegeven om invulling te geven aan de algemene beginselen van behoorlijk bestuur. De richtlijnen zijn vooral gericht op de transparantie en daarmee de uitlegbaarheid van algoritmen, de werking en toepassing daarvan, bedoeld om het inzicht te vergroten alsmede de kwaliteit en betrouwbaarheid van algoritmen te verbeteren. De richtlijnen zijn een hulpmiddel en zijn vooralsnog niet verplicht. Tot slot stelt de Algemene verordening gegevensbescherming (AVG) eisen aan het verwerken van gegevens. Die verbiedt het gebruik van bijzondere persoonsgegevens, zoals etniciteit of levensovertuiging, tenzij daar een uitzondering voor is, zoals een wettelijke grondslag.

Het in gelijkebehandelingswetgeving neergelegde verbod van onderscheid geldt niet ten aanzien van indirect onderscheid als dat onderscheid objectief gerechtvaardigd wordt door een legitiem doel en de middelen voor het bereiken van dat doel passend en noodzakelijk zijn. Direct onderscheid is in principe verboden. Wel zijn in de verschillende wetten een paar bijzondere uitzonderingen opgenomen, die per discriminatiegrond verschillen. Bij direct onderscheid wordt onderscheid gemaakt op grond van afkomst of huidskleur, geslacht, seksuele gerichtheid, leeftijd, godsdienst, handicap, levensovertuiging, politieke gezindheid en burgerlijke staat.

Het is niet toegestaan om deze gronden te gebruiken in modellen en algoritmische data-analyses tenzij er een objectieve rechtvaardiging voor is en het gemaakte onderscheid proportioneel is. Dit geldt ook voor kenmerken die indirect verwijzen naar deze beschermde gronden.

Vraag 3 en 4
Sinds wanneer is het gebruik van etniciteit, nationaliteit en afkomst verboden in de toepassing op risicoselectie en risicoprofilering? In welke gevallen is dit verboden en in welke gevallen niet?

Kunt u uitsluiten dat gemeenten etniciteit, afkomst of nationaliteit gebruiken als indicator bij risicoselectie of risicoprofilering? Zo ja, op basis waarvan? Zo nee, hoe gaat u dit uitsluiten?

Antwoord vraag 3 en 4
Het is niet toegestaan om nationaliteit en etniciteit te gebruiken als indicator in risicomodellen voor fraudebestrijding, tenzij er een objectieve rechtvaardiging voor die gegevensverwerking is, er een wettelijke basis is, en het gemaakte onderscheid proportioneel is. Een algemeen verbod op ieder direct of indirect gebruik van nationaliteit of etniciteit bij risicoprofilering in de wetshandhaving gaat te ver en zou het rechtmatige gebruik in gevaar kunnen brengen. Daarvan is bijvoorbeeld sprake als de regelgeving een rechtmatig onderscheid maakt op nationaliteit, zoals dat soms gebeurt in de belastingregelgeving. Als iemand met de Nederlandse nationaliteit in Nederland heeft gewoond en Nederland (definitief) heeft verlaten, wordt hij voor de schenk- en erfbelasting geacht nog tien jaar in Nederland te wonen (artikel 3 Successiewet). Deze wetsfictie geldt alleen voor personen met de Nederlandse nationaliteit. Deze regels moeten ook worden gehandhaafd. En daarbij speelt nationaliteit dan ook een rol.

Er vindt momenteel een rijksbrede inventarisatie plaats naar het onrechtmatig (niet volgens geldende wet- en regelgeving toegestane) en het oneigenlijk (niet objectief gerechtvaardigd) gebruik van nationaliteit, etniciteit en geboorteplaats in risicomodellen. Als gegevens zijn gebaseerd op onrechtmatig en oneigenlijk gebruik in risicomodellen, dan worden deze gegevens beschouwd als vervuilde data en worden deze opgeruimd door de overheidsinstellingen zelf. Gemeenten en andere overheidsinstellingen zijn bij deze inventarisatie betrokken in zoverre zij onderdeel zijn van de ketens en dienstverleningsprocessen aan burgers en bedrijven. Op 8 april jl. zond ik uw Kamer hierover een brief. (2) De rijksbrede inventarisatie is een uitwerking van de motie van het lid Marijnissen (SP) c.s. om voor 1 maart een voorstel te doen hoe overal binnen overheidsinstellingen vervuilde data, risicomodellen en het gebruik van nationaliteit worden opgeruimd met inachtneming van de motie van het lid Klaver (GroenLinks) c.s. om hierbij niet alleen te kijken naar nationaliteit, maar ook naar etniciteit en geboorteplaats.

Vraag 5
Deelt u de zorg van de Rekenkamer Rotterdam, namelijk dat op een indirecte manier, door indicatoren te gebruiken die correleren met afkomst en etniciteit, afkomst en etniciteit alsnog een rol spelen bij selectie door algoritmen? Zo ja, op welke manier gaat u dergelijk gebruik van algoritmen in de toekomst voorkomen? Zo nee, waarom niet?

Antwoord vraag 5

Ik deel die zorg. Het gebruik van directe beschermde gronden is het meest zichtbaar. Het gebruik van kenmerken die indirect verwijzen naar een beschermde grond is lastiger te herkennen. In het voorbeeld van de Rekenkamer Rotterdam wordt spreekvaardigheid genoemd als een kenmerk dat indirect kan verwijzen naar iemands afkomst of etniciteit. Om overheden en bedrijven te ondersteunen bij het voorkomen van discriminatie – zowel door direct als door indirect onderscheid – heeft het kabinet de Handreiking AI-systeemprincipes voor non-discriminatie laten ontwikkelen. De handreiking bevat een handzaam overzicht van de belangrijkste non-discriminatiewetgeving en allerlei voorbeelden van direct en indirect onderscheid die mogelijk kunnen leiden tot discriminatie. De handreiking helpt om al in de ontwikkelfase van een AI-systeem – met algoritmen – discriminerende patronen in gegevens zoveel mogelijk te identificeren, te voorkomen en te bestrijden. In de handreiking is een vertaalslag gemaakt van essentiële juridische kaders naar operationele ontwerpprincipes. Binnenkort zal mijn ministerie daarnaast een impact assessment mensenrechten en algoritmen (IAMA) publiceren. Dit impact assessment helpt overheden om risico’s voor mensenrechten (waaronder non-discriminatie) bij de ontwikkeling van systemen in kaart te brengen en te mitigeren. Verschillende instrumenten voor een verantwoorde inzet van algoritmen komen samen in de toolbox ethisch verantwoord innoveren voor overheden. (

Tot slot wijs ik er op dat de gemeente Rotterdam al het een en ander doet om algoritmen verantwoord in te zetten onder o.a. in het project ’Public AI in Control’ dat de Rekenkamer Rotterdam als goed voorbeeld benoemt. In het tweede deel van de beantwoording van vraag 9 kom ik daar kort op terug.

Vraag 6
Bent u bereid om bij alle gemeenten na te gaan of een dergelijke indirecte benadering van afkomst of etniciteit (bewust of onbewust) wordt toegepast? Zo ja, wat is hiervan de uitkomst? Zo nee, waarom niet?

Vraag 7

Kunt u aangeven welke indicatoren door gemeenten gebruikt worden in algoritmen die benut worden in de sfeer van risicoselectie/risicoprofilering?

Antwoorden op vraag 6 en 7

Ik vind dit het verantwoordelijkheidsdomein van de gemeenteraad/College van Burgemeester en Wethouders, lokale toezichthouders en Rekenkamers. Daarnaast wijs ik graag op de rijksbrede inventarisatie in de beantwoording van vragen 3 en 4. In deze inventarisatie zijn ook gemeenten betrokken indien zij onderdeel uitmaken van de ketens en dienstverleningsprocessen aan burgers en bedrijven.

Vraag 8
Deelt u de constatering dat er mogelijk vooringenomen uitkomsten kunnen zijn indien er te weinig regelgeving is omtrent welke indicatoren wel en welke indicatoren niet benut mogen worden bij risicoselectie door algoritmen? Zo ja, bent u bereid dit wettelijk kader aan te scherpen? Zo nee, waarom niet?

Antwoord vraag 8

Het kabinet heeft in de kabinetsreactie op drie algoritmeonderzoeken geconcludeerd dat algoritmen niet in een juridisch vacuüm vallen. (4) Meer specifiek op het gebied van non-discriminatie zijn beschermde gronden vastgelegd in de Grondwet en deze bepalingen zijn uitgewerkt in verschillende wetten, zoals de Algemene wet gelijke behandeling (Awgb). Het kabinet stelt wel vast dat wet- en regelgeving veel open normen bevatten en dat deze beter toepasbaar moeten worden gemaakt voor de praktijk. De hiervoor genoemde Handreiking AI-systeemprincipes voor non-discriminatie en het impact assessment mensenrechten en algoritmen (IAMA) kunnen hier een praktische invulling aan geven.

Op 25 februari jl. is door de initiatiefnemers een wijziging van artikel 1 van de Grondwet ingediend voor tweede lezing. In dit voorstel zijn twee extra gronden opgenomen, namelijk handicap en seksuele geaardheid. Daarnaast merk ik op dat het kabinet actief bijdraagt aan de ontwikkeling en uitwerking van het voorstel van de Europese Commissie voor een Verordening over AI en algoritmen. Het BNC-fiche daarover wordt binnenkort aan Uw kamer gezonden.

Vraag 9
Deelt u de conclusies van de Rekenkamer Rotterdam, dat de interne en externe transparantie van het gebruik van algoritmen verbeterd dient te worden? Zo ja, bent u bereid om hier bij alle gemeenten op aan te dringen en hoe gaat u bewerkstelligen dat gemeenten op dit vlak beterschap gaan vertonen? Zo nee, waarom niet?

Antwoord vraag 9

Ik deel in algemene zin het belang van transparantie bij het gebruik van algoritmen. Het kabinet zal bezien of in aanvulling op de bestaande transparantieverplichtingen die voortvloeien uit de Algemene wet bestuursrecht en de AVG, aanvullende wettelijke waarborgen nodig zijn die o.a. beogen om het publiek beter te infomeren over de inzet van algoritmen. Deze richtlijnen zullen nadrukkelijk onder de aandacht gebracht worden van overheidsorganisaties.

De gemeenten zijn zelf verantwoordelijk om een overzicht te hebben van algoritmen die worden ingezet. Vanuit mijn verantwoordelijkheid voor de digitale overheid wordt vanuit BZK onderzoek gedaan naar de nut- en noodzaak van een algoritmeregister. De gemeente Rotterdam experimenteert hiermee. Daarnaast zijn er ook proeven in Amsterdam, Utrecht en de provincie Zuid-Holland. In een dergelijk register worden algoritmen opgenomen die voor burgers en toezichthouders in te zien zijn. Een register kan informatie verschaffen over het type algoritmen, maar ook over de data die gebruikt zijn. Ook kan zo’n register een statusoverzicht geven van de kwaliteitseisen die toegepast zijn en de vermelding van de verantwoordelijke functionaris waar burgers terecht kunnen met vragen. Het is belangrijk dat een algoritmeregister aansluit bij de behoeften van burgers. Ik kom hier op terug in de brief aan uw Kamer die medio juni verschijnt en bericht over de voortgang van moties die ingediend zijn tijdens het debat over het rapport van de Parlementaire Ondervragingscommissie Kinderopvangtoeslag.

Vraag 10
Is er een toezichthoudend orgaan op de toepassing van algoritmen door gemeenten? Zo nee, bent u bereid om een dergelijk toezichthoudend orgaan in te richten?

Antwoord vraag 10

Voor burgers is het van belang dat ze kunnen vertrouwen op goed werkende interne en externe controlemechanismen. Onafhankelijk toezicht is daar een onderdeel van. Ook moeten burgers laagdrempelig terecht kunnen bij een instantie met klachten over het gebruik van algoritmen.

De gemeentelijke rekenkamers spelen een rol door hun bevoegdheid om achteraf onafhankelijk onderzoek te doen en burgers kunnen voor klachten terecht bij de nationale of de gemeentelijke ombudsman. Ook kunnen burgers terecht bij een gemeentelijke anti-discriminatievoorziening (adv). Een adv heeft tot taak om onafhankelijke bijstand te verlenen aan personen bij de afwikkeling van hun klachten betreffende onderscheid als bedoeld in de gelijke behandelingswetgeving.

Er is een breed scala aan toezichthouders actief die toezien op algoritmen, zoals het College voor de Rechten van de Mens, de Autoriteit Persoonsgegevens en de Autoriteit Consument en Markt die ook toezicht houden op gemeenten. Bij het grootste deel van de toezichthouders is toenemende aandacht voor toezicht op algoritmen. Voor toezicht specifiek op de overheid is geconcludeerd dat er geen juridische lacunes zijn in de toezichtstaken en -bevoegdheden met betrekking tot algoritmegebruik. Een nieuwe toezichthouder wordt vooralsnog dan ook niet noodzakelijk geacht. Wel is het van belang voor zowel publiek als privaat toezicht dat toezichthouders vanuit hun eigen expertise en toezichtdomein toezicht houden. Daarbij is samenwerking van groot belang. In het voorjaar van 2020 is door toezichthouders de werkgroep toezicht op AI opgericht. Deze werkgroep draagt eraan bij dat de samenwerking tussen toezichthouders een meer structurele vorm krijgt.

Voetnoten:

(1) https://nos.nl/artikel/2376810-rekenkamer-rotterdam-risico-op-vooringenomen-uitkomsten-door-gebruik-algoritmes.html
(2) Kamerstukken II 2020/21, 26 643, nr. 751.
(3) https://www.digitaleoverheid.nl/overzicht-van-alle-onderwerpen/nieuwe-technologieen-data-en-ethiek/publieke-waarden/toolbox-voor-ethisch-verantwoorde-innovatie/
(4) Kamerstukken II 2020/21, 26 643, nr. 726.