Datum 4 juli 2022
Betreft Kamerbrief met reactie op Amnesty rapport Xenofobe Machines
Staatssecretaris Van Huffelen (Koninkrijksrelaties en Digitalisering) stuurt de Tweede Kamer haar reactie op de aanbevelingen in het onderzoeksrapport Xenofobe Machines van Amnesty International.
In 2021 verscheen het onderzoeksrapport ‘Xenofobe Machines’ van Amnesty International. Het rapport behandelt mensenrechtenrisico’s bij het gebruik van algoritmische besluitvormingssystemen door de overheid. De directe aanleiding is de toeslagenaffaire. Het kabinet heeft in zijn reactie op het rapport ‘Ongekend onrecht’ acties aangekondigd om te voorkomen dat zulk onrecht nog eens gebeurt. Die acties richten zich bijvoorbeeld op de rol van uitvoeringsorganisaties en de hardheid van besluiten die zij kunnen nemen, op het datagebruik en de IT-voorzieningen bij de overheid, op de toegang voor burgers tot het recht en op het voorkomen van discriminatie door de overheid (1).
Hoewel veel verschillende factoren tot de toeslagenaffaire hebben geleid, richten de schrijvers van dit Amnesty-rapport zich vooral op de rol van algoritmen en doen zij verschillende aanbevelingen om het gebruik van algoritmen bij besluitvormingsprocessen in de publieke sector in lijn te brengen met mensenrechten. Amnesty speelt wereldwijd een fundamentele rol in de bescherming van mensenrechten, iets wat mij aan het hart gaat. Ik waardeer dit rapport dan ook: algoritmen spelen een steeds grotere rol in onze samenleving en bij de overheid. Dit kabinet wil ervoor zorgen dat algoritmen met respect voor mensenrechten worden ontwikkeld en gebruikt. In het coalitieakkoord heeft het kabinet aangegeven wettelijk te gaan regelen dat algoritmen worden gecontroleerd op transparantie, discriminatie en willekeur en te willen zorgen voor effectief toezicht op algoritmen, onder meer door de oprichting van een algoritmetoezichthouder. In brede zin is er veel werk te verzetten op het terrein van de digitale overheid, in Nederland en in de EU. Recentelijk heb ik mijn hoofdlijnenbrief naar uw Kamer gestuurd waarin ik de speerpunten voor het digitaliseringsbeleid van de komende jaren uiteen heb gezet.
Hieronder volgt, mede namens de minister voor Rechtsbescherming en de staatssecretaris van Financiën (Toeslagen en Douane), mijn reactie op de aanbevelingen van Amnesty. Bij aanbeveling 1 zal ik in het algemeen ingaan op het kader rond algoritmische besluitvormingssystemen. Daarna volgt een reactie op de specifieke aanbevelingen inzake transparantie, toezicht en rechtsmiddelen.
1. Bescherm de mensenrechten bij het gebruik van algoritmische besluitvormingssystemen
Regeringen moeten een kader tot stand brengen dat a) mensenrechtenschendingen voorkomt bij het gebruik van algoritmische besluitvormingssystemen, b) monitoring- en toezichtmechanismen instelt als waarborg, c) degenen die verantwoordelijk zijn voor schendingen ter verantwoording roept, en d) voorziet in effectieve rechtsmiddelen voor individuen en groepen wier rechten zijn geschonden.
In haar onderzoek richt Amnesty zich op algoritmische systemen en algoritmische besluitvormingssystemen (2). Overheidshandelen moet binnen de kaders van de mensenrechten plaats vinden, ook als gebruik wordt gemaakt van algoritmische besluitvormingssystemen. Dat staat voorop.
Wetgeving
Om mensenrechten te beschermen, moeten overheden zich aan de huidige wet- en regelgeving houden en wordt nieuwe wet- en regelgeving voorbereid die ook op algoritmische besluitvormingssystemen van toepassing is.
Er is al een kader dat algoritmische besluitvorming reguleert: de Grondwet en de fundamentele mensenrechten vereisen dat een inbreuk op een recht alleen is toegelaten indien deze wettelijk is geregeld en noodzakelijk en proportioneel is. Domein-specifieke wetgeving reguleert de bevoegdheid waaruit besluitvorming volgt; het bestuursprocesrecht stelt regels aan besluitvorming, zoals de motivering ervan en hoor en wederhoor. De privacy- en gegevensbeschermingswetgeving (waaronder de Algemene Verordening Gegevensbescherming (AVG)) stelt regels aan het gebruik van persoonsgegevens en geautomatiseerde besluitvorming met behulp van persoonsgegevens. Het non-discriminatierecht verbiedt het maken van een (ongerechtvaardigd) onderscheid tussen mensen.
Het moet vanzelfsprekend zijn dat de overheid volgens deze juridische kaders werkt, ook bij het gebruik van algoritmen. In elke fase van de levenscyclus van algoritmische besluitvormingssystemen (ontwerpen, bouwen, testen, gebruiken en monitoren) moet aandacht zijn voor de risico’s voor mensenrechten. Dat is belangrijk, omdat er mensenrechtelijke risico’s kunnen kleven aan techniek die niet goed werkt, niet goed gebruikt wordt of moeilijk te doorgronden is (3). Een algoritme dat niet goed werkt of verkeerd gebruikt wordt, kan bijvoorbeeld discriminerende vooroordelen bevatten die onvoldoende worden herkend.
Specifiek voor AI-systemen met een hoog risico voor mensenrechten, de gezondheid en veiligheid is er wetgeving in voorbereiding die met name de ontwikkelingsfase van deze systemen verder reguleert. Deze conceptwetgeving is in belangrijke mate van toepassing op algoritmische besluitvormingssystemen bij de overheid. De Europese Commissie heeft in 2021 de AI-verordening voorgesteld en Nederland draagt met de andere EU-lidstaten bij aan de totstandkoming ervan. Deze concept verordening verbiedt een aantal AI-toepassingen die onaanvaardbare risico’s voor mensenrechten met zich meebrengt. Voor AI-systemen met een hoog risico is voorzien in een set eisen aan de ontwikkeling en ingebruikname van deze systemen waaraan aantoonbaar moet zijn voldaan (waarin mensenrechten worden meegenomen). Zo moet een risicoanalyse worden gedaan en worden onder andere eisen gesteld aan de datakwaliteit; de accuraatheid van het systeem; moet het systeem voldoende transparant zijn voor degene die het toepast en moet er adequaat menselijk toezicht op mogelijk zijn. Ook de accuratesse, de robuustheid tegen fouten en de beveiliging moeten in orde zijn. Met een beoordeling vooraf moeten aanbieders van zulke hoog-risico toepassingen aantonen dat het AI-systeem werkt in overeenstemming met deze eisen. Voor andere specifieke AI-systemen (emotieherkenning, deepfakes, bots) zijn aanvullende transparantieverplichtingen opgenomen.
Ook werkt de Europese Commissie aan andere wetsvoorstellen, zoals de Digital Services Act, en een herziening van het productaansprakelijkheidsrecht, die verschillende aspecten van de digitale samenleving, inclusief algoritmen, reguleren. Het uitgangspunt hierbij is de bescherming van mensenrechten bij de digitale transitie.
Naast de EU werkt ook de Raad van Europa aan een juridisch raamwerk voor AI, specifiek om mensenrechten en de democratische rechtsstaat te beschermen. Hierin wordt naar het zich laat aanzien extra aandacht besteed aan een mensenrechten impact assessment en aan het gebruik van algoritmische besluitvormingssystemen bij de overheid. Ook hier speelt Nederland een actieve rol. De onderhandelingen zijn gestart. Aan de Kamer zal ik een zo volledig mogelijk beeld geven van de mogelijke inhoud van het ontwerpverdrag.
Hoewel er in nationaal en Europees verband het nodige loopt op wetgevende terrein, blijft het kabinet alert op de toekomstbestendigheid van de juridische kaders in relatie tot algoritmen. Na de zomer volgt een reactie op recent AI-onderzoek van de Wetenschappelijke Raad voor het Regeringsbeleid hierover (4).
Versterking van de naleving
De beleidsmatige en juridische kaders moeten niet alleen toekomstbestendig zijn, maar ook in de praktijk worden nageleefd.
Het bewustzijn van de ethische en juridische kaders met betrekking tot de inzet van algoritmen is bij uitvoeringsorganisaties dus van groot belang. In het geval van verwerking van persoonsgegevens moet een gegevensbeschermingseffectberoordeling (DPIA/GEB) worden gedaan als er een hoog risico bestaat voor de rechten en vrijheden van natuurlijke personen en bij de totstandkoming van wetgeving. Die GEB omvat ook een discriminatietoets. De overheid moet van de naleving van het gegevensbeschermingsrecht prioriteit maken. Momenteel doet het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) van het ministerie van Justitie en Veiligheid daarom onderzoek naar manieren om die naleving te verbeteren. De verwachting is dat dit onderzoek in het tweede kwartaal van 2022 is afgerond (5).
Om wetten en regels beter toepasbaar te maken, zijn er daarnaast diverse hulpmiddelen en instrumenten ontwikkeld, zoals de Richtlijnen voor het gebruik van algoritmen door overheden, de Handreiking non-discriminatie by design om bias en non-discriminatie vroegtijdig te herkennen, een Impactassessment Mensenrechten en Algoritmen (IAMA) die risico’s voor mensenrechten in kaart brengt en een Code Goed Digitaal Bestuur met beginselen die richting geeft aan een verantwoorde inzet van technologie. Omdat er inmiddels diverse toetsingsinstrumenten en werkmethoden zijn ontwikkeld, wil ik kijken naar het gebruik ervan in de praktijk en of/waar stroomlijning aan de orde kan zijn. Ik heb uw Kamer toegezegd te onderzoeken of ‘non-discriminatie by design’ actief verspreid kan worden, (6) en of het IAMA verplicht kan worden (7). In de zomer zal ik uw Kamer informeren over de samenloop en praktische uitvoering van deze instrumenten bij de overheid.
Het Rathenau Instituut heeft onderzocht hoe uitvoeringsorganisaties met AI, specifiek pilots met algoritmische profilerende systemen, omgaan en wat hun werkwijze nodig heeft om beter mensenrechten te beschermen. Dit is van nut voor het Platform Gemeenten en Mensenrechten, waarin lokale praktijken worden uitgewisseld op het snijvlak van mensenrechten en lokaal beleid en uitvoering. Tevens werkt het bureau Hooghiemstra en Partners in opdracht van BZK aan een werkmethode om de kwaliteit van het gebruik van algoritmen bij de overheid beter te beoordelen waardoor de interne controle en toezicht versterkt worden. De resultaten daarvan zal ik voor het zomerreces naar de Kamer sturen.
Met ontwikkelingen als ’Calculemus-FLINT en Wendbaar wetgeven wordt door verschillende ministeries samengewerkt aan werkmethoden en instrumenten die bijdragen aan zorgvuldige vertaling van wetten naar algoritmen en mogelijkheden voor uitlegbaarheid van geautomatiseerd genomen besluiten. Daarnaast is recent een start gemaakt met een centrale vindplaats voor open regels, (8) zodat burgers dit vertaalproces beter kunnen controleren.
Voor toezicht, verantwoording en rechtsmiddelen verwijs ik u naar de reactie op aanbeveling 6, 7 en 9.
2. Geen black box-systemen in de publieke sector
Regeringen moeten afzien van het gebruik van black box-systemen in risicovolle situaties, zoals bij de opsporing van fraude in de sociale zekerheid.
Onder Black box-systemen verstaan we AI-systemen die zo complex zijn dat niet of niet volledig te reconstrueren is, hoe een uitkomst of resultaat tot stand is gekomen. Om die reden moet de overheid terughoudend zijn met het gebruik van black box systemen, zeker in genoemde risicovolle situaties.
Overheidsbesluiten moeten zorgvuldig tot stand komen en adequaat worden gemotiveerd. Wanneer algoritmen worden ingezet, is dat niet anders. Er is ook overheidsoptreden dat niet (direct) tot een besluit leidt of anderszins rechtsgevolgen heeft. Het gaat dan veelal om feitelijk handelen en onderzoek. Ook dit handelen is genormeerd. Naast op de mensenrechten en de algemene beginselen van behoorlijk bestuur kan in het bijzonder ook worden gewezen op de AVG, die de verwerking van persoonsgegevens normeert.
Het kabinet heeft al langer als uitgangspunt dat overheidsorganisaties in beginsel geen algoritmen hanteren die te complex zijn om redelijkerwijs te kunnen worden uitgelegd, in elk geval niet indien het gebruik van algoritmen rechtsgevolgen of een aanmerkelijke impact heeft op burgers, bedrijven of (groepen in) de samenleving. Dit uitgangspunt is neergelegd in de richtlijnen voor het gebruik van algoritmen door overheden (9).
Verder verwijs ik naar aanbeveling 1 en het daarin beschreven gebruik van instrumenten ter ondersteuning en de recent voorgestelde AI-verordening die aan hoog-risico systemen diverse eisen stelt om schendingen van mensenrechten te voorkomen.
3. Regulering van zelflerende algoritmen voor impactvolle besluitvorming
Regeringen moeten de inzet verbieden van zelflerende algoritmen tijdens de gebruiksfase van algoritmische besluitvormingssystemen in de publieke sector als het gaat om a) besluitvorming met rechtsgevolgen, b) besluitvorming en handelingen die de rechten en vrijheden van individuen aantasten, en c) besluitvorming en handelingen die een grote impact hebben op de samenleving.
Zoals hiervoor (onder aanbeveling 1) uiteengezet bieden de huidige juridisch kaders al de nodige waarborgen voor een verantwoorde inzet van algoritmen bij overheidsbesluitvorming en zet ik in op hulpmiddelen en nieuwe regels die moeten borgen dat algoritmische systemen bij hoge risico’s voor de rechten en vrijheden, voordat ze in gebruik worden genomen, zorgvuldig worden getoetst.
Het is goed om te kijken naar het onderscheid tussen de gebruiksfase en ontwikkelfase. Algoritmen die machinaal leren zonder menselijk toezicht of automatisch herijkt worden op basis van hun eigen uitvoer (feedback loop) hebben extra aandacht en menselijke controle nodig. Daarom is het goed dat de AI-verordening eisen stelt aan de ontwikkeling van AI-systemen met een hoog risico, en dat deze systemen vervolgens blijvend gecontroleerd worden als er aanpassingen plaatsvinden in de werking van het systeem. Daarnaast moet het functioneren bijgehouden worden en is menselijke controle nodig. Ook kan het gebruik van impact assessments hierin helpen.
In bepaalde gevallen kan een verbod aan de orde zijn. De voorgenomen AI-Act kent bijvoorbeeld een verbod op social scoring: Systemen die namens de overheid op grote schaal de betrouwbaarheid van burgers op basis van hun gedrag evalueren.
4. Openbaar register voor algoritmische besluitvormingssystemen
Regeringen dienen een zo groot mogelijke transparantie te bieden met betrekking tot het gebruik van algoritmische besluitvormingssystemen in de publieke sector, door een openbaar register in te stellen dat gedetailleerde en uitgebreide informatie bevat over het gebruik van algoritmische besluitvormingssystemen in de publieke sector.
Het kabinet vindt transparantie over het gebruik van algoritmische besluitvormingssystemen in de publieke sector van groot belang omdat dit het publiek en het parlement beter in staat stelt om te controleren hoe de overheid werkt. Daarbij kan publieksvoorlichting een rol spelen, (10) en het gebruik van algoritmeregisters.
De Tweede Kamer heeft moties aangenomen voor het invoeren van een algoritmeregister door overheden, (11) en om deze ook verplicht te stellen (12). Om aan deze wens tegemoet te komen wil ik nationaal al aan de slag met een algoritmeregister. Ik maak daarbij dankbaar gebruik van ervaringen met recent opgezette bestaande algoritmeregisters (zoals die van Amsterdam, Utrecht en Rotterdam). Met de CIO’s van de Rijksdienst heb ik afgesproken dat zij beginnen met het in het kaart brengen van hun algoritmen en maak ik met medeoverheden en uitvoeringsorganisaties afspraken over eenduidige registratie van algoritmen. Op de juridische en beleidsmatige keuzes die hierbij spelen wil ik in de zomer terugkomen.
Een verplicht register voor algoritmische systemen moet namelijk bij wet geregeld worden, en die verplichting moet bezien worden in relatie tot de Europese AI-verordening, in het bijzonder de voorgestelde rechtstreeks werkende verplichting om informatie over AI-systemen op te nemen in een EU-database. Deze verplichting is van toepassing op de leveranciers van de hoog-risico systemen genoemd in Bijlage III van de verordening. Algoritmische besluitvormingssystemen die worden ingezet op overheidsterreinen, zoals rechtshandhaving en (ter bepaling van toegang tot) publieke diensten, vallen hieronder voor zover zij beantwoorden aan de in de verordening opgenomen definitie van AI. Deze verplichting geldt alleen voor de aanbieders van deze systemen. Hoewel overheden zelf ook hoog risico AI-systemen ontwikkelen (en dan dus ook als aanbieder worden aangemerkt), zal het dus niet altijd de overheid zijn die registreert. In EU-verband zet Nederland zich er dan ook voor in dat ook gebruikers registreren dat zij gebruik maken van een hoog-risico systeem en dat aan burgers melden, Zo is niet alleen duidelijk welke hoog-risico systemen ontwikkeld zijn, maar ook waar ze worden gebruikt.
Mijn inzet is dat het voor burgers kenbaar moet zijn hoe de overheid algoritmische besluitvormingssystemen gebruikt, zeker als ze met die besluiten geconfronteerd worden. Registers kunnen daar een belangrijke rol in spelen.
5. Transparantie bij (semi-)geautomatiseerde besluitvormingssystemen
Regeringen dienen volledig transparant te zijn over algoritmische besluitvormingssystemen en de betrokken mensen zinvolle informatie te verstrekken over de onderliggende logica, het belang en de verwachte gevolgen van beslissingen, zelfs indien de besluitvorming niet volledig geautomatiseerd is, en ongeacht de mate van menselijke betrokkenheid bij het besluitvormingsproces.
Zoals aangegeven in een eerdere brief over transparantie van algoritme gebruik door de overheid bestaan er verschillende transparantieverplichtingen, die voortvloeien uit het bestuursrecht, de privacywetgeving, en uit de regels rond de open overheid (13). Daarbovenop geldt beleid over publieksvoorlichting over data-analyses (14).
Bestuursorganen moeten besluiten steeds deugdelijk motiveren. Dit is niet anders indien die besluiten geheel of gedeeltelijk geautomatiseerd zijn genomen. Het is van belang dat bij geautomatiseerd genomen besluiten inzicht kan worden gegeven in de algoritmen (beslis- en rekenregels) die aan het besluit ten grondslag liggen. Ontwikkelingen als Calculemus-FLINT en Wendbaar wetgeven, die hiervoor onder ‘versterking van de naleving’ genoemd zijn, kunnen hieraan bijdragen.
Als ook persoonsgegevens worden verwerkt moet de overheid aan de transparantie eisen uit de AVG voldoen, en als deze verwerking het karakter van geautomatiseerde besluitvorming heeft, moet zij de betrokkene daarover informeren, en nuttige informatie verschaffen over de onderliggende logica.
Op grond van de Wet open overheid kan het geboden zijn om algoritmen die de overheid gebruikt, openbaar te maken, maar openbaarmaking kan achterwege blijven als sprake is van een of meer in die wet genoemde weigeringsgronden, zoals nationale veiligheid.
Er kunnen redenen zijn om het gebruikte algoritme zelf, of informatie over de werking hiervan, niet (geheel) of slechts beperkt openbaar te maken. Te denken valt aan situaties waarin de geboden transparantie kan leiden tot calculerend gedrag (gaming the system), bijvoorbeeld het frauduleus opzoeken van drempelwaardes. De mate van te bieden transparantie moet in die gevallen afgewogen worden tegen het risico op misbruik van deze informatie. Deze afweging moet leiden tot een beargumenteerde keuze om de te verstrekken informatie in te perken, door deze bijvoorbeeld op een hoger abstractie- of aggregatieniveau te publiceren. Ook in die gevallen is de overheid uiteraard gebonden aan de mensenrechten en aan wetgeving zoals de AVG en moet in voorkomende gevallen wel inzage gegeven worden aan de rechter wanneer die een besluit toetst. Ook aan de (sectorale) toezichthouder dient openheid van zaken gegeven te worden.
De in aanbeveling 1 aangehaalde AI-verordening verplicht aanbieders van hoog-risico AI-systemen die systemen voldoende volgbaar te maken. Dit zou uiteindelijk andere vormen van transparantie ten goede moeten komen. In de Raad van Europa is speciale aandacht voor de transparantie van algoritmische besluitvormingssystemen bij de overheid.
6. Beoordeling van het effect op de mensenrechten
Regeringen moeten een verplichte en bindende mensenrechtentoets invoeren bij het gebruik van algoritmische besluitvormingssystemen in de publieke sector, ook wanneer deze systemen worden gebruikt door wetshandhavingsinstanties. De mensenrechtentoets moet worden uitgevoerd tijdens de ontwerp-, ontwikkelings-, gebruiks- en evaluatiefase van algoritmische besluitvormingssystemen.
Het effect op alle relevante mensenrechten, met inbegrip van sociale en economische rechten, moet vakkundig worden beoordeeld. Bij het proces moeten relevante belanghebbenden worden betrokken, waaronder onafhankelijke mensenrechtendeskundigen, toezichthouders, mensen uit potentieel getroffen, gemarginaliseerde en/of achtergestelde gemeenschappen, en technische deskundigen.
Er vinden verschillende toetsen van het effect op mensenrechten plaats bij het gebruik van algoritmen in de publieke sector.
In de eerste plaats is er de wetgevende toets: overheidsoptreden vindt immers plaats op basis van wettelijke bevoegdheden die getoetst worden aan mensenrechten. Het Integraal afwegingskader voor beleid en regelgeving (IAK) biedt beleidsmakers en wetgevingsjuristen de kwaliteitseisen waaraan voorgenomen beleid en regelgeving moeten voldoen. In het bijzonder moeten hier worden genoemd de ‘Model DPIA Rijksdienst’ en de onlangs geactualiseerde Handreiking constitutionele toetsing vastgesteld door de minister van Binnenlandse Zaken en Koninkrijksrelaties die aan uw Kamer is toegestuurd (15).
Voor de ontwikkeling en het gebruik van algoritmische systemen bestaan inmiddels diverse verplichte en vrijwillige toetsingskaders, zoals de verplichte DPIA/GEB op grond van de AVG (indien bij algoritmische systemen persoonsgegevens worden verwerkt) en de risicoanalyse uit de voorgestelde AI-verordening. In de Raad van Europa wordt gesproken over een verdrag met als mogelijk element een mensenrechten impact assessment. Hoewel de DPIA verplicht is, zijn nog niet al deze instrumenten af of onvoldoende in gebruik, en we moeten ervoor zorgen dat er duidelijkheid bestaat in welke gevallen welk instrument wordt ingezet en dat zij een vaste plek krijgen in onze werkprocessen. Algoritmische besluitvormingssystemen moeten worden getoetst op hun effect op mensenrechten.
In de reactie op aanbeveling 1 is daarop ingegaan en heb ik aangegeven in de zomer terug te komen op de samenloop van deze instrumenten en of stroomlijning en aanvulling nodig is (16).
7. Alomvattend toezicht op de mensenrechten
Regeringen dienen alomvattende en onafhankelijke mechanismen op te zetten voor mensenrechtentoezicht op het gebruik van algoritmische besluitvormingssystemen, waarbij toezicht wordt gehouden op de naleving van zowel burger- en politieke rechten als sociale en economische rechten, zodat de verantwoordingsmechanismen worden versterkt en de mensenrechten beter beschermd. Het toezichtsorgaan dient het mandaat, de bevoegdheden en de capaciteit te krijgen om toe te zien op de bescherming van de mensenrechten bij het gebruik van algoritmische besluitvormingssystemen in de publieke sector. Zij dient richtsnoeren uit te kunnen vaardigen, en ontwerpers, ontwikkelaars en gebruikers ter verantwoording te kunnen roepen in bindende besluiten.
Om toezicht op algoritmen te verbeteren wordt het bestaande nationale toezichtlandschap op het gebied van algoritmen geëvalueerd, werkt dit kabinet aan een aparte algoritmetoezichthouder, en wordt in EU-verband gewerkt aan verbeterd toezicht in de AI-verordening.
Als bij algoritmen gebruik wordt gemaakt van persoonsgegevens houdt de Autoriteit Persoonsgegevens daar toezicht op, en op het effect van die verwerking op de vrijheden en mensenrechten. Het College voor de Rechten van de Mens beschermt, belicht en bevordert de mensenrechten in Nederland, onder andere door onderzoek, advies en voorlichting. Zo heeft het College bijvoorbeeld onderzoek gedaan naar (semi-)geautomatiseerde besluitvorming bij gemeenten en mensenrechten en een toetsingskader opgesteld voor het gebruik van bijvoorbeeld nationaliteit in risicoprofielen (17).
Het kabinet heeft in het coalitieakkoord aangegeven dat er een algoritmetoezichthouder wordt opgericht. Op dit moment wordt gewerkt aan de oprichting daarvan, waarbij onder meer wordt gekeken naar de taken en inrichting. Deze toezichthouder wordt ondergebracht bij de Autoriteit Persoonsgegevens. Daarnaast laat ik een onderzoek uitvoeren naar een werkmethode waarmee uitvoeringsorganisaties die algoritmen gebruiken in hun processen, zelf kwaliteitsmechanismen kunnen inbouwen in het proces van ontwikkeling en gebruik van die algoritmen, en aan de hand daarvan inzicht kunnen bieden in (de werking van) die algoritmen. Meer informatie over de toezichthouder en over het onderzoek zal ik in de zomer naar uw Kamer sturen. Eind 2022 is bovendien een vervolg evaluatie gepland voor het onderzoek ‘Toezicht op het gebruik van algoritmen door de overheid,’ waarin we kijken of de versterkingsacties die op basis van het oorspronkelijke onderzoek zijn aangekondigd, voldoende effect hebben.
Ook in de voorgestelde AI-verordening wordt een voorstel gedaan voor toezicht op AI-systemen. Zo houden sectorale toezichthouders toezicht op de conformiteit van de hoog-risico systemen binnen hun sector met de eisen uit de AI-verordening die de veiligheid en de mensenrechten ten goede moeten komen. Daarnaast komt er één coördinerende toezichthouder die de naleving van de verordening moet bevorderen.
8. Geen profilering op basis van ras of etnische afkomst
Regeringen moeten een duidelijk, ondubbelzinnig en juridisch bindend verbod instellen op het gebruik van gegevens betreffende nationaliteit en etniciteit, of proxy’s daarvan, in risicoprofilering voor wetshandhavingsdoeleinden bij het opsporen van potentiële wetsovertreders of mogelijke verdachten van strafbare feiten of fraude.
Discriminatie is onacceptabel en verboden. Het non-discriminatiebeginsel uit het artikel 1 van onze Grondwet is daar heel helder over. Niet ieder onderscheid is discriminerend. Als het maken van onderscheid een gerechtvaardigd doel heeft, een passende en geschikte maatregel is en voldoet aan de eisen van subsidiariteit en proportionaliteit, dan is sprake van een gerechtvaardigd onderscheid. Deze eisen zijn cumulatief: aan al deze eisen moet worden voldaan, anders is er wel sprake van discriminatie. Overheidsorganisaties die gebruik maken van risicoprofielen moeten zich ervan bewust zijn dat dit onderscheid het risico van discriminatie met zich mee brengt en dat de inzet van dergelijke risicoprofielen daarom moet voldoen aan de voornoemde eisen.
Dit volgt niet alleen uit artikel 1 van de Grondwet, maar ook uit de AVG en de Wet politiegegevens en Wet justitiële en strafvorderlijke gegevens. Het College voor de Rechten van de Mens heeft een mensenrechtelijk toetsingskader voor etnisch profileren opgesteld. In dit kader staan de juridische maatstaven om te bepalen wanneer risicoprofielen leiden tot discriminatie op grond van ras (waaronder etniciteit valt) of nationaliteit. De basis voor dit kader zijn de non-discriminatiebepalingen uit het Europees Verdrag tot bescherming van de Rechten van de Mens en de fundamentele vrijheden (EVRM) en de jurisprudentie hierover.
Uw Kamer heb ik toegezegd dat ik het kader zal verspreiden en de toepassing ervan zal stimuleren. Daartoe is een werkgroep ingericht die de komende maanden zal werken aan de implementatie. (18)
9. Verantwoordingsplicht, doeltreffende rechtsmiddelen en verhaalsmogelijkheden
Regeringen moeten zorgen voor een zinvolle verantwoordingsplicht, daadwerkelijke rechtsmiddelen en verhaalsmogelijkheden voor slachtoffers van mensenrechtenschendingen die verband houden met het gebruik van algoritmische besluitvormingssystemen. Dit kan bijvoorbeeld inhouden dat duidelijke, onafhankelijke en toegankelijke verhaalsprocedures worden ingesteld en dat in de publieke sector functies worden aangewezen die verantwoordelijk zijn voor het tijdig verhelpen van mensenrechtenschade, onderworpen aan toegankelijke en doeltreffende beroepsmogelijkheden en rechterlijke toetsing.
Toegang tot een effectief rechtsmiddel is een mensenrecht.
Om rechtsbescherming mogelijk te maken, is het in de eerste plaats nodig dat de transparantie omtrent algoritmen verder wordt bevorderd om zicht te krijgen op impactvolle algoritmische besluitvormingssystemen. Zie daarvoor de aanbevelingen inzake algoritmeregisters en transparantie (aanbeveling 4 en 5 in deze brief). Daarnaast moet beter gemonitord worden op de kwaliteit van algoritmische besluitvormingssystemen (zie aanbeveling 1).
De democratische rechtstaat eist dat overheidsoptreden genormeerd is en dat daartegen rechtsbescherming openstaat, of nu algoritmen worden gebruikt of niet. Hoe dat gebeurt hangt af van of de overheid bestuursrechtelijk of strafrechtelijk optreedt en of sprake is van een besluit met rechtsgevolgen of van feitelijk optreden.
De civiele rechter kan bij schending van een recht schadevergoeding toekennen (actie uit onrechtmatige daad). De SyRi-uitspraak laat zien dat de civiele rechter het gebruik van een systeem kan verbieden bij een onevenredig grote inbreuk op het privéleven van burgers door de onderliggende wet onverbindend te verklaren.
Het kabinet heeft in november 2020 in reactie op het WODC-onderzoek naar de “modernisering van het procesrecht in het licht van big data” geconcludeerd dat het onderzoek geen lacunes in het huidig procesrechtelijk kader constateert. Met name door de ruime mogelijkheden die het civiele recht biedt, is een gang naar de rechter mogelijk bij de onrechtmatige inzet van data-analyses en algoritmische besluitvormingssystemen.
Naar aanleiding van genoemd onderzoek constateert het kabinet dat de financiering van met name collectieve processen soms lastig van de grond komt. Teneinde de financiering in de toekomst te vergemakkelijken wordt momenteel onderzoek verricht naar de mogelijkheden om een processenfonds in te richten. Rechtsbescherming heeft de volle aandacht van het kabinet en zal in samenloop met de bovenstaande trajecten worden bezien.
De voorgestelde AI-verordening stelt primair eisen aan de systemen zelf en minder aan het gebruik ervan. Toch kan het nuttig zijn ook burgers en belangenorganisaties een ingang te bieden die naleving stimuleert. Ik zoek daarom op dit moment uit of en hoe in Europees verband vanuit Nederland een voorstel voor introductie van een klachtenrecht gedaan kan worden in de AI-verordening. Ook hierover ga ik graag met uw Kamer en het veld in gesprek.
AAN DE NEDERLANDSE REGERING:
1. Bied voldoende schadeloosstelling aan de slachtoffers van discriminatie vanwege het gebruik van het risicoclassificatiemodel
Naast de compensatieregeling die reeds is ingesteld voor slachtoffers van andere schade die is toegebracht tijdens het toeslagenschandaal, moet de Nederlandse regering een tegemoetkoming bieden aan de ouders en verzorgers die door het risicoclassificatiemodel mede op grond van hun niet-Nederlandse nationaliteit zijn geselecteerd, vanwege de discriminatie op grond van nationaliteit, etniciteit, maatschappelijke afkomst en etnische profilering. De regering moet in snelle en doeltreffende procedures voorzien en een passende compensatie bieden.
Bij brieven van 26 november 2021 (19) en 8 december 2021 (20) is uw Kamer geïnformeerd over de werking van het Risicoclassificatiemodel Toeslagen (hierna: model). Sinds juli 2020 is het model definitief niet meer in gebruik (21). Op 21 april jl. (22) is uw Kamer ook geïnformeerd over de analyse op de uitkomsten van het model.
Het doel van het model was om toeslagaanvragers te behoeden voor fouten en oneigenlijk gebruik te voorkomen. Het model bepaalde het risico op onjuistheden in de ontvangen beschikkingen aan de hand van vooraf gedefinieerde indicatoren. Het gebruik van het model kon als gevolg hebben dat onder andere Nederlanders met lage inkomens en alleenstaanden en mensen met een andere nationaliteit, een grotere kans hadden om geselecteerd te worden voor een handmatige beoordeling. Zonder dat hier een deugdelijke grondslag voor was.
De vraag of een eventuele tegemoetkoming zou moeten worden geboden als gevolg van het gebruik van het model wordt nog nader onderzocht. Bij brief van 21 april 2022 is uw Kamer geïnformeerd over het breder gebruik van de risicoscore van het risicoclassificatiemodel dan enkel voor het selecteren van aanvragen die voor een handmatige behandeling in aanmerking kwamen door Toeslagen. Het is belangrijk om met zekerheid te kunnen vaststellen dat alle hierover relevante informatie bekend wordt. Daarom zal een extern onderzoek worden uitgevoerd. Onder andere om te proberen te achterhalen hoe breed het gebruik van de risicoscores van het risicoclassificatiemodel Toeslagen heeft plaatsgevonden, met wie het is gedeeld en welke gevolgen dit voor burgers heeft gehad.
2. Verdrag 108+ ratificeren
De Nederlandse regering moet Verdrag 108+ van de Raad van Europa ratificeren en implementeren.
Het kabinet werkt aan de ratificatie van het C108+ verdrag.(23) Naar verwachting zal het voorstel van wet tot goedkeuring in het voorjaar aan de Raad van State worden aangeboden.
Conclusie
Ik wil nogmaals mijn dank uitspreken voor het belangrijke werk van Amnesty International. De gebeurtenissen van de afgelopen jaren hebben onder meer laten zien dat de overheid meer moet doen om mensenrechten te beschermen bij het gebruik van algoritmische besluitvormingssystemen. De komende jaren werk ik hier met het kabinet aan. Hierbij zullen we kijken naar passende waarborgen, ondersteunende initiatieven, de menselijke maat en hoe de inzet van algoritmen hierbij kan helpen.
De staatssecretaris van Binnenlandse Zaken en Koninkrijksrelaties
Digitalisering en Koninkrijksrelaties
Alexandra C. van Huffelen,
Kamerstukken II 2020/21, 35510, nr. 4.
P.4: Algoritmisch systeem: Een systeem dat gebruikmaakt van een reeks wiskundige instructies of regels waarmee een antwoord op een probleem of vraag wordt berekend.
Algoritmisch besluitvormingssysteem: Een algoritmisch systeem dat wordt gebruikt bij (de ondersteuning van) verschillende stappen in besluitvormingsprocessen.
Zie in het bijzonder het rapport ‘algoritmes en grondrechten’ van de Universiteit Utrecht
WRR Rapport 105: Opgave AI, de nieuwe systeemtechnologie.
Aanhangsel Handelingen II 2020/21, nr. 3642 en Aanhangsel Handelingen II 2020/21, nr. 2652
Kamerstukken 2021/22, 26 643, nr. 829
Kamerstukken 2021/22, 26 643, nr. 835
https://open-regels.nl/nl/
Kamerstukken II 2019/20, 26643, nr. 641.
De richtlijn inzake publieksvoorlichting over data-analyses verplicht verstrekking informatie op de website o.a. over wijze van data analyses, of machine learning gebruikt is. Zie: Kamerstukken II 2019/20, 26643, nr. 641.
Kamerstukken II 2020/21, 35510, nr. 16)
Kamerstukken II 2021/22, 35 925 VII, nr. 26
Kamerstukken II 2018/19, 26643, nr. 570.
De richtlijn inzake publieksvoorlichting over data-analyses verplicht verstrekking informatie op de website o.a. over wijze van data analyses, of machine learning gebruikt is. Zie: Kamerstukken II 2019/20, 26643, nr. 641.
Kamerstukken II 2021/22, 35925-VII, nr. 142.
Kamerstukken II 2021/22, 26643, nr. 800.
Kamerstukken II 2021/22, 30950 nr. 281
Kamerstukken II 2021/22, 30950 nr. 281
Kamerstukken II, 2021-2022, 31 066, nr. 923.
Kamerstukken II, 2021-2022, 31 066, nr. 938.
Kamerstukken II, 2019–2020, 31 066, nr. 681.
Kamerstukken II, 2021-2022, 31 066, nr. 1008.
Het C108+ verdrag moderniseert conventie 108 van de Raad van Europa (het dataprotectieverdrag).
