De fundamentele aard van de digitale transformatie maakt dat mensenrechten onder druk kunnen komen bij de inzet van nieuwe technologieën. Het College voor de Rechten van de Mens, de Raad van State en de Autoriteit Persoonsgegevens brachten rapporten uit die (lokale) overheden kunnen helpen bij het beschermen van mensenrechten. Ook besteden we aandacht aan enkele handreikingen die helpen om deze bescherming in de praktijk te brengen.
Eind augustus kwam een bericht naar buiten over Clearview AI, een controversieel bedrijf dat gezichtsherkenningstechnologie ontwikkelt op basis van foto’s die zij op sociale media zoals Facebook en LinkedIn hebben verzameld. Deze database van ongeveer 3 miljard afbeeldingen kan door overheidsdiensten worden gebruikt om de identiteit van verdachte personen te achterhalen. Ook de Nationale Politie zou op kleine schaal gebruik hebben gemaakt van deze database. Het illustreert dat de mogelijkheden van hedendaagse technologie niet altijd in lijn zijn met het beschermen van mensenrechten – een besef dat zich ook voordeed bij bekende gevallen als de zaak rondom het SyRI-algoritme en de Toeslagenaffaire. Des te meer reden om extra licht te laten schijnen op enkele recente rapporten en handreikingen die kunnen helpen in een sterke bescherming van mensenrechten bij de inzet van nieuwe technologieën.
Het College voor de Rechten van de Mens vroeg juridisch adviesbureau Hooghiemstra & Partners om te verkennen of gemeenteambtenaren rekening houden met mensenrechten bij het gebruik van algoritmen. En hoe ze zorgen dat inwoners hun recht kunnen halen als de gemeente over hen een beslissing heeft genomen met behulp van een algoritme. Uit het onderzoeksrapport van juli 2021 blijkt dat gemeenten soms expliciet, maar vaker impliciet rekening houden met mensenrechten. Ze zijn op dit thema welwillend, maar ook nog zoekende.
Eén observatie van de onderzoekers is dat de inzet van algoritmen de lokale autonomie onder druk kan zetten. Vaak zijn het niet gemeenten zelf, maar softwareontwikkelaars die wet- en regelgeving interpreteren en omzetten in code. Ook wordt in het rapport geconcludeerd dat gemeenten weliswaar veel aandacht en procedures hebben voor de bescherming van persoonsgegevens, maar nog niet voor het toetsen van de impact op mensenrechten. Verder is de onderzoekers opgevallen dat gemeenten met name wijzen naar bestaande bezwaar- en beroepsprocedures en geen extra maatregelen hebben getroffen voor het geval dat een inwoner het niet eens is met een beslissing die gebaseerd is op een algoritme.
De onderzoekers doen op dit gebied een aantal aanbevelingen:
Doorbreek de klassieke verdeling tussen beleid en uitvoering.
Zorg voor een integrale behandeling van bezwaar of klachten.
Maak voor alle algoritmen een heldere wijze van beslissen waarbij de afweging van mensenrechten in een vroeg stadium wordt gedaan.
Werk als gemeenten samen bij de inkoop van algoritmen om eisen te stellen aan het ontwerp van algoritmen, maar beleg de verantwoordelijkheid wel expliciet bij de bestuurder.
Maak het algoritme openbaar.
Ook de Autoriteit Persoonsgevens (AP) publiceerde afgelopen zomer een belangrijk onderzoeksrapport. Het gaat over het gebruik van smart city-toepassingen bij gemeenten. Met dit onderzoeksrapport beoogt de AP duurzame innovatie, waarbij de privacy van betrokken burgers in smart cities is gewaarborgd, te stimuleren.
De AP constateert dat er grote verschillen bestaan in de inzet van smart city-toepassingen en dat ‘de smart city’ meer is dan de som der toepassingen. Het onderzoek werd gedaan door middel van een analyse van data protection impact assessments (DPIA’s), vragenlijsten en aanvullende interviews bij twaalf gemeenten. Langs deze weg komt de AP tot een set aanbevelingen die alle lagen van een organisatie raken. Een helder gemeentelijk beleid, democratische controle en het betrekken van burgers kan helpen bij het controleren van risico’s en verantwoord ontwikkelen van smart city-toepassingen. Transparantie is hiervoor noodzakelijk. De inzet van technologie in de openbare ruimte is immers een zwaarwegend besluit waarbij alle aspecten zorgvuldig afgewogen dienen te worden. Daarbij, zo concludeert de AP, hoeft of kan niet alles met technologie of data opgelost worden.
In het onderzoek bleek in groeiende mate aandacht voor ethiek in de ontwikkeling van smart city-toepassingen, bijvoorbeeld door het aanstellen van een ethische commissie. Deze dient wel nadrukkelijk onderdeel uit te maken van het ontwikkelproces, anders bestaat het risico dat de burger de organisatie niets merkt van deze goedbedoelde gesprekken.
De afdeling Advisering van de Raad van State bracht een handreiking digitalisering en wetgeving uit waarin zes aanbevelingen worden gedaan. Deze handreiking is niet alleen opgesteld om de wetgevende macht adviezen te geven over de behandeling van wetgeving met digitale componenten, maar ook om inzage te geven in het toetsingskader die de afdeling zelf gebruikt.
De noodzaak van deze handreiking bleek uit de conclusies van de Tijdelijke Commissie Digitale Toekomst van de Tweede Kamer: er is te weinig kennis van digitalisering om politieke beslissingen te kunnen nemen. Dat geldt ook op gemeentelijk niveau.
De zes aanbevelingen waarop de handreiking is gebaseerd luiden als volgt:
Zorg voor een mensgerichte benadering bij de inzet van ICT, waarbij voldoende rekening wordt gehouden met zowel individuele burgers als groepen burgers. Veel burgers beschikken niet over de benodigde vaardigheden voor digitale processen.
Betrek bij het opstellen van wet- en regelgeving in een zo vroeg mogelijk stadium de digitale techniek en de wijze van verwerken, verzamelen en beheren van data. Alleen zo kunnen de rechtsstatelijke beginselen en eisen, zoals non-discriminatie, privacy, gegevensbescherming en andere grondrechten, gewaarborgd worden.
Weeg als wetgever af wanneer de techniek in de wet moet worden geregeld en wanneer delegatie aanvaardbaar is. Techniek is weliswaar van onschatbare waarde, maar is niet waarde-neutraal.
Wees zo transparant, consistent en controleerbaar mogelijk bij de geautomatiseerde uitvoering van wet- en regelgeving. Stel eenvormige kwaliteitseisen aan de vertaalslag van wet- en regelgeving naar digitale uitvoering, aan software en aan onderhouds- en evaluatieprocessen daarvan.
Zorg voor een goede balans tussen geautomatiseerde en niet-geautomatiseerde uitvoering van wetgeving. Sommige wetgeving is al erg complex. Door de wetten uit te voeren met complexe digitale processen is het bijna voor niemand meer mogelijk om te beoordelen of de uitvoering van de wet goed verloopt.
Besteed aan de voorkant voldoende aandacht aan de voorwaarden en spelregels voor de ondersteuning en uitvoering van overheids-ICT, en het daarmee samenhangende datagebruik, door private partijen. Private partijen zijn onmisbaar bij de ontwikkeling en ondersteuning van ICT in overheidsverband. Maak dus vooraf goede en inzichtelijke afspraken over onderwerpen als verantwoordelijkheid, datagebruik, eigendom van data en techniek, onderhoud en knowhow.
De toetsing zelf gebeurt door middel van drie toetsen: de beleidsanalytische toets, juridische toets en de wetstechnische toets. Waar de juridische en wetstechnische toets kijken naar de samenhang met andere wetgeving en de interne consistentie van de wet, wordt er bij de beleidsanalytische toets bijvoorbeeld gekeken naar de mogelijkheden van burgers en bedrijven. Hierbij worden vragen gesteld of de geautomatiseerde uitvoering begrijpelijk is voor burgers, of dat fouten via de juiste middelen, zoals bezwaar, hersteld kunnen worden. Vooral dit aspect geeft een perspectief weer dat vanuit overheden meer gehanteerd zou kunnen worden. De geautomatiseerde digitale uitvoering moet in dienst van de burger blijven staan en niet andersom.
In opdracht van het ministerie van BZK heeft het Tilburg Institute for Law, Technology and Society de handreiking AI-systeemprincipes voor non-discriminatie ontwikkeld. Deze handreiking helpt ontwikkelaars van AI-systemen om discriminerende patronen in gegevens te identificeren, te voorkomen en te bestrijden. De handreiking legt uit welke vragen en principes leidend zijn bij het ontwikkelen en implementeren van een AI-systeem met het oog op het discriminatieverbod, vanuit zowel juridisch, technisch, als organisatorisch perspectief. Het document is zodoende bedoeld voor projectleiders die sturing geven aan systeembouwers, data-analisten en AI-experts.
Het recent gepubliceerde Impact Assessment voor Mensenrechten bij de inzet van Algoritmes (IAMA) is een instrument voor discussie en besluitvorming voor overheidsorganen bij het gebruik van algoritmen. Het instrument maakt een interdisciplinaire dialoog mogelijk door degenen die verantwoordelijk zijn voor de ontwikkeling of inzet van een algoritmisch systeem.
De discussie op basis van het IAMA heeft als doel ervoor te zorgen dat alle relevante aandachtspunten in een vroegtijdig stadium en op een gestructureerde manier aan bod komen. Daarmee voorkom je dat een algoritme wordt ingezet waarvan de risico’s en consequenties niet goed zijn beoordeeld. Denk daarbij aan onzorgvuldigheid, ineffectiviteit en inbreuk op grondrechten. Momenteel biedt BZK het hulpmiddel aan voor (overheids)organisaties die dit op vrijwillige basis kunnen gebruiken. De bedoeling is dat het IAMA breed uitgezet wordt en door zo veel mogelijk organisaties wordt gebruikt. Na een jaar wordt het instrument geëvalueerd. Tijdelijk wordt ook ondersteuning bij de uitvoering van het IAMA aangeboden.
