Algoritmes kunnen in de toekomst overheden en bedrijven ondersteunen bij het uitvoeren van wettelijke verplichtingen. Daarbij moet onzorgvuldigheid, ineffectiviteit of erger nog een inbreuk op mensenrechten wel voorkomen worden, zoals de algoritmes van de Belastingdienst die leidden tot etnisch profileren; een schandaal dat nagenoeg iedereen inmiddels kent als de toeslagenaffaire.
Op verzoek van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties (BZK) ontwikkelden Mirko Tobias Schäfer, Arthur Vankan en Iris Muis van Utrecht Data School en hoogleraar fundamentele rechten Janneke Gerards, het Impact Assessment Mensenrechten en Algoritmes (IAMA). Het IAMA is een instrument, als het ware een handleiding, dat organisaties ondersteunt bij de besluitvorming rondom de ontwikkeling en inzet van algoritmes. Stap voor stap worden discussiepunten omschreven die voor de implementatie van het algoritme aan bod dienen te komen. Door licht te schijnen op het verloop van een zorgvuldig besluitvormings- en implementatieproces van algoritmes, kan het IAMA situaties als de toeslagenaffaire helpen voorkomen.
In het IAMA wordt het besluitvormingsproces in drie fasen omschreven. In de fase van voorbereiding wordt bepaald waarom een algoritme ingezet gaat worden en wat de te verwachten effecten zijn. Zo is bijvoorbeeld een van de eerste vragen waar beleidsmakers zich over moeten buigen wat de concrete doelstelling is van de inzet van algoritmes. In de tweede fase over wat de zogenoemde input (data) en de throughput (algoritme) moet zijn, komen de meer technische aspecten aan bod. Zo stelt het ‘garbage in – garbage out’ principe dat wanneer men kwalitatief slechte data gebruikt, de output van het algoritme ook kwalitatief gezien slecht wordt. In de derde fase van output (uitkomsten) wordt bepaald hoe het algoritme uitkomsten genereert. Hierin wordt bijvoorbeeld omschreven dat mensen voldoende mogelijkheid moeten hebben om beslissingen van het algoritmen te overrulen.
Aangezien algoritmen de grondrechten van mensen ernstig kunnen aantasten, zullen betrokkenen bij het besluit- en implementatieproces van algoritmes apart aandacht moeten besteden aan de mensenrechten. Zij zullen zich allereerst moeten afvragen of algoritmen de grondrechten van mensen raken, en in hoeverre, om vervolgens te bepalen hoe zij deze grondrechtaantasting kunnen voorkomen, mitigeren, en zo niet, of deze aantastingen aanvaardbaar zijn. Zo kan het bijvoorbeeld zijn dat de maatschappelijke opbrengsten groter zijn dan de verwachte grondrechtinbreuk, en daarbij deze grondrechtinbreuk gerechtvaardigd kan worden. Zo is onlangs bijvoorbeeld het coronatoegangsbewijs ingevoerd; dat beperkt de bewegingsvrijheid van individuen maar omdat het ten dienste staat van de volksgezondheid, is die inbreuk gerechtvaardigd bevonden.
Hierbij is dus wél een zorgvuldige afweging belangrijk. Het IAMA voorziet in deze, en in alle andere stappen van het besluitvormings- en implementatieproces van algoritmes, beleidsmakers van discussie punten en afwegingskaders om ook daadwerkelijk een zorgvuldig afgewogen beslissing te nemen over de inzet van een algoritme.
Download het ‘Impact Assesment Mensenrechten en Algoritmes (IAMA)’ hier.
