Eind vorige maand schreef Follow the Money (‘FTM’) over het gebruik van het zogeheten Risicotaxatie Instrument Geweld (RTI-G) door de politie, een algoritme dat sinds 2015 gebruikt wordt en moet voorspellen bij welke personen de kans het grootst is dat diegene geweld zal gaan plegen of daar slachtoffer van wordt. Enkele dagen na de publicatie van het artikel van FTM, heeft de politie aangegeven te stoppen met het RTI-G-algoritme. In deze blog wordt uitgelegd hoe het RTI-G-algoritme werkt en wordt gekeken hoe dit algoritme zou kwalificeren onder de AI Act. Verder wordt ingegaan op een aantal actualiteiten, zoals het rapport over algoritmerisico’s van de Autoriteit Persoonsgegevens.
Het RTI-G-algoritme maakt gebruik van een risicofactorenmodel, waarbij aan bepaalde ‘risicofactoren’ een zeker gewicht wordt toegekend, en waarvan het totaal aan risicofacturen de score van een persoon bepaalt. Risicofactoren die het RTI-G-algoritme hanteert zijn onder meer geslacht en de leeftijd van het eerste delict in de leeftijdscategorie 16-40 jaar. Daarnaast worden er diverse risicofactoren gebruikt die gerelateerd zijn aan geweldsdelicten in het verleden en actuele gewelds- en delictpleging, zoals ‘betrokkenheid bij geweld in andere rollen in 4 jaar’, ‘frequentie van (eerdere) geweldsdelicten in 4 jaar’, ‘aantreffen van wapens in afgelopen 4 jaar’ en ‘frequentie actuele overige delicten (12 maanden)’. Ook werden tot medio 2017 de etniciteiten Antilliaans, Marokkaans en Somalisch als risicofactor meegenomen.
Aan elk van deze risicofactoren is een risicoscore gekoppeld, en op basis van de uiteindelijke optelsom hiervan wordt een persoon geclassificeerd in een van de vier risicoclassificaties: laag risico, gemiddeld risico, verhoogd risico of sterk verhoogd risico.
Zoals volgt uit het in het artikel opgenomen ‘Verantwoordingsdocument RTI-G’ is het doel van het algoritme ‘potentiële geweldplegers op te sporen en te rangschikken naar toekomstig geweldrisico op basis van een valide methode (ten behoeve van uiteenlopende doelen binnen én buiten de politieorganisatie)’. Hierbij wordt aangegeven dat RTI-G primair bedoeld is voor de politieorganisatie, maar dat ook netwerkpartners gebruik kunnen maken van de resultaten, zoals ten behoeve van persoonsgerichte aanpak van geweldplegers.
In het kader van de gevolgen van classificatie in een van de vier risicoclassificaties wordt in het FTM-artikel verwezen naar een uitspraak van het gerechtshof Den Haag van december 2021. Daarin ging het om een Rotterdammer die op grond van een risicoprofiel was aangewezen als zogenoemd ‘veiligheidsrisicosubject’. Dit risicoprofiel is opgesteld aan de hand van onder andere vuurwapengerelateerde casuïstiek en strafblad alsmede de score op basis van het RTI-G-algoritme, waarbij de Rotterdammer was geclassificeerd in de risicoclassificatie ‘verhoogd risico’. De Rotterdammer had van de hoofdofficier een brief gekregen, waarin hij op de hoogte werd gebracht van het feit dat hij aangemerkt was als veiligheidsrisicosubject, en dat hij als gevolg daarvan te allen tijde gefouilleerd kon worden door de politie en zijn auto te allen tijde doorzocht kon worden op wapens.
Door het hof wordt in het arrest overwogen dat het voor een als veiligheidsrisicosubject aangewezen persoon niet alleen onvoorspelbaar is onder welke omstandigheden voornoemde bevoegdheid door een opsporingsambtenaar jegens hem zal worden uitgeoefend, maar dat het voor hem ook praktisch onmogelijk is om achteraf voor de rechter aan te tonen dat hij ten onrechte aan een dergelijk onderzoek is onderworpen. Het hof komt dan ook tot de conclusie dat hiermee een ontoelaatbare inbreuk wordt gemaakt op de persoonlijke levenssfeer van de Rotterdammer indien hij uitsluitend op grond van de aanwijzing als veiligheidsrisicosubject wordt onderworpen aan een onderzoek in zijn auto of kleding.
Onder de toekomstige AI Act, zou het RTI-G-algoritme op grond van Bijlage III, punt 6 (a) AI Act kwalificeren als een AI-systeem met een hoog risico als bedoeld in artikel 6 lid 2 AI Act. RTI-G is namelijk (onder meer) een AI-systeem op het gebied van rechtshandhaving dat bedoeld is om ‘door rechtshandhavingsautoriteiten te worden gebruikt voor het uitvoeren van individuele risicobeoordelingen van natuurlijke personen om te beoordelen hoe groot het risico is dat een natuurlijke persoon (opnieuw) een strafbaar feit pleegt of hoe groot het risico is voor mogelijke slachtsoffers van strafbare feiten’.
Daarnaast zou het RTI-G-algoritme kunnen kwalificeren als een AI-systeem op het gebied van rechtshandhaving dat bedoeld is om door rechtshandhavingsautoriteiten te worden gebruikt ‘voor het voorspellen van een daadwerkelijk of potentieel strafbaar feit dat (opnieuw) zal worden gepleegd, op basis van profilering van natuurlijke personen, of de beoordeling van persoonlijkheidskenmerken en kenmerken of eerder crimineel gedrag van natuurlijke personen of groepen’ en/of ‘voor de profilering van natuurlijke personen tijdens de opsporing, het onderzoek of de vervolging van strafbare feiten’ als bedoeld in Bijlage III, punt 6 (e) respectievelijk punt (f) AI Act. Ook in deze beide gevallen kwalificeert het als een AI-systeem met een hoog risico als bedoeld in artikel 6 lid 2 AI Act. Hoog risicosystemen zijn niet per definitie verboden, maar zijn wel onderworpen aan strengere eisen en verplichtingen dan AI-systemen met een laag of minimaal risico. Zo moeten hoog risicosystemen een conformiteitsbeoordelingsprocedure volgen voordat deze in de handel kunnen worden gebracht. Ook zijn aanbieders van hoog risicosystemen bijvoorbeeld gehouden te voorzien in een systeem voor kwaliteitsbeheer dat de naleving van de AI Act waarborgt.
Hoewel in het FTM-artikel is aangegeven dat de korpsleiding van de politie heeft verklaard het algoritme te gaan beoordelen, om te bekijken of ‘het voldoet aan wetenschappelijke voorwaarden en of het voor de politie nog een nuttig instrument is’, heeft een woordvoerder van de politie enkele dagen na publicatie van het FTM-artikel al aangegeven dat de politie stopt met het gebruik van het RTI-G-algoritme.
Verder zijn er naar aanleiding van het FTM-artikel Kamervragen gesteld aan de Minister van Justitie en Veiligheid. Op deze Kamervragen is op het moment van schrijven van deze blog nog geen antwoord gekomen.
In juli van dit jaar heeft de Autoriteit Persoonsgegevens (‘AP’) de (eerste) Rapportage Algoritmerisico’s Nederland gepubliceerd. Hierin gaat de AP nader in op de risico’s bij de inzet van algoritmes die individuele personen, groepen personen of de samenleving als geheel kunnen raken. In deze rapportage gaat de AP onder meer in op algoritmische systemen in het kader van rechtshandhaving.
Evenals in het FTM-artikel wordt door de AP het veelbesproken Criminaliteits Anticipatie Systeem (CAS) van de politie aangehaald. CAS staat in principe los van het door de politie gebruikte RTI-G-algoritme, maar biedt mijns inziens relevante inzichten ten aanzien van risico’s en gevaren die zich kunnen verwezenlijken. De AP legt uit dat CAS Nederland indeelt in vakken van 125 meter en vervolgens de kans op (de aangifte van) een misdrijf voorspelt in zo’n vak. Volgens de AP is CAS wereldwijd het enige operationele predictive policing-systeem op nationale schaal, maar staat de effectiviteit van de inzet ervan ter discussie. In mei 2022 kwam de Algemene Rekenkamer in haar rapport ‘Algoritmes getoetst – De inzet van 9 algoritmes bij de overheid’ al tot de conclusie dat CAS niet voldoet aan het toetsingskader voor algoritmes, waarbij onder meer is gekeken naar de bias van het model en thema’s op het gebied van de data, privacy en IT beheer.
De AP wijst erop dat bias ervoor zorgt dat sommige mensen niet genoeg bescherming krijgen en anderen door bias onevenredig worden gesurveilleerd. Hierbij kan onbedoelde discriminatie een mogelijk gevolg zijn. De AP legt uit dat CAS geen data gebruikt uit actief opgespoorde criminaliteit om hiermee de vertekening door een positieve feedbackloop via het eigen optreden te beperken, maar dat CAS voorspelt van welke misdrijven aangifte gedaan zal worden (voornamelijk) gebaseerd op eerdere aangiftes en openbare data van het CBS. Door de AP wordt aangegeven dat de openbare CBS-data een misleidende voorspeller voor bepaalde etnische groepen kunnen vormen, met discriminatoire politie-inzet tot gevolg.
De AP noemt een aantal gezichtspunten die bij kunnen dragen aan de verantwoorde inzet van CAS en andere algoritmische systemen:
Proactieve externe transparantie om zodoende risico’s in beeld te krijgen en de effectiviteit of het maatschappelijk nut van de inzet van predictive policing-systemen in kaart te brengen. Met betrekking tot CAS noemt de AP bijvoorbeeld als eerste stap het actualiseren en periodiek bijhouden van een openbaar overzicht van de gebruikte variabelen (en hun kalibratie).
Verantwoording over de afweging van de toegevoegde waarde van algoritmische oplossingen. De AP wijst in dat verband op de verleiding die kan bestaan om, in de zoektocht naar verbetering van processen om bepaalde doelen te bereiken, ten prooi te vallen aan de gedachte dat technologische innovaties in de kern neutraal zijn, en dat de inzet ervan enkel kansen biedt (‘technologisch chauvinisme’). In het besluitvormingsproces dient nadrukkelijk stilgestaan te worden bij de risico’s van de inzet van algoritmische systemen, waardoor een explicietere afweging ontstaat, waar een organisatie verantwoording over kan of moet afleggen.
Hoewel de politie is gestopt met het gebruik van het RTI-G-algoritme, blijft het gebruik van (andere) – niet onomstreden - algoritmes door de overheid op onder meer het gebied van rechtshandhaving en fraudeopsporing een actueel en relevant onderwerp. Mede door de toekomstige AI Act en het algoritmetoezicht door de AP is mijn verwachting dat we hier de komende tijd nog veel meer over zullen horen.
