De Autoriteit Persoonsgegevens (AP) startte een consultatie over verboden AI-systemen ondanks het ontbreken van een formele toezichthoudende rol.
Er zijn zorgen over mogelijke misbruik van gevoelige informatie door de AP en risico op "naming and shaming."
Opinie: de AP had haar consultatie beter kunnen uitstellen tot de Europese Commissie richtlijnen publiceert en haar rol duidelijker is.
Het juridische landschap rondom artificial intelligence (“AI”) is door de inwerkingtreding van de AI Act [1] op 2 augustus 2024 weer iets verder in kaart gebracht, maar roept in de praktijk nog de nodige vragen op over de feitelijke toepassing daarvan. Dat ook de Autoriteit Persoonsgegevens (“AP”) zoekende is, blijkt uit de “eerste oproep voor input” die zij – vanuit haar rol als Directie Coördinatie Algoritmes (“DCA”) – op 27 september 2024 heeft gedaan aan belanghebbenden (“burgers, overheden, bedrijven en andere organisaties”) in verband met verboden AI-systemen.
In artikel 5 van de AI Act is een limitatieve opsomming opgenomen van AI-systemen die – gelet op het onaanvaardbaar risico dat zij met zich meebrengen – als verboden zijn aangemerkt en uiterlijk op 2 februari 2025 uit de handel moeten zijn gehaald c.q. uit gebruik zijn genomen. Eén van deze verboden betreft een:
“AI-systeem dat subliminale technieken waarvan personen zich niet bewust zijn of doelbewust manipulatieve of misleidende technieken gebruikt, met als doel of effect het gedrag van personen of een groep personen wezenlijk te verstoren door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren, waardoor zij een besluit nemen dat zij anders niet hadden genomen, op een wijze die ertoe leidt of er redelijkerwijs waarschijnlijk toe zal leiden dat deze of andere personen, of een groep personen, aanzienlijke schade oplopen.”
De consultatie van de AP richt zich op deze categorie systemen. Het is de taak van de nationale markttoezichtautoriteit onder de AI Act om hiertegen handhavend op te treden. Dat mag niet zonder meer bij alle AI-systemen ‘waaraan een luchtje zit’. De AI Act verlangt namelijk dat de nationale markttoezichtautoriteit “voldoende reden” moet hebben “om van mening te zijn dat een AI-systeem een risico vormt”. Alleen dan mag een evaluatie van het systeem worden uitgevoerd om te beoordelen of deze voldoet aan de vereisten uit de AI Act (en dus: niet verboden is). Of sprake is van een risico volgt expliciet uit de AI Act.[2] Het staat de nationale markttoezichtautoriteit uitdrukkelijk niet vrij om de criteria hiervoor zelf vast te stellen. Stelt de toezichthouder vast dat het risicovolle systeem niet aan de vereisten voldoet – en worden ook geen passende, corrigerende maatregelen genomen om het systeem AI Act “conform te maken” – dan is het aan de nationale markttoezichthouder om te gelasten het systeem uit de handel te nemen of terug te roepen.
Opvallend is dat de AP met haar consultatie lijkt voor te sorteren op een aanwijzing als nationale markttoezichthouder onder de AI Act voor verboden AI-systemen, terwijl van een dergelijke aanwijzing op dit moment nog helemaal geen sprake is: het ministerie van Economische Zaken en het ministerie van Rechtsbescherming hebben hier nog tot 2 augustus 2025 de tijd voor. Hoewel het niet ondenkbaar is dat deze taak bij de AP zal worden belegd, kan ook niet compleet worden uitgesloten dat hiervoor een andere of geheel nieuw op te richten autoriteit zal worden aangewezen.
Opmerkelijk is ook de korte doorlooptijd die de AP heeft verbonden aan haar uitvraag. Uiterlijk op 17 november 2024 dient door de belanghebbenden input te zijn geleverd. Dit betekent dat de AP vanaf dat moment naar verwachting over zeer gevoelige (persoons)gegevens komt te beschikken, terwijl hiertoe taak noch bevoegdheid uit de AI Act en/of haar rol als DCA[3] voortvloeit. Juist van de AP, als toezichthouder gegevensbescherming, had dan ook meer zorgvuldigheid bij de verwerking van gegevens mogen worden verwacht.
Te meer, nu de kans op naming and shaming (bijvoorbeeld door een boze klant, belangenorganisatie of een concurrent) als gevolg van de consultatie op de loer ligt. De AP verzoekt belanghebbenden om concrete melding te maken van bestaande AI-systemen die mogelijk als verboden kwalificeren, door antwoord te verlangen op vragen als “[k]unt u voorbeelden geven van systemen die zijn gebaseerd op AI en die (mogelijk) leiden tot manipulatieve of misleidende en/of uitbuitingspraktijken?” en “[k]ent u voorbeelden van AI-systemen die gebruikmaken van subliminale technieken?”.
De vraag die zich stelt is wat de AP van plan is te doen met de verkregen inzichten. Worden deze in een beveiligde, afgesloten omgeving bewaard, totdat duidelijkheid bestaat over de eventuele rol van de AP als nationale markttoezichthouder? En worden deze vervolgens gebruikt om concrete, mogelijk verboden AI-systemen te detecteren en aan een onderzoek te onderwerpen (oftewel een fishing expedition, waarbij de AP hoopt om iets te ‘vangen’ met haar consultatie als figuurlijke hengel)? Zelfs in een dergelijk scenario, waarbij de inzichten pas worden gebruikt als de AP als toezichthouder onder de AI Act is aangewezen, is de legitimiteit van de huidige uitvraag twijfelachtig. Is dit wel de meest gepaste wijze om verboden AI-systemen die in een lidstaat worden geëxploiteerd te identificeren? In de AI Act wordt met geen woord gerept over deze methode om op nationaal niveau handhavend op te treden tegen verboden AI-systemen.
In de uitvraag wordt geen antwoord gegeven op deze vragen. Wel geeft de AP aan dat door middel van generieke termen een “samenvatting en appreciatie van de inbreng” door haar zal worden gepubliceerd, waarna de input wordt verwijderd. Onbekend is echter wanneer zij van plan is deze publicatie uit te brengen. Op korte termijn of pas na eventuele aanwijzing als toezichthouder? En hoe wordt function creep, de situatie waarbij de verkregen inzichten toch ook (onverhoopt) worden gebruikt voor handhavingsdoeleinden, voorkomen? Die vraag is des te prangender, nu de AP in de uitvraag benadrukt dat, indien gewenst, in haar rapportage naamsvermelding van organisaties of groeperingen mogelijk is.
De door de AP “opgedane kennis” kan bovendien gedeeld worden met andere (Europese) AI-toezichthouders. Is dat alleen met het oog op onderlinge kennisdeling, of wordt deze informatie ook breder gebruikt voor handhavingsdoeleinden? De uitvraag geeft hierover geen uitsluitsel.
In de uitvraag geeft de AP verder aan dat zij de input in ieder geval gebruikt voor het leggen van een voorbereidende basis voor de verdere uitleg van de verboden in de AI Act. Hoewel de poging van de AP om transparant te zijn over haar perspectief op de handhaving van verboden AI-systemen prijzenswaardig is (mede vanuit het oogpunt van rechtszekerheid), is het vaststellen van een algemeen toetsingskader echter geen taak die de AP – mocht zij als markttoezichthouder voor verboden AI-systemen worden aangewezen – toekomt: in de AI Act wordt het opstellen van richtsnoeren over, onder meer, (kwalificatie van) AI-systemen voor verboden praktijken expliciet belegd bij de Europese Commissie. Dat is niet onlogisch, nu hierdoor een sterke mate van harmonisatie voor alle lidstaten wordt gecreëerd op dit punt en het risico op afwijkende standaarden – waardoor het AI-systeem in de ene lidstaat anders moet worden ingekleed dan de andere om niet als verboden te worden aangemerkt – wordt beperkt.
Al met al had de AP haar “eerste oproep voor input” dan ook beter achterwege kunnen laten, en in plaats daarvan het aanwijzingsproces tot markttoezichthouder voor verboden AI-systemen rustig kunnen afwachten, daarbij de Europese Commissie in de tussentijd de gelegenheid gevend richtsnoeren op te stellen over de uitleg van kwalificatie van verboden AI-systemen. Door het uitbrengen van de consultatie heeft de AP meer vragen opgeroepen dan beoogd beantwoord te krijgen door middel daarvan. `
Voetnoten
[1] Verordening EU 2024/1689 van het Europees Parlement en de Raad van 13 juni 2024 tot vaststelling van geharmoniseerde regels betreffende artificiële intelligentie en tot wijziging van de Verordeningen (EG) nr. 300/2008, (EU) nr. 167/2013, (EU) nr. 168/2013, (EU) 2018/858, (EU) 2018/1139 en (EU) 2019/2144, en de Richtlijnen 2014/90/EU, (EU) 2016/797 en (EU) 2020/1828 (verordening artificiële intelligentie).
[2] Hiervoor wordt verwezen naar artikel 3, punt 19, van Verordening (EU) 2019/1020. Het betreft – kort gezegd – risico’s die zien op gezondheid, veiligheid of grondrechten van personen.
[3] Bijlage bij Kamerstuk 35 788, nr. 77; Kamerstuk 26 643, nr. 953.
