De Europese Unie heeft – onverwacht – na een 3 dagen durende gespreksronde op 9 december vorig jaar een akkoord bereikt over de nieuwe AI-wet (AI Act). De AI Act heeft een brede reikwijdte, omdat AI invloed kan hebben op elke sector. De AI Act moet ervoor zorgen dat AI-systemen veilig zijn en overeenkomen met de grondrechten die binnen de EU gelden. Wat staat er in deze nieuwe versie (1)? Wij praten u bij!
Het was een hobbelige weg naar het akkoord van 9 december jl. In de zomer van 2023 stemde het Parlement al in met de AI Act maar de laatste maanden van 2023 maakte de lidstaten (vertegenwoordigd in de Raad) een draai. Landen als Frankrijk, Duitsland en Italië vreesden beperkingen voor grote (Europese) AI-bedrijven, zoals Gemini van Google, OpenAI, het Franse Mirstral en Duitse Aleph Alpha. Uiteindelijk is er een compromis gekomen waarbij uitzonderingen worden gemaakt voor openbare AI-systemen (zogeheten foundational models). Inmiddels is de tekst begin dit jaar gepubliceerd. Het akkoord moet nog wel worden goedgekeurd door alle EU-lidstaten en het hele Europese Parlement.
Het was al langer duidelijk dat de AI Act een gelaagdheid zou kennen in de manier waarop gekeken wordt naar de regulering van AI. Zo zijn er voor eenvoudige AI-toepassingen minder strenge regels dan voor AI systemen die worden aangemerkt als hoog risico. Dit zijn bijvoorbeeld systemen die impact kunnen hebben op de gezondheid, veiligheid, grondrechten of de rechtsstaat. Ook zullen bepaalde technieken die worden gebruikt in een AI-toepassing verboden worden, zoals manipulatie van gedrag, gezichtsherkenning in openbare ruimtes of sociale kredietscores.
Er gaan strengere regels gelden voor zogeheten ‘general-purpose AI’ (hierna: GenAI). Dit heeft allemaal te maken met de snelle opkomst van GenAI, zoals ChatGPT en DALL-E. Zoals de naam al aangeeft, zijn dit AI-toepassingen die gebruikt kunnen worden voor verschillende doeleinden. De AI Act stelt hierin eisen aan de transparantie, verslaglegging, veiligheid, risico’s en duurzaamheid. Dit is een van de last minute toevoegingen in de definitieve tekst van de AI Act, waarbij nu een gehele sectie gewijd is aan deze GenAI.
Zoals al bekend was uit eerdere voorstellen, is dat AI onacceptabel is als deze in strijd handelt met de grondrechten. Dit soort AI mag dan ook niet op de Europese markt ingezet worden. De verboden AI soorten zijn opgenomen in artikel 5 ‘Prohibited Artificial Intelligence Practices’ (vertaald: Verboden AI praktijken). Een voorbeeld hiervan is een AI laten voorspellen of iemand crimineel gedrag zal vertonen, maar ook het gebruiken van AI op de werkplek met emotieherkenning. Dit soort AI vergroot de kans op discriminatie. Daarnaast is er een verbod op biometrische herkenning van bijzondere gegevens (zoals ras, politieke voorkeur, etc.) en ook op biometrische identificatie op afstand in ‘real-time’, met uiteraard uitzonderingsgevallen (artikel 5 lid 1 onder ‘punt d’ AI Act) en de waarborgen die hierbij moeten worden gehanteerd (artikel 5 lid 2 AI Act).
Het tweede en derde hoofdstuk van de AI Act, respectievelijk artikelen 8 t/m 29 (van de totaal 85 artikelen), gaan over High-Risk AI. Als High-Risk AI worden alle systemen beschouwd die onder de EU wetgeving op het gebied van productveiligheid vallen waarbij AI als een veiligheidscomponent dient, genoemd in Annex II en onderworpen is aan specifieke regulering. Voorbeelden zijn liften, persoonlijke veiligheidsproducten, trein- en spoorwegsystemen en vliegtuigen. Vervolgens zijn er AI-systemen die worden ingezet voor een toepassing die genoemd is in Annex III, die significante risico’s voor de mens of maatschappij geven. Voorbeelden zijn biometrie, AI in kritieke infrastructuur, screening van toegang of voortgang tot onderwijs, AI voor HR-toepassingen en diverse inzet van AI voor rechtshandhaving.
Vanuit de definitieve tekst in artikel 6 lid 2c en Recital 32a van de AI Act is op te maken dat de Europese Commissie de taak gekregen heeft om een lijst met voorbeelden van AI-systemen te maken, die wel of niet hoog risico zijn én de reden(en) waarom dat het geval is. Daarnaast kan de Europese Commissie tussentijds de lijst aanvullen, met dan ook weer duidelijke argumentatie over de AI-systemen die toegevoegd worden.
Als een AI-systeem wordt aangemerkt als hoog risico, dan moet men het volgende geregeld hebben:
Het maken van een Fundamental Rights Impact Assessment. Alle risico’s moeten vooraf in kaart worden gebracht, voor onderwerpen als veiligheid, privacy, discriminatie, eerlijke toegang tot zorg, onderwijs en belangrijke diensten.
Het hanteren van een risicomanagementsysteem. Dit is nodig om potentiële risico’s te identificeren, evalueren, beheren en verminderen.
Het implementeren van een systeem voor gegevensbeheer. Men dient gebruik te maken van onbevooroordeelde (non-bias), kwalitatieve en representatieve datasets.
Het hebben van technische documentatie. Men dient duidelijkheid te schetsen voor gebruikers die een dergelijk AI-systeem gaan gebruiken.
Het transparant zijn. Voor gebruikers moet duidelijk zijn hoe het AI-systeem werkt (geen ‘blackbox’). Zo is het verplicht om te loggen voor tracering en controle.
Het hebben van menselijk toezicht. Bij deze hoog risico AI-systemen is menselijk toezicht een vereiste.
En tot slot, een conformiteitsbeoordeling is verplicht. Er geldt een specifieke procedure die verschilt van het huidige CE-markeringssysteem voor andere producten. Het doel hiervan is dat er een beoordelingsproces komt die volledig is afgestemd op de unieke kenmerken en risico’s van AI-systemen.
Men verwacht in maart van dit jaar te publiceren en vervolgens zullen trapsgewijs de bepalingen in werking treden. Normaliter gaat de wet van kracht twintig dagen nadat de wet in het Official Journal van de EU is gepubliceerd. Omdat het trapsgewijs wordt toegepast zal het verbod op onacceptabele AI al zes maanden later zijn (september 2024), dat betekent dat dergelijke AI-systemen van de markt moeten zijn. Over een jaar zullen de autoriteiten aangewezen moeten zijn die de conformiteitsbeoordeling van High-Risk AI gaan uitvoeren. Daarnaast gaan over een jaar de bepalingen voor GenAI gelden, zo hebben ontwikkelaars de tijd om te bouwen aan hun AI-systemen (die vaak GenAI als basis hebben).
Over twee jaar (maart 2026) wordt vrijwel de gehele AI Act van kracht. Wat wel opmerkelijk is, is dat er toch nog uitzonderingen zijn, zoals ‘legacy’ systemen van de overheid (bijvoorbeeld voor grensbewaking), die hebben tot 2030 de tijd om aan de AI Act te voldoen.
(1) https://eur-lex.europa.eu/legal-content/NL/TXT/HTML/?uri=CELEX:52021PC0206
