AI onder de loep: De dunne lijn tussen innovatie en verboden praktijken

Tijdens het wetgevingsproces ontstonden grote meningsverschillen tussen de Raad en het Europees Parlement, onder meer over biometrische identificatie op afstand (zoals gezichtsherkenning) voor rechtshandhaving. Ook de opkomst van general purpose AI (GPAI), oorspronkelijk 'foundational models' genoemd, vereiste aanpassingen in de verordening. De haast, meningsverschillen en technische nieuwe ontwikkelingen maakten het proces van totstandkoming van de verordening complex, wat hier en daar terug te zien is in het resultaat.

De AI-verordening is een omvangrijke wet, bestaande uit 180 overwegingen en 113 artikelen. 

Belangrijk om te weten: de AI-verordening heeft een risicogebaseerde opzet en maakt onderscheid tussen:

• AI-systemen met een onacceptabel risico,
• AI-systemen met een hoog risico,
• AI-systemen met transparantieverplichtingen.

Veel AI-systemen vallen buiten deze risicocategorieën. Voor aanbieders en gebruikers van dergelijke systemen gelden alleen de verplichtingen op het gebied van AI-geletterdheid.

Vaak krijg ik van organisaties de vraag: "Hoe implementeer ik de AI-verordening in mijn organisatie?" De eerste stap is om te bepalen of dit nodig is en, zo ja, wat er precies nodig is. Hiervoor dienen de volgende vragen beantwoord te worden:

1. Is er sprake van een AI-systeem in de zin van de AI-verordening?
2. Valt het AI-systeem onder de reikwijdte van de AI-verordening?
3. Valt het AI-systeem onder de verboden AI-systemen, hoogrisico AI-systemen of AI-systemen met transparantieverplichtingen?
4. Is uw organisatie aanbieder of gebruiksverantwoordelijke van een AI-systeem?
5. Is uw organisatie aanbieder van een model voor GPAI? (spoiler: waarschijnlijk niet...)

In de cursus juridische aspecten van AI zullen we uitgebreid op al deze vragen ingaan. Daarnaast behandelen we ook raakvlakken tussen de AI-verordening en de AVG en de vraagstukken rondom AI en intellectueel eigendom. Om alvast een voorproefje te geven bespreken we hier de eerste drie verboden uit de AI-verordening.

Misleidende of manipulerende AI-systemen

Het eerste verbod richt zich op AI-systemen die subliminale technieken gebruiken of doelbewust manipuleren of misleiden. Dit is verboden als het gedrag van personen of groepen wezenlijk verstoord wordt, door hun vermogen om een geïnformeerd besluit te nemen merkbaar te belemmeren. Er geldt een belangrijke voorwaarde: de manipulatie moet leiden, of redelijkerwijs waarschijnlijk leiden, tot aanzienlijke schade. Deze schade kan financieel zijn (bijv. fraude), maar ook psychologisch of maatschappelijk.

Een voorbeeld is een AI-chatbot die via misleidende technieken personen overhaalt tot beslissingen die ze normaal niet zouden nemen, zoals het afsluiten van een ondoorzichtige lening. Als ik misleid word om een reep chocolade te kopen, hoewel ik eigenlijk goede voornemens voor 2026 heb, dan zal dit verbod niet van toepassing zijn. Het is namelijk niet redelijkerwijs waarschijnlijk dat deze misleiding tot aanzienlijke schade leidt.

Uitbuiten kwetsbare mensen

Het tweede verbod richt zich op AI-systemen die misbruik maken van kwetsbaarheden van specifieke natuurlijk personen of specifieke groepen. Dit kunnen kinderen, ouderen, mensen met een beperking of mensen in een kwetsbare sociale of economische positie zijn. Het doel of gevolg van deze systemen is om het gedrag van deze personen wezenlijk te verstoren, wat leidt, of waarvan redelijkerwijze te verwachten is dat deze leidt, tot aanzienlijke schade. Denk hierbij wederom aan zaken als financieel verlies, psychische problemen, of maatschappelijke nadelen.

Dit verbod sluit aan bij het eerste verbod, maar is specifiek gericht op de bescherming van kwetsbare individuen en groepen. Ook hier geldt de voorwaarde dat de schade 'aanzienlijk' moet zijn. De schade hoeft niet daadwerkelijk op te treden, maar het moet wel redelijkerwijs te verwachten zijn dat er aanzienlijke schade ontstaat. Een voorbeeld is een AI-systeem dat via gerichte advertenties of chatbots mensen met een verstandelijke beperking overtuigt om dure, onnodige medische hulpmiddelen te kopen, terwijl deze producten geen bewezen voordelen bieden.

Social scoring

Het derde verbod, ook wel het verbod op social scoring genoemd, richt zich op AI-systemen die personen of groepen evalueren of classificeren op basis van hun sociale gedrag of persoonlijkheidskenmerken. Deze evaluatie of classificatie is verboden in de volgende twee situaties:

1. Nadelige behandeling in een ongerelateerde context:
De score wordt gebruikt om iemand ongunstig te behandelen in een situatie die niets te maken heeft met de context waarin de data oorspronkelijk is verzameld. Een voorbeeld hiervan is als volgt. Een gemeente maakt gebruik van een AI-systeem om te beoordelen of burgers in aanmerking komen voor een subsidie voor zonnepanelen. Deze selectie wordt gedaan aan de hand van gegevens over hoe mensen zich in de openbare ruimte gedragen, of zij vaak boetes krijgen en of zij deelnemen aan protesten.
2. Ongerechtvaardigde of onevenredige behandeling:
De score leidt tot een nadelige behandeling die niet in verhouding staat tot het sociale gedrag of de ernst daarvan. Een voorbeeld hiervan is als volgt. Een overheidsinstelling gebruikt een AI-systeem om gezinnen te beoordelen op basis van sociaal gedrag, zoals het missen van een afspraak bij de arts. Als gevolg daarvan worden kinderen uit huis geplaatst, terwijl deze ingrijpende maatregel niet in verhouding staat tot de lichte overtreding. Dit is een onevenredige en ongerechtvaardigde behandeling.