Eindelijk is het zover: de AI Verordening (AI Act) is – na verschillende ingrijpende revisies – op 13 maart 2024 door het Europese Parlement aangenomen. Deze baanbrekende verordening introduceert een uitgebreid regelgevend kader voor AI-systemen, met name voor aanbieders maar ook voor gebruikers. Met de toenemende integratie van AI in software, zal vrijwel elke organisatie als een gebruiker van een AI-systeem kwalificeren onder de AI Act. In deze bijdrage gaan we in op de contractuele aandachtspunten bij de inkoop van (hoog risico) AI-systemen.
De AI Act kent een risicogebaseerde aanpak, waarbij de verplichtingen voor aanbieders en gebruikers (‘exploitanten’) afhankelijk zijn van het risico van het AI-systeem (1). Het gros van de verplichtingen uit de AI Act geldt enkel voor aanbieders van zogenaamde hoog risico AI-systemen, wat bijvoorbeeld tools kunnen zijn die gebruikt worden voor biometrische identificatie, de toekenning van uitkeringen of cv-selectie in sollicitatieprocedures (2). Voor AI-systemen met een beperkt risico (zoals een chatbot), generatieve AI (zoals ChatGPT) en generatoren van content zoals afbeeldingen en video (zoals Midjourney en DALL-E), gelden beperkte verplichtingen met een nadruk op transparantie. De verplichtingen die gelden voor deze systemen zijn nog niet geheel uitgekristalliseerd maar worden op termijn verder uitgewerkt, bijvoorbeeld in nog te publiceren praktijkcodes. General Purpose AI (GPAI) modellen, waar bijvoorbeeld het large language model GPT 4 onder valt, worden vanwege hun brede inzetbaarheid aan een specifiek regime onderworpen, onder meer met betrekking tot een technische documentatie, training van de modellen en beleid over naleving auteursrechten, met bijkomende verplichtingen voor modellen met een zogenaamd systeemrisico.
Bij de inkoop van AI-systemen dient gewaarborgd te worden dat de afnemer c.q. gebruiker kan voldoen aan diens verplichtingen onder de AI Act. Zoals hierboven opgemerkt, gelden met name verplichtingen voor aanbieders van hoog-risico AI-systemen, maar er bestaan ook beperkte, veelal doorgelegde, verplichtingen voor de gebruiker. Daarbij kan gedacht worden aan de verplichting voor gebruikers om logfiles op te slaan, de aanbieder van het AI-systeem te informeren bij incidenten, zorg te dragen voor relevante invoerdata en het implementeren van menselijk toezicht en bepaalde meld- en registratieplichten (3). Daarnaast zal de afnemer willen overeenkomen dat de aanbieder voldoet aan diens verplichtingen onder de AI Act (4). Wanneer hoog risico AI wordt ingekocht, is het van belang dat in ieder geval de volgende verplichtingen van de aanbieder in de overeenkomst zijn geadresseerd:
Het implementeren van een risicobeheersysteem waarin de risico’s die het AI-systeem kan vormen voor de gezondheid, veiligheid en grondrechten worden ingeschat en geëvalueerd en naar aanleiding waarvan risicobeheersmaatregelen worden genomen.
Zorgdragen voor een adequate data governance ten aanzien van de datasets waarmee het AI-systeem wordt getraind en getest;
Beschikbaar hebben van technische documentatie en handleidingen voor de gebruiker;
(Faciliteren van) het loggen van het gebruik van het systeem en eventuele problemen die daarbij optreden;
Waarborgen dat de werking van het AI-systeem voldoende transparant is om de gebruiker in staat te stellen de output te interpreteren en op passende wijze te gebruiken;
Mogelijk maken dat menselijk toezicht kan worden gehouden op de werking van het AI-systeem;
Waarborgen dat het AI-systeem een passend niveau van nauwkeurigheid, robuustheid en cyberbeveiliging biedt;
Uitvoeren van preventief en correctief onderhoud aan het AI-systeem, onder meer in het geval van ongewenste of schadelijke output van het AI-systeem;
Zorgdragen voor een geldige EU-conformiteitsverklaring.
Voor hoog risico AI volgen deze verplichtingen uit de AI Act en is onze inschatting dat deze verplichtingen doorgaans in meer of minder detail zullen landen in een overeenkomst. Ook voor de inkoop van andere AI-systemen kunnen de verplichtingen uit de AI Act als inspiratie dienen voor contractuele regelingen, aangezien het objectief gezien voor de hand liggende en voor de gebruiker wenselijke afspraken zijn. In hoeverre aanbieders van beperkt of minimaal risico systemen echter bereid zullen zijn dergelijke uitgebreide verplichtingen op zich te nemen, zal de tijd uitwijzen. Standard practices voor de contractering van AI-systemen zullen zich de aankomende periode moeten ontwikkelen.
Ook los van de AI Act, zijn er aandachtspunten bij de inkoop van AI die in de overeenkomst opgenomen dienen te worden. Daarbij kan onder meer gedacht worden aan de volgende onderwerpen:
Verdere verwerking van de door de gebruiker ingevoerde data, gebruikte prompts of gegenereerde output;
Aansprakelijkheidsregelingen voor (ongewenste) uitput van het AI-systeem;
Afspraken met betrekking tot de gebruikte trainingsdata voor het AI-model, met daarbij een passende regeling voor de daarbij betrokken intellectuele eigendomsrechten en vrijwaringen voor claims van derden wegens inbreuk op intellectuele eigendomsrechten;
Auditrechten om de compliance van de wederpartij aan de verplichtingen van de AI Act en/of de overeenkomst te toetsen;
Etc.
Van belang is in ieder geval dat de contractuele regeling passend is bij de concrete situatie, waarbij tenminste rekening gehouden dient te worden met de specifieke eigenschappen van het AI-systeem, de relatie en verhouding tussen partijen, de eventuele geïdentificeerde risico’s van het AI-systeem en de verplichtingen die op de partijen rusten op grond van de AI Act.
Hoewel de meeste verplichtingen uit de AI Act pas over circa twee jaar in werking zullen treden, is het verstandig nu al een inventarisatie te maken van de impact van de AI Act op de eigen organisatie en de benodigde contractuele waarborgen. Daarbij kunnen concreet al de volgende stappen worden ondernomen:
Inventariseer welke AI- systemen in gebruik zijn of in gebruik genomen gaan worden en waarvoor.
Classificeer de geïdentificeerde AI-systemen en beoordeel welke verplichtingen op grond van de AI Act daaruit rusten op de eigen organisatie.
Incorporeer op basis van de geldende verplichtingen passende contractuele regelingen in bestaande en nieuwe contracten en implementeer de verplichtingen in uw organisatie.
Update/herhaal dit proces; de ontwikkeling van AI-systemen en de (interpretatie van de) regelgeving daaromtrent, zijn aan verandering onderhevig. Het is van groot belang om up-to-date te blijven van de laatste ontwikkelingen.
(1) De aangenomen tekst is hier te vinden: https://www.europarl.europa.eu/doceo/document/TA-9-2024-0138_EN.html.
(2) Een lijst van hoog risico AI-systemen is opgenomen in Bijlage III bij de AI Act.
(3) In bepaalde gevallen gelden nog aanvullende verplichtingen. Zo moet in sommige specifieke gevallen een Fundamental Rights Impact Assessment (FRIA) worden uitgevoerd (zie art. 27 AI Act). Daarnaast kan een gebruiker van een AI-systeem, bijvoorbeeld als hij wijzigingen aanbrengt in een AI-systeem of in het beoogde doel van het AI-systeem, zelf als aanbieder onder de AI Act kwalificeren en gebonden raken aan de bij die rol behorende verplichtingen (zie art. 25 AI Act).
(4) De vereisten voor hoog risico AI-systemen zijn opgenomen in hoofdstuk 3, de specifieke verplichtingen voor aanbieders zijn opgenomen in afdeling 3 daarvan.
