Met een reeks artikelen willen we een realistisch perspectief op de toepassing van ArtificiëIe Intelligentie (AI) binnen de overheid geven. In de actualiteit zien we zorgen en problemen rondom AI: hoe bewaken we de menselijke maat? Hoe zorgen we bijvoorbeeld dat een systeem niet discrimineert? In dit derde artikel staan mensgerichte AI en non-discriminatie centraal. Bart van der Sloot van de Tilburg Institute for Law, Technology, and Society onderzocht hoe AI-algoritmen zich aan de wet op het gebied van non-discriminatie kunnen houden. Eerst leggen we uit welke non-discriminatieprincipes daarbij kunnen helpen. Daarna bespreken we met Bart zijn adviezen hoe de overheid de lessen uit zijn onderzoek kan gebruiken om AI in te zetten. “Eigenlijk zijn deze adviezen helemaal niet nieuw, we moeten ze alleen opnieuw leren toepassen bij AI”, legt Bart uit. Een onthutsende of juist hoopvolle conclusie?
Iedereen weet dat discriminatie bij wet verboden is. Ook wanneer we bij het nemen van besluiten algoritmen toepassen, willen we dus niet onbedoeld discrimineren. Maar hoe zorgen we daarvoor? Bart van der Sloot deed daar onderzoek naar en publiceerde een Handreiking AI-systeemprincipes voor non-discriminatie. De essentie daarvan is dat bij de voorbereiding en tijdens de ontwikkeling van algoritmen bij elke stap heel bewust wordt gekeken wat het doel is, wat er precies gebeurt en met welke data. Ook tijdens de implementatie en evaluatie wordt dit zorgvuldig gedaan.
Deze procedure wordt *Non-discriminatie by design genoemd. In 6 stappen kom je tot een AI-toepassing waarmee je discriminatie voorkomt, die zijn uitgelegd in het kader rechts. Wij vroegen Bart van der Sloot om daar wat meer over te vertellen.
Wat is mensgerichte AI eigenlijk? “Algoritmes zijn per definitie juist níet menselijk”, vertelt Bart van der Sloot. “Met de term mensgerichte AI moeten we oppassen dat we niet verhullen dat algoritmes in essentie niet menselijk zijn. Wat we ermee bedoelen, is dat we goed zicht moeten houden op wat een algoritme doet en wat de belangen zijn die we ermee willen dienen, in welke context. Daarvoor moeten alle belanghebbenden betrokken worden.” Dat is ook eigenlijk de kern van de non-discriminatieprincipes. Maar hoe doen we dat concreet?
“De kracht van AI is dat in groepen gegevens correlaties worden gevonden en niet voor elk geval apart moet worden nagedacht hoe je het moet behandelen. Dat is sneller, efficiënter en consistent. Volgens de wet mogen we niet discrimineren, ook niet indirect. Maar we weten dat gegevens niet objectief zijn (biased) en dat correlaties die we vinden discriminerend kunnen zijn. Dat is niet te vermijden. Maar de wet zegt iets over de uitkomst, niet over het proces daarnaartoe. Je weet dus nog steeds niet hoe je een AI-systeem moet bouwen, welke data je wel en niet mag verzamelen en hoe je het algoritme moet trainen. Dat is precies de vertaalslag die wij met een team van juristen, techneuten en ethici van drie universiteiten en het College voor de Rechten van de Mens hebben gedaan. De Handreiking Non-Discriminatie by design geeft stap voor stap aan binnen welke kaders keuzes moeten worden genomen.”
Bart stelt dat een wereld met AI niet per se beter is dan een wereld zonder AI. AI kan grote voordelen hebben, maar er zitten ook intrinsieke nadelen aan. De vraag die dus altijd moet worden gesteld is: waarom AI? Of omgekeerd: waarom niet? “Stel dat je een algoritme een besluit laat voorbereiden, maar uit voorzorg een mens het uiteindelijke besluit laat nemen. Waarom zou je dan AI inzetten? Het risico bestaat dat een mens het besluit toch gewoon overneemt. Bijvoorbeeld door tijdsdruk, of om te vermijden dat hij moet uitleggen waarom hij wil afwijken van de uitkomst van het algoritme. AI kan juist ook een voordeel bieden ten opzichte van menselijke keuzes: je kunt heel nauwgezet volgen hoe besluiten worden genomen en op basis van welke overwegingen terwijl er bij mensen vaak onderbewuste processen meespelen. Je kunt ook zien of en in hoeverre er discriminatoire biases zijn en vervolgens corrigerend optreden waar nodig, terwijl menselijke beslissingen vaak niet minder discriminerend zijn. Ook is AI heel consistent, wat de rechtszekerheid en -gelijkheid voor burgers kan vergroten.”
Volgens Bart hadden de mislukkingen bij SyRI in de rechtspraak en systemen voor predictive policing, waarmee algoritmen voorspellen waar criminaliteit plaatsvindt, voorkomen kunnen worden. “Er is gewoon onvoldoende vooraf over nagedacht.” Toch doen overheidsinstanties het volgens Bart steeds beter. Er was ook veel belangstelling voor de adviezen uit zijn onderzoek. “Je moet beseffen dat wetgeving en jurisprudentie niet zomaar zwart-wit zijn toe te passen in AI. Programmeurs willen dat graag, maar hebben duidelijkheid nodig. AI is in feite gewoon statistiek, waardoor we al veel kennis hebben over betrouwbaarheid van correlaties en beslissingen. Die kennis moeten we meer gebruiken bij ontwikkeling van AI. Bij beleidsmakers en bestuurders bestaat echter nog vaak onwetendheid over AI, waardoor niet de goede opdrachten worden gegeven. Daarom is betrokkenheid van alle belanghebbende partijen zo belangrijk.” Hoe zit het dan met de onvoorspelbaarheid van bijvoorbeeld zelflerende systemen? “Als het echt een blackbox is waaruit je niet kunt herleiden hoe het werkt, moet je het niet binnen de overheid gebruiken. Overheidsdiensten moeten altijd kunnen aantonen hoe zij werken en op basis waarvan zij beslissingen nemen. Permanente evaluatie is bij dit soort systemen nodig, omdat ze zelflerend zijn. Luister dus ook goed naar signalen van burgers en neem ze serieus.”
Luisteren is een enorm belangrijke soft skill bij de ontwikkeling van AI. Bart: “We weten al lang dat bij ontwikkeling van systemen communicatie tussen opdrachtgevers, gebruikers, andere belanghebbenden en ontwikkelaars cruciaal is. Niet alleen voor het draagvlak, maar überhaupt om er voor te zorgen dat een systeem werkt en doet wat het moet doen. AI is op sommige punten natuurlijk complexer en er zijn veel verschillende disciplines bij betrokken, maar juist daarom blijft communicatie de kern! Dat geldt dus voor de ontwikkeling van algoritmes, maar ook voor het beoordelen van de kwaliteit van data die je gebruikt en het gewicht dat je daaraan toekent. Het is heel verleidelijk allerlei beschikbare data gebruiken, terwijl de juistheid en actualiteit helemaal niet duidelijk is. Je kunt wel een project starten op basis van onvolledige en gebiasde data, maar dan moet je het vaak weer na een jaar, twee jaar stilzetten omdat het systeem helemaal niets oplevert en de voorspellingen niet accuraat zijn. Dan heb je dus tijd, mankracht en middelen verspild.”
De ambities van Nederland en de EU om voorop te lopen in mensgerichte AI juicht Bart toe. De EU komt herhaaldelijk met reguleringsvoorstellen. “Dat is ook de kracht van Europa”, vindt hij. “We hebben hier mensenrechten, normen en waarden. Als je hier zaken wil doen met AI, dan hebben we daar heldere kaders voor. Het had alleen ook 20 jaar eerder gekund. In Amerika zie je dat de wal het schip keert: het wantrouwen ten opzichte van AI is zo toegenomen dat daar nu ook om sterke regulering wordt gevraagd, juist door de AI-bedrijven.” Bart vertelt dat predictive policing ook daar het imago van de politie heeft geschaad, omdat ze alleen optreedt als er moet worden ingegrepen. De politie is daardoor minder zichtbaar als vertrouwd gezicht in de wijk. “Als de Nederlandse politie AI toepast, moet de kracht van de wijkagent, die zijn omgeving kent en contact heeft, niet verloren gaan. De wijkagent ziet vaak veel meer dan een AI-systeem.”
Communicatie, betrekken van belanghebbenden en goed nadenken voor je begint. Het klinkt eenvoudig. Heeft Bart aan dat advies nog iets aan toe te voegen? Uiteraard: “Maak héél goed helder waar je het voor doet! Heb een goed verhaal en communiceer daar open over. Sta open voor signalen over onverwachte effecten en pak die snel op. Preciseer heel precies wat je benchmarks zijn en welke succescriteria er gelden en controleer na een jaar of je die benchmarks hebt gehaald; zo niet, stop dan met het project en modder niet oneindig door. AI en data-gedreven werken is niet een doel op zich, maar een middel. Gebruik het voor een rationaliseringsslag binnen de overheid. Maak beleid transparanter en controleerbaarder, zorg dat menselijke bias en (onbewuste) discriminatie wordt weggenomen en maak de toepassing van regels consistent. Zo kan AI ons echt helpen en kan de overheid integer en transparant AI voor onze maatschappij inzetten.” En dat is een hoopvolle conclusie.
*Non-discriminatie by design
1. Probleemdefinitie
Wat is het probleem en hoe gaat AI helpen het probleem op te lossen? Welk percentage in foutnegatieven en foutpositieven is acceptabel?
2. Dataverzameling
In hoeverre zijn de benodigde data binnen de organisatie beschikbaar en in hoeverre moeten ze van buiten worden gehaald? Welke bias zit er in de data?
3. Datavoorbereiding
Aan de hand van welke criteria wordt de keuze gemaakt om bepaalde data wel of niet te gebruiken voor het model en hoe raakt deze keuze het onderscheid tussen groepen?
4. Modellering
Hoe worden criteria op het gebied van uitlegbaarheid en fairness vertaald naar de modelselectiestrategie? Hoe presteert het model op de gekozen benchmark van foutpositieven en foutnegatieven?
5. Implementatie
Selecteer een afgebakende en representatieve toepassing om het systeem te testen. Pas het model aan op basis van de resultaten en betrek de belanghebbenden.
6. Evaluatie
Kies een implementatiestrategie en formuleer een evaluatie- en exitstrategie. Beoordeel hoe het systeem functioneert en hoe het zou functioneren met een ander model, fairness definitie en/of algoritme.
Bron: Handreiking AI-systeemprincipes voor non-discriminatie, Bart van der Sloot et al.
Dit artikel verscheen oorspronkelijk op de website van de Nederlandse AI Coalitie.
