De IND hoeft het gebruik van CaseMatcher, een systeem waarmee medewerkers in eerdere asielzaken kunnen zoeken, niet in een besluit te vermelden. Volgens de rechtbank Den Haag is CaseMatcher geen AI-systeem, complex algoritme of black box en stuurt het programma de besluitvorming niet. De uitspraak maakt daarmee concreter wanneer het gebruik van algoritmen door de overheid wél om transparantie in een besluit vraagt.
De zaak draaide om vier afgewezen asielaanvragen van een familie uit Turkije. De betrokkenen stelden onder meer dat de Immigratie- en Naturalisatiedienst (IND) mogelijk CaseMatcher had gebruikt bij de beoordeling van hun aanvragen. Omdat de betrokken beslismedewerker zich dat niet meer kon herinneren, ging de rechtbank er voor de beoordeling vanuit dat het systeem inderdaad was gebruikt.
CaseMatcher maakt het voor geautoriseerde IND-medewerkers mogelijk om in eerder behandelde zaken te zoeken naar documenten waarin bepaalde zoektermen voorkomen. De resultaten kunnen onder meer op datum of relevantie worden gerangschikt.
De betrokkenen betoogden dat CaseMatcher een geavanceerd AI-systeem of in ieder geval een complex algoritme was. Ook zou het systeem risico’s op automation bias meebrengen en onvoldoende transparant zijn.
De rechtbank gaat daar niet in mee. Volgens de rechtbank gebruikt CaseMatcher een eenvoudig, op vaste regels gebaseerd algoritme. Het systeem zoekt naar documenten waarin bepaalde termen voorkomen en rangschikt de resultaten onder meer aan de hand van woordfrequentie en het soort document.
CaseMatcher leert, redeneert of modelleert volgens de rechtbank niet en genereert zijn resultaten deterministisch op basis van vooraf bepaalde regels. Daarmee kwalificeert het systeem volgens de rechtbank niet als AI-systeem in de zin van de Europese AI Act.
Ook van een complex algoritme of een black box is volgens de rechtbank geen sprake. De totstandkoming van de zoekresultaten is volgens haar logisch te herleiden.
Interessanter voor andere overheidstoepassingen is het oordeel van de rechtbank over transparantie.
Wanneer de motivering van een besluit niet tot stand had kunnen komen zonder een bepaald algoritme, kan het achterwege laten van informatie over dat algoritme volgens de rechtbank leiden tot een motiverings- en zorgvuldigheidsgebrek. Ook wanneer instructies van een algoritme onderdeel vormen van de beslissing, moet het gebruik ervan worden vermeld.
Daaruit volgt dat transparantie vooral van belang wordt wanneer een algoritme wezenlijke invloed heeft op of bepalend is voor de inhoud van een besluit.
Bij CaseMatcher is dat volgens de rechtbank niet het geval. Het programma toont alleen in welke eerdere zaken een zoekterm voorkomt. Het bepaalt niet welke resultaten relevant zijn en geeft de beslismedewerker geen instructie of uitkomst die moet worden gevolgd. De IND hoefde het gebruik daarom niet in de besluiten te vermelden.
De rechtbank gaat ook in op het risico van automation bias. De betrokkenen stelden dat medewerkers door CaseMatcher structureel eenzijdige informatie voorgeschoteld kunnen krijgen.
De rechtbank erkent dat de uitkomsten van zoekopdrachten de inhoudelijke beslissing van een medewerker kunnen beïnvloeden. Dat betekent volgens haar echter nog niet dat CaseMatcher zelf de beslissing stuurt.
Zo kan een zoekopdracht bijvoorbeeld meer negatieve dan positieve beslissingen opleveren wanneer aanvragen uit een bepaald land vaker zijn afgewezen. Het is volgens de rechtbank aan de IND en zijn medewerkers om daarop alert te zijn.
Daarbij weegt mee dat medewerkers eerst een interne online cursus moeten volgen voordat zij CaseMatcher mogen gebruiken. Ook vindt logging plaats en is een DPIA uitgevoerd voor het systeem waarvan CaseMatcher onderdeel uitmaakt.
De rechtbank oordeelt daarnaast dat de IND niet alle documenten die via CaseMatcher zijn gevonden aan het procesdossier hoeft toe te voegen. Het enkele feit dat gegevens uit een database tijdens de voorbereiding van een besluit zijn geraadpleegd, maakt deze volgens de rechtbank nog niet tot op de zaak betrekking hebbende stukken.
De uitspraak trekt daarmee een relevante grens voor digitale ondersteuning van overheidsbesluitvorming: het gebruik van software hoeft niet automatisch kenbaar te worden gemaakt, maar dat kan veranderen zodra een systeem daadwerkelijk invloed krijgt op de inhoud of motivering van een besluit.
Deze cursus draait om risicomanagement, governance en de menselijke kant van veiligheid. We starten bij het begin: zonder risicodenken wordt informatieveiligheid slechts een vinklijstje. Daarom leren we je risico's te vertalen naar begrijpelijke besluiten voor management en bestuur. Dit helpt je om afwegingen vast te leggen en te onderbouwen in beleid, rapportages en gesprekken met auditors.
