In een verkennend onderzoek naar het gebruik van algoritmen in het Nederlands onderwijs zet van het College voor de Rechten van de Mens vraagtekens bij de inzet van bepaalde vormen van onderwijssoftware. In haar aanbevelingen stelt het College dat de overheid moet ingrijpen en landelijke eisen moet stellen aan onderwijstoepassingen, om te voorkomen dat mogelijk discriminatoire algoritmes worden ingezet.
In de onderwijspraktijk worden algoritmen vooral gebruikt in adaptieve leersystemen, automatische nakijkprogramma’s en leerlingvolgsystemen. In het middelbaar beroepsonderwijs en hoger onderwijs worden daarnaast ook 'learning analytics' ingezet om de studievoortgang en onderwijskwaliteit te monitoren. Deze technologieën kunnen, mits correct ingezet, onderwijsinstellingen ondersteunen bij het identificeren van studenten die mogelijk extra hulp nodig hebben.
Het rapport wijst echter ook op significante risico's zoals bias in algoritmen, veroorzaakt door selectief datagebruik of bepaalde programmeringsmethoden. Dergelijke bias kan leiden tot kansenongelijkheid. Algoritmen kunnen bijvoorbeeld onbedoeld minderheidsgroepen of leerlingen met leeruitdagingen zoals dyslexie benadelen.
Daarnaast zijn er zorgen over de privacy van studenten en leerlingen. Vaak is onduidelijk wie de eigenaar is van de verzamelde data en hoe deze wordt gebruikt.
Het college stelt in haar aanbevelingen dat het Ministerie van Onderwijs meer eisen moet stellen aan toepassingen om discriminatie door algoritmen te voorkomen. Ook experts pleiten voor een nationaal beleid dat voorwaarden stelt aan het gebruik van algoritmen in het onderwijs, met bijzondere aandacht voor het testen van deze systemen op discriminatoire uitkomsten.
“Toepassingen met algoritmen moeten zeer uitgebreid worden getest op mogelijke negatieve uitwerking voor bepaalde groepen. Dat moet allereerst door de softwareontwikkelaar worden gedaan. Vervolgens moet op landelijk niveau worden getest of systemen aan de voorwaarden voldoen. Als dat het geval is, zou er een keurmerk voor kunnen worden afgegeven.”
Een keurmerk afgegeven door een bevoegde instantie zou onderwijsinstellingen behoeden voor het onwetend afnemen van onderwijstoepassingen die discriminatoire beslissingen nemen. “Scholen missen de expertise om uitgebreid te testen en hebben onvoldoende invloed bij de leveranciers van toepassingen. Onderwijsgevenden zouden beter moeten worden geschoold in het werken met technologie in het onderwijs. Ook zouden zij meer bewust moeten worden gemaakt van potentiële risico’s van algoritmen en manieren om die te ondervangen”, aldus het College.
Onderzoek Algoritmen in het onderwijs: https://publicaties.mensenrechten.nl/publicatie/dcc74e47-c151-47fc-ab85-ed2c80d2c13f
