Op 9 oktober vond de launch van het Erasmian Language Model (ELM) plaats. Academische staf, medewerkers en studenten, maar ook externe partijen zoals overheidsinstanties en startups, voegden zich bij het ontwikkelteam van ELM om meer te leren over het generatieve AI-model. Hoe is het ontwikkeld, wat kan het en hoe kunnen we het gebruiken?
Het idee achter het Erasmian Language Model (ELM) ontstond ongeveer een half jaar geleden, vertelt Evert Stamhuis, hoogleraar Law and Innovation en Academic Lead voor AI Convergence bij Erasmus University Rotterdam (EUR). Binnen de minor AI and Societal Impact leren studenten wat AI-modellen zijn, hoe ze werken en wat mogelijke problemen en verbeteringen kunnen zijn. Voor de studenten die betrokken waren bij de minor, werden kwesties als gegevensprivacy van closed-source modellen die gekoppeld zijn aan een centrale, externe server duidelijk. Evenals de milieu-impact van de gebruikte gegevens. "Een andere kwestie die speelt zijn de vooroordelen die generatieve AI-modellen hebben, zoals racistische en seksistische vooroordelen die te zien zijn in programma's zoals ChatGPT", legt Michele Murgia, projectleider van ELM en coördinator van de minor, uit.
ELM is een generatief AI-model, ontwikkeld en gebaseerd op EUR. In tegenstelling tot andere beschikbare AI-modellen, is ELM software die wordt gedownload op de harde schijf van de computer die je gebruikt om toegang te krijgen. Hierdoor worden verschillende privacy problemen opgelost, in tegenstelling tot een AI-model op een server op afstand. Ook is het model klein gehouden om de impact op het milieu te verminderen. Het model is specifiek geschikt voor academisch onderzoek en onderwijs. Het is een echt open-source model (je hebt inzicht in zowel het model als de gegevens) en het is getraind in zowel Engels als Nederlands, om bepaalde Engelstalige vooroordelen tegen te gaan.
Het proces achter de ontwikkeling van ELM bestond uit drie stappen. Ten eerste was er LLM (Large Language Model) voortraining nodig voor het model. Dit werd gedaan met behulp van de Universiteitsbibliotheek, via de openbaar toegankelijke repository van alle masterscripties en publicaties die aan EUR en het Erasmus MC zijn gepubliceerd. In de kern is ELM dus getraind op het academisch onderzoek dat aan EUR is uitgevoerd. De tweede stap van het proces is fine-tuning onder supervisie.. Tijdens deze stap krijgt het programma specifieke voorbeelden en aanwijzingen om een bepaald verzoek in te vullen. De huidige versie van ELM heeft geen chat-interface, zoals andere AI (bijvoorbeeld ChatGPT), maar dat kan in de toekomst wel. Als laatste stap werd reinforcement learning met feedback van mensen gebruikt om het programma te trainen. Op die manier kan er onderscheid gemaakt worden tussen goede en slechte gegenereerde resultaten.
Momenteel zijn er twee versies van ELM: ELM Small en de volledige ELM. Van deze versies zal ELM Small verder ontwikkeld worden, omdat de volledige ELM getraind is op Llama-2, de generatieve AI van Google. Die is niet volledig open-source en zou dus de wens om van ELM een community-gebaseerd model te maken in de weg staan. ELM Small is de versie die bedoeld is om gedownload te worden op laptops voor persoonlijk gebruik, omdat het op de meeste harde schijven van laptops kan draaien en slechts 1,8 GB opslagruimte gebruikt. Deze versie gebruikt 160 miljoen parameters en geeft de gebruiker volledige controle over het bewerken van het programma. Dit omvat het toevoegen van trainingsmateriaal om het model te verbeteren, evenals gecontroleerde fine-tuning en opties voor reinforcement learning. Dit is de versie van ELM die studenten van de minor AI and Societal Impact hebben getest, uitgebreid en verbeterd.
"We willen dat dit model efficiënt is en de doelen dient die we voor ogen hebben bij EUR. Om die reden hebben we er bewust voor gekozen om het een kleiner model te houden", legt João Goncalves uit, academic lead van ELM en docent in de minor AI and Societal Impact. Zowel Michele als João benadrukten dat ELM geen traditioneel model is, maar een community-based model. De eindgebruikers voor wie het is ontworpen, iedereen bij EUR, zijn ook de co-creators van ELM. Iedereen die ELM gebruikt kan dus direct invloed uitoefenen op de vormgeving van het model voor hun specifieke academische behoeften. "Het succes van het model hangt af van jullie, de gebruikers, die co-creators worden", zegt João.
Tegen het einde van het evenement was het duidelijk dat veel studenten en medewerkers enthousiast waren over het project en relevante vragen stelden. Het ging onder andere over afdelingsgebonden vooroordelen binnen onderzoek, het vermogen van het programma om de bron van informatie te identificeren (wat niet haalbaar is vanwege de aard van het LLM), en of het programma zich bewust kan zijn van zijn beperkingen in het beantwoorden van vragen op basis van de informatie waarop het is getraind.
De volgende stap voor ELM is verdere co-creatie. De oproep voor iedereen die ELM wil gebruiken en ontwikkelen staat open!
Om te helpen bij de ontwikkeling van ELM is het team op zoek naar mensen die geïnteresseerd zijn in het project. Bijdragen kunnen variëren van het leveren van informatie om het model mee te trainen, als het geven van voorbeelden en aanwijzingen voor fine-tuning onder toezicht. Ook kun je algemene feedback over het model geven. Als je geïnteresseerd bent, neem dan contact op met Michele Murgia of João Goncalves.
