AI-modellen zijn echter maar zo goed als de data waarmee ze zijn getraind. En het is bijna onvermijdelijk dat de teksten die we de modellen voeren soms stereotypen bevatten, zowel positief als negatief. Allerlei stereotypen kunnen in taalmodellen terechtkomen: dat stiefmoeders gemeen zijn, academici pretentieus, Aziaten goed in wiskunde of Nederlanders gek op kaas. En als ze eenmaal in het model zitten, kunnen ze uiteindelijk worden verspreid en versterkt. Idealiter zou je op zijn minst willen weten welke stereotypen een taalmodel bevat. Maar hoe kom je daar achter?
Drie wetenschappers van de Universiteit van Amsterdam bedachten een reeks experimenten om die vraag te beantwoorden. Rochelle Choenni, Ekaterina Shutova en Robert van Rooij presenteerden hun werk op 7 november tijdens de internationale conferentie EMNLP 2021.
Rochelle Choeni, Ekaterina Shutova and Robert van Rooij; Stepmothers are mean and academics are pretentious: What do pretrained language models learn about you? Presented at the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP2021), 7 November 2021.