Gender stereotypes in neural sentence representations
Genderové stereotypy v neuronových reprezentacích vět
bakalářská práce (OBHÁJENO)

Zobrazit/ otevřít
Trvalý odkaz
http://hdl.handle.net/20.500.11956/184287Identifikátory
SIS: 251321
Kolekce
- Kvalifikační práce [11264]
Autor
Vedoucí práce
Oponent práce
Dušek, Ondřej
Fakulta / součást
Matematicko-fyzikální fakulta
Obor
Informatika se specializací Umělá inteligence
Katedra / ústav / klinika
Ústav formální a aplikované lingvistiky
Datum obhajoby
7. 9. 2023
Nakladatel
Univerzita Karlova, Matematicko-fyzikální fakultaJazyk
Angličtina
Známka
Výborně
Klíčová slova (česky)
genderové stereotypy|BERT|větná reprezetace|embeddingKlíčová slova (anglicky)
gender bias|BERT|sentence representations|embeddingV posledných rokoch zasznamenali neurónové siete prudký nárast popularity v oblasti spracovania prirodzeného jazyka. Konzistentne prekonávajú tradičné metódy a vyžadujú menej ľudskej práce na zdokonaľovanie, nakoľko sú trénované bez učiteľa na rozsiahlych textových korpusoch. Tieto korpusy však môžu obsahovať nechcené javy, akými sú pred- sudky. V práci skúmame viacero modelov, s dôrazom najmä na český monolinguálny mo- del - RobeCzech. V prvej časti práce predstavujeme nástroj na dynamický benchmarking slúžiaci na identifikáciu rodových stereotypov v jazykovom modeli. Následne tento nástroj predkladáme skupine anotátorstva, čím získavame dátovú sadu stereotypných viet. V dru- hej časti práce navrhujeme metódu merania politických hodnôt mužov a žien naučených v jazykovom modeli a porovnávame tieto hodnoty so skutočnými dátami. Dovoľujeme si tvrdiť, že naša metóda má značné výhody oproti iným metódam, o ktorých vieme. V modeloch nenachádzame žiadne silné systematické presvedčenia ani rodové stereotypy. V prílohe pripájame zdrojový kód a vytvorené dátové sady. 1
Neural networks have seen a spike in popularity in natural language processing in re- cent years. They consistently outperform the traditional methods and require less human labor to perfect as they are trained unsupervised on large text corpora. However, these corpora may contain unwanted elements such as biases. We inspect multiple language models, primarily focusing on a Czech monolingual model - RobeCzech. In the first part of this work, we present a dynamic benchmarking tool for identifying gender stereotypes in a language model. We present the tool to a group of annotators to create a dataset of biased sentences. In the second part, we introduce a method of measuring the model's perceived political values of men and women and compare them to real-world data. We argue that our proposed method provides significant advantages over other methods in our knowledge. We find no strong systematic beliefs or gender biases in the measured political values. We include all the code and created datasets in the attachment. 1