Measuring Vocabulary Knowledge of Advanced Learners of English using a Multiple-Choice Test

Abstract

This paper is focuses on comparing the reliability and validity of two test formats, a traditional multiple-choice format and a newly developed serial multiple-choice format. The aim of the thesis is to find out whether the two formats are equivalent tests of receptive, meaning- recognition knowledge of mid-frequency English words. Two tests were distributed among advanced students of English at Czech secondary schools, one in the multiple-choice format, one in the serial multiple-choice format. The analysis of 87 test responses revealed that the tests are not equivalent. The serial multiple-choice test was significantly more difficult than the multiple-choice test. The results of this study suggest that the serial multiple-choice format partially suppresses the participants' ability to apply test strategies and guessing. The data indicates that the serial multiple-choice test took longer to sit. However, neither test caused the participants more stress. This study shows that the wording of options on the serial multiple- choice format should be treated differently than on the typical multiple-choice format. The findings of this study may inform teachers about the advantages and disadvantages of the serial multiple-choice test format. Keywords: multiple-choice test, serial multiple-choice test,...

Tato diplomová práce srovnává reliabilitu a validitu dvou formátů testů, a to tradičního testu s výběrem možných odpovědí a nového formátu testu s postupným výběrem možných odpovědí. Cílem práce je zjistit, zdali jsou tyto formáty ekvivalentními testy, které měří receptivní znalost středně frekventovaných anglických slov. Dva testy, jeden ve formátu testu s výběrem možných odpovědí a druhý ve formátu testu s postupným výběrem možných odpovědí, byly vyplněny 87 pokročilými žáky angličtiny z českých středních škol. Analýza ukázala, že testy nejsou ekvivalentní. Test s postupným výběrem možných odpovědí byl signifikantně těžší než test s výběrem možných odpovědí. Výsledky naznačují, že test s postupným výběrem možných odpovědí částečně znemožňuje účastníkům aplikovat testové strategie a hádat správné odpovědi. Data také ukázala, že vyplnění testu s postupným výběrem možných odpovědí účastníkům trvá delší dobu. Ani jeden test nezpůsobil účastníkům signifikantně více stresu. Studie indikuje, že formulace možností se v každém formátu řídí jinými pravidly. Výsledky této práce by měly informovat učitele o výhodách a nevýhodách nového formátu testu s postupným výběrem možných odpovědí. Klíčová slova: test s výběrem možných odpovědí, test s postupným výběrem možných odpovědí, slovní zásoba, jazykové...