Predicting Field Experiment Results in a Lab

Abstract

Tato práce se zaměřuje na předpovídání experimentálních výsledků v labo­ ratorním prostředí, čímž se zároveň věnuje často diskutované otázce externí validity laboratorních experimentů. Provedli jsme laboratorní experiment, ve kterém měli účastníci za úkol předpovídat výsledky určitého field experimentu. Sebraná data jsou analyzována pomocí několika různých nástrojů pro přesnost měření. Zjistili jsme, že předpovědi 94 účastníků experimentu poskytují do­ brou informaci o reálných výsledcích field experimentu, ačkoliv jejich přesnost se mění v závislosti na použitém nástroji pro přesnost měření a určitém treat­ mentu. Průměrné předpovědi jsou více přesné nebo alespoň srovnatelné s průměrnými individuálními předpovědmi, čímž je prokázána přítomnost efektu "moudrosti davu".

This thesis is aimed at forecasting of experimental results in a lab environment, investigating often discussed external validity of laboratory experiments. We run a novel laboratory experiment in which the subject pool is asked to make predictions on results of a certain field experiment. The collected data is ana­ lyzed using different accuracy measures, arriving at several interesting results. First, the forecast among the 94 subjects is quite informative about the actual treatment effects although its accuracy substantially varies based on a type of accuracy measure and a particular treatment. Second, the average forecast is either more accurate or at least comparable to the mean individual forecast, proving the presence of "wisdom-of-crowds" effect.