Using a generative text-to-image model for the free recall of photographs in memory tasks

Abstract

This master's thesis explores the use of generative multimodal models (GMMs) as tools for investigating long-term visual memory (LTVM) for scenes within the free recall paradigm. The study aimed to examine the feasibility of using GMMs in memory research and to identify key factors influencing recognition performance following image-based recall. The theoretical part discusses the nature of visual memory, methods for assessing memory fidelity, and the potential of generative AI in research on visual memory. The empirical part consists of two studies. In the first, participants (N = 53) viewed a set of images, recreated selected ones using ChatGPT, and completed a two-alternative forced-choice (2AFC) recognition task. The second study involved independent raters (N = 80) who matched the generated images to their original counterparts. Participants performed significantly above chance in the 2AFC task, confirming strong recognition performance even with highly similar distractors. Raters matched the generated images to their source images with high accuracy. Statistical analyses, including hierarchical regression, showed that most linguistic features of the recall conversations did not significantly predict recognition accuracy, although a small negative effect of the number of conversational turns...

Tato diplomová práce zkoumá využití generativních multimodálních modelů (GMM) jako nástroje pro zkoumání dlouhodobé vizuální paměti (LTVM) scén v rámci paradigmatu volného vybavení. Cílem studie bylo posoudit použitelnost GMM ve výzkumu paměti a identifikovat klíčové faktory ovlivňující výkon v rozpoznávací úloze po volném vybavení obrazu z paměti. Teoretická část pojednává o povaze vizuální paměti, metodách hodnocení fidelity paměti a potenciálu generativní AI ve výzkumu vizuální paměti. Empirická část zahrnuje dvě studie. V první studii účastníci (N = 53) sledovali sadu obrázků, vybrané z nich poté znovu vytvořili pomocí ChatGPT a následně absolvovali úlohu rozpoznávání ze dvou alternativ (2AFC). Druhá studie zahrnovala nezávislé hodnotitele (N = 80), kteří přiřazovali vygenerované obrázky k jejich původním předlohám. Účastníci dosáhli v úkolu 2AFC výsledků významně nad úrovní náhody, což potvrzuje schopnost rozpoznání i při použití vizuálně velmi podobných podnětů. Hodnotitelé dokázali s vysokou přesností přiřadit vygenerované obrázky k jejich originálům. Statistické analýzy, včetně hierarchické regrese, ukázaly, že většina vlastností textu extrahovaných z transkriptů konverzací neměla vliv na rozpoznání obrázků, pouze počet promluv v konverzaci měl slabý negativní efekt. Zjištění podporují...