Extraction of multimodal information from brain data to improve brain-computer interfaces in participants with spinal cord injury

Abstract

Obnovení mobility u pacientů paralyzovaných poraněním míchy zůstává zásadní výzvou v medicíně. Nedávné pokroky mají za cíl vytvořit digitální přemostění mezi mozkem a míchou (Lorach et al., 2023). Tento přístup po- užívá mozkový implantát zaznamenávající kortikální aktivitu k dekódování zamýšleného pohybu pacienta, a míšní implantát, který tento zamýšlený po- hyb převádí na elektrickou stimulaci. Cílem je takto přemostit poranění míchy a obnovit pacientův pohyb. Tato práce se zaměřuje na zlepšení dekódování pohybových záměrů vytvo- řením vysoce kvalitních reprezentací mozku souvisejících s pohybem. Dosahu- jeme toho rozšířením stávajícího self-supervised modelu založeného na auto- enkodéru používající transformery (Vaswani et al., 2017). Přidáním další loss funkce pro predikci pohybu kloubů reorganizujeme latentní prostor, abychom snížili výpočetní složitost potřebnou k extrakci motorických záměrů, což má za následek datově efektivní mozkové reprezentace pro úlohy související s pohybem. Jako predikovanou pohybovou modalitu využíváme abstraktní obrazové reprezentace odvozené z jednotlivých video snímků tetraplegického pacienta. Ukazujeme, že tyto funkce kódují pohyby pacienta a ověřují jejich použití jako modality pohybu. Pro vytvoření datasetu jsme vyvinuli automatizova- nou pipeline, která synchronizuje...

Restoring mobility in patients paralyzed by spinal cord injuries remains a critical challenge in medical technology. Recent advancements aim to create a digital bridge between the brain and spinal cord (Lorach et al., 2023). This approach involves a brain implant that records cortical activity to infer the patient's intended movements, and a spinal cord implant that translates them into electrical stimulation. The goal is to elicit precise motor responses, bypassing the spinal cord injury. This work focuses on enhancing intention decoding by developing high- quality, movement-related brain representations. We achieve this by extend- ing an existing self-supervised model based on a transformer autoencoder architecture (Vaswani et al., 2017). By introducing an additional loss func- tion for joint movement prediction, we reorganize the latent space to reduce the computational complexity required to extract motor intentions, result- ing in data-efficient brain representations for downstream movement-related tasks. As a predicted movement modality, we employ abstract image represen- tations derived from individual video frames of a tetraplegic patient. We demonstrate that these features encode the patient's movements, validating their use as a movement modality. To construct the dataset, we developed an...