A VST plugin for video-controlled audio manipulation

Abstract

Modern day music production is almost synonymous with the concept of a Digital Audio Workstation (DAW). A key feature of the DAW is the ability to expand function- ality by allowing the inclusion of third-party plugins defined by various standards; the most common of them being VST3. We contribute to the VST3 plugin ecosystem by designing and implementing a solution for playing video and simultaneously processing its visual features inside the environment of a VST3 plugin. We utilize this capability to develop a plugin that uses video as a source for controlling a set of real-time audio effects, thus, adding a new creative pathway to DAW-based digital music production.

Současná hudební produkce probíhá především v prostředí Digital Audio Workstation (DAW). Nástroje DAW umožňují obohatit poskytovanou funkcionalitu prostřednictvím externích pluginů, založených na různých standardech. Nejběžnějším z nich je standard VST3. Přispíváme do ekosystému VST3 pluginů tím, že jsme navrhli a vyvinuli způsob, jak přehrávat video a zároveň zpracovávat jeho vizuální vlastnosti kompletně uvnitř pro- středí VST3 pluginu. Toto řešení jsme využili k vývoji pluginu, který využívá video jako zdroj k ovládání sady zvukových efektů v reálném čase, čímž jsme přidali novou cestu k tvorbě digitální hudby v nástrojích DAW.