Визуализация музыки с помощью нейросетей в реальном времени

В настоящий момент (обязательная оговорка, когда речь идеть про нейросети) для генерации одного изображения у AI уходит минимум секунда. В лучшем случае пол секунды. Для видео нам требуется как минимум 15 кадров в секунду (а лучше бы и все тридцать). Следовательно, создавать нейросетью видео в реальном времени и таким образом визуализировать музыку — невозможно.

Теперь, когда мы это поняли, давайте подумаем, как же это сделать.

Читать далее