Визуализация музыки с помощью нейросетей в реальном времени
В настоящий момент (обязательная оговорка, когда речь идеть про нейросети) для генерации одного изображения у AI уходит минимум секунда. В лучшем случае пол секунды. Для видео нам требуется как минимум 15 кадров в секунду (а лучше бы и все тридцать). Следовательно, создавать нейросетью видео в реальном времени и таким образом визуализировать музыку — невозможно.
Теперь, когда мы это поняли, давайте подумаем, как же это сделать.
Test
Как я делал кино с помощью нейросетей
В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.
В итоге этот фильм получил приз на фестивале купольных фильмов в Токио
Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.
О том, как нейросети изменят всё
Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросетей. И многие боятся, что нейронки сейчас убьют художников как вид. Но все еще драматичнее.
Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.
Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.
Но вернемся к художникам и их страхам Читать далее →
Формула красоты
Есть еще одна причина, по которой нам нравятся изображения нейросетей. Нейросети используют (ненамеренно) формулу красоты.
Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам расскажу.
Есть два источника красоты. Биологический и эвристический (который тоже растет из биологии но иначе). С Биологической красотой все понятно. Нам кажется красивым то, что полезно для выживания и размножения. Человек противоположного пола, дети, еда…. А вот многоножек большинство не считают красивыми. Но красоту многоножек можно увидеть, если посмотреть на них с точки зрения второго вида красоты.
2022
Сегодня совсем не время для грустных постов. Но, все-таки стоит это сказать сегодня, чтобы не тащить в следующий год.
Из всех итогов этого года самый значимый тот, что в этом году моя прежняя жизнь закончилась. В феврале. А новая так и не началась. Сейчас нечем жить, и все, что остается, помогать жить другим.
Это не правильно, конечно. В одном фильме про постапокалипсис была цитата из выдуманной книги про постапокалипсис. «Просто выжить — недостаточно».
И к будущему году у меня только одно пожелание. Чтобы закончилось это ужасное безвременье, и у всех снова начали возникать нормальные человеческие смыслы. Чтобы снова можно было дышать.
У нейросетей, которые пишут тексты есть существенный баг. Совершенно непонятна достоверность информации. Они правдоподобно ответят на вопрос, даже если ответа у них нет. Спросишь про периметр (или даже про площадь) пятиугольного треугольника — ответит
Если же попросить привести пруф на какой-то факт, может привести реальный, а может выдать правдоподобно выглядящую но никуда не ведущую ссылка, или вполне достоверно смотрящуюся отсылку на несуществующую научную статью в журнале.
Но. Многие этого еще не поняли, но это хорошая новость. Потому что ставит перед разработчиками задачу автоматической верификации. Что-то подобное было описано у Нила Стивенсона в «Анафеме». Чтобы нейросеть могла не просто рассказывать о чем-то, а приводить релевантные пруфы, и выдавать разные точки зрения если их несколько с оценкой их достоверности (как в хороших статьях Википедии)
А эти системы верефикации могут оказатся сами по себе даже более полезными, чем сами текстогенераторы. Так что их можно будет использовать самих по себе для проверки любой информации.
#нейросети
Как полюбить федиверс
Я понимаю, что разбираться в новых соцсетях сложно. Тем более, что федиверс — это не одна сеть, а целая вселенная соцсетей. Поэтому я напишу как привычнее всего использовать эти сети с конкретными рекомендациями, чтобы снизить порог вхождения для других. Рекомендации носят, разумеется, рекомедательный характер :) Напомню, что в федиверсе нет хозяина, который решает, что вам смотреть. Посты в хронологическом порядке, Отсутствие глобальной цензуры. Локально хозяин сервера может устанавливать любые свои правила, но если вам они не нравятся есть возможность пренести весь контент на другой сервер вместе с записями и подписками на друзей. Механизмы для этого встроены в систему. Или поставить свой сервер.
Читать далее →
Материализация чувственных идей, или как я использовал нейросети для создания украшений
Когда появились неросети, рисующие картинки, я подумал: «Как здорово! Это обязательно надо использовать!» О дальнейшем вы догадываетесь. Оказалось, что нейросеть классно рисует «что-нибудь».

Но заставить ее нарисовать что-то конкретное — задача даже более творческая, чем у обычного художника (я определяю творчество как решение задач, не имеющих алгоритма решения). И все-таки мне удалось научиться применять нейросети на практике, причем в разных областях. В этой статье я расскажу, как с помощью нейросетей создал вполне материальные, ощутимые пальцами, украшения.
Но начинается эта история с моих попыток использования нейросетей в графике.
Вордпресс
Занятно, но вордпресс с помощью плагина превращается в сервер ActivityPub