Визуализация музыки с помощью нейросетей в реальном времени
В настоящий момент (обязательная оговорка, когда речь идеть про нейросети) для генерации одного изображения у AI уходит минимум секунда. В лучшем случае пол секунды. Для видео нам требуется как минимум 15 кадров в секунду (а лучше бы и все тридцать). Следовательно, создавать нейросетью видео в реальном времени и таким образом визуализировать музыку — невозможно.
Теперь, когда мы это поняли, давайте подумаем, как же это сделать.
Test
Test
Как я делал кино с помощью нейросетей
В прошлой статье я рассказывал, как использовал нейросети в создании украшений. Сегодня расскажу, как с помощью нейросетей делал фильм для планетария.
В итоге этот фильм получил приз на фестивале купольных фильмов в Токио
Одной из моих целей было посмотреть, подходят ли нейросети для практического использования. Сейчас, когда работа закончена, сомнений в этом никаких нет, но тогда всё еще только начиналось, многие вещи было непонятно как делать. Более того, тогда, когда я начинал, и способов анимации практически не было. Можно было рисовать картинки по запросу, и это все.
О том, как нейросети изменят всё
Последнее время все больше думаю о нейросетях. И не только я. Вот, например, этот ажиотаж (долго подбирал слово, решил взять нейтральное) на АртСтейшен, когда художники протестовали против нейросетей. И многие боятся, что нейронки сейчас убьют художников как вид. Но все еще драматичнее.
Лет 10 назад я читал прогноз, что через 30 лет все в мире будут делать роботы. И видимо, это так. Художники — это первая ласточка. Роботы смогут заменить человека во всех профессиях. Вспомните, кем вы работаете, и осознайте, что в ближайшие десятилетия робот будет это делать лучше. Причем последними сдадутся дворники.
Такой мир не сможет стоять на тех основах, что стоит сейчас. И потому он неотвратимо измениться. В целом, тот мир будет лучше нынешнего, человек освободиться от «надо» и будет делать что хочет. Но переходный период может сопровождаться социальными потрясениями.
Но вернемся к художникам и их страхам Читать далее
Формула красоты
Есть еще одна причина, по которой нам нравятся изображения нейросетей. Нейросети используют (ненамеренно) формулу красоты.
Про то, почему нам красиво, никто, кроме меня, толком не знает. Но я вам расскажу.
Есть два источника красоты. Биологический и эвристический (который тоже растет из биологии но иначе). С Биологической красотой все понятно. Нам кажется красивым то, что полезно для выживания и размножения. Человек противоположного пола, дети, еда…. А вот многоножек большинство не считают красивыми. Но красоту многоножек можно увидеть, если посмотреть на них с точки зрения второго вида красоты.
2022
Сегодня совсем не время для грустных постов. Но, все-таки стоит это сказать сегодня, чтобы не тащить в следующий год.
Из всех итогов этого года самый значимый тот, что в этом году моя прежняя жизнь закончилась. В феврале. А новая так и не началась. Сейчас нечем жить, и все, что остается, помогать жить другим.
Это не правильно, конечно. В одном фильме про постапокалипсис была цитата из выдуманной книги про постапокалипсис. «Просто выжить — недостаточно».
И к будущему году у меня только одно пожелание. Чтобы закончилось это ужасное безвременье, и у всех снова начали возникать нормальные человеческие смыслы. Чтобы снова можно было дышать.
У нейросетей, которые пишут тексты есть существенный баг. Совершенно непонятна достоверность информации. Они правдоподобно ответят на вопрос, даже если ответа у них нет. Спросишь про периметр (или даже про площадь) пятиугольного треугольника — ответит
Если же попросить привести пруф на какой-то факт, может привести реальный, а может выдать правдоподобно выглядящую но никуда не ведущую ссылка, или вполне достоверно смотрящуюся отсылку на несуществующую научную статью в журнале.
Но. Многие этого еще не поняли, но это хорошая новость. Потому что ставит перед разработчиками задачу автоматической верификации. Что-то подобное было описано у Нила Стивенсона в «Анафеме». Чтобы нейросеть могла не просто рассказывать о чем-то, а приводить релевантные пруфы, и выдавать разные точки зрения если их несколько с оценкой их достоверности (как в хороших статьях Википедии)
А эти системы верефикации могут оказатся сами по себе даже более полезными, чем сами текстогенераторы. Так что их можно будет использовать самих по себе для проверки любой информации.
#нейросети
Как полюбить федиверс
Я понимаю, что разбираться в новых соцсетях сложно. Тем более, что федиверс — это не одна сеть, а целая вселенная соцсетей. Поэтому я напишу как привычнее всего использовать эти сети с конкретными рекомендациями, чтобы снизить порог вхождения для других. Рекомендации носят, разумеется, рекомедательный характер :) Напомню, что в федиверсе нет хозяина, который решает, что вам смотреть. Посты в хронологическом порядке, Отсутствие глобальной цензуры. Локально хозяин сервера может устанавливать любые свои правила, но если вам они не нравятся есть возможность пренести весь контент на другой сервер вместе с записями и подписками на друзей. Механизмы для этого встроены в систему. Или поставить свой сервер.
Читать далее
Материализация чувственных идей, или как я использовал нейросети для создания украшений
Когда появились неросети, рисующие картинки, я подумал: «Как здорово! Это обязательно надо использовать!» О дальнейшем вы догадываетесь. Оказалось, что нейросеть классно рисует «что-нибудь».
Но заставить ее нарисовать что-то конкретное — задача даже более творческая, чем у обычного художника (я определяю творчество как решение задач, не имеющих алгоритма решения). И все-таки мне удалось научиться применять нейросети на практике, причем в разных областях. В этой статье я расскажу, как с помощью нейросетей создал вполне материальные, ощутимые пальцами, украшения.
Но начинается эта история с моих попыток использования нейросетей в графике.
Вордпресс
Занятно, но вордпресс с помощью плагина превращается в сервер ActivityPub