Где эта технология будет через 5-10 лет?
С конца прошлого года произошел всплеск интереса к области искусственного интеллекта с появлением новых инструментов для создания изображений, исправления звука и написания программного обеспечения для нас. Если верить самым восторженным комментариям на YouTube, довольно скоро мы все останемся без работы, но я уверен, что это произойдет не совсем так. Воздействие ИИ на общество будет весьма разным (скажем, при обнаружении рака ), но во многих отношениях видеоиндустрия развивается не так быстро, как вы думаете. Поскольку влияние ИИ на общество в целом менее предсказуемо, давайте сузим область до предельного фокуса на производстве видео и начнем с краткого обзора того, что возможно прямо сейчас.
Где техника сегодня?
Текстовое редактирование в последних выпусках Premiere Pro и DaVinci Resolve произвело фурор, но на самом деле оно существует уже много лет, с тех пор как Intelligent Assistance выпустила Lumberjack Builder в 2018 году. Да, теперь это более привлекательно, когда ИИ сделал транскрипцию более высокой качественным и бесплатным, но пока черновик из расшифровки стенограммы не стал революцией. Это будет полезно, но это не делает редактор устаревшим.
Основные области, вызывающие недавний интерес, связаны с генерацией изображений (DALL·E, Midjourney, Stable Diffusion) и генерацией текста (ChatGPT, LLVM). В ближайшее время появится много новых примеров технологии, впервые представленной этими инструментами, и в ряде статей на этом сайте содержится гораздо больше подробностей, чем здесь. Но теперь у нас есть инструменты для более быстрой очистки звука, синтезирования пригодной для использования озвучки и удаления объектов или людей из кадров, в которых они были запечатлены. возможно тоже.
В последние недели Runway дополнила свои видеоутилиты на базе искусственного интеллекта генеративными инструментами Gen1, и этот новый преобразователь видео в видео будет привлекательным для некоторых создателей. Это позволяет вам преобразовывать ваши собственные видео на основе вида неподвижного изображения, но уровень реализма по-прежнему не приближается к тому, что требуется для нормальной профессиональной работы.
Однако он очень хорош для преобразования существующего видео во что-то очень стилизованное: если вы мечтаете превратить свое видео в пластилин, аниме или движущуюся картину, этот инструмент для вас.
В целом, в условиях, когда идеальный реализм не требуется, ИИ может добиться успеха, особенно если вы обучили свою собственную модель создавать именно тот стиль работы, который вам нужен. Спецэффекты тоже станет проще создавать, и чем дальше от реализма вы хотите, тем лучше.
Как я использовал ИИ для достижения этого эффекта молнии
:
⁃Проигрыватель Roto из фонового фона, экспорт с черным фоновым изображением⁃Загрузите отснятый материал в Runway (AI)⁃Используйте подсказки для изменения видео для создания эффекта неоновой линии-Добавьте эффекты турбулентного смещения и глубокого свечения-Установите режим наложения, чтобы добавить https://t .co/1WaD1fWYYZ pic.twitter.com/IFRcgKzpzk
— Коннор Хенкл (@cjh_fx) 28 апреля 2023 г.
Концепт-арт — это, безусловно, то, с чем ИИ может справиться прилично, и гораздо быстрее, чем человек. Музыка, созданная искусственным интеллектом, не так хороша, как талантливый человек, но в крайнем случае сойдет. Написание ChatGPT не вдохновлено, но оно может пробудить свежие идеи или эффективно подтолкнуть к уже существующим. Здесь есть общая тема: ИИ лучше справляется с созданием ремиксов, чем с чистым творчеством, и больше подходит для выполнения черных, не творческих задач, таких как обобщение или интерпретация списка изменений, отправленного клиентом по электронной почте (ура, Marker Toolbox!).
Вот отличный пример ремикса ИИ для создания неподвижных изображений с добавлением небольшой анимации:
Мы сделали трейлер #ЗвездныхВойн в стиле Весандерсона , надеюсь, вам понравится! pic.twitter.com/DP5rBxmTOI
— Любопытное убежище (@CuriousRefuge) 29 апреля 2023 г.
На данный момент я бы оценил творческий результат большинства видеоинструментов с искусственным интеллектом в среднем на четверку — компетентно, но воображение и чутье исходят от людей. Существует много плохого контента ИИ, но, поскольку прогресс не является линейным, еще неизвестно, можно ли будет улучшить этот результат до надежных, воспроизводимых результатов класса А. Он должен выглядеть и звучать реалистично, чтобы быть достаточно хорошим, а полная симуляция реальности сегодня просто недостижима.
Что будет в ближайшее время?
Runway только что представила свое обновление Gen 2, синтез текста в видео, которое, конечно же, улучшится. Качество по-прежнему не является качеством «реального мира», и я не знаю, будет ли оно когда-либо таковым, но это еще один шаг вперед для процесса предварительной визуализации и для создателей, которым не нужно, чтобы вещи выглядели «реально». Если вам нужен временный клип «чувак, занимающийся серфингом на закате», вы можете быстро его получить, но он не фотореалистичен и, возможно, никогда им не станет. Тем не менее, это все еще убедительно, и Подиум не одинок. Выдающийся выход Adobe на рынок искусственного интеллекта вызвал несколько волн, и их новая технология Firefly все еще находится в стадии бета-тестирования.
Вот демонстрация Adobe об использовании Firefly для дизайна и фоторабот:
Хотя, конечно, Adobe уже давно использует методы искусственного интеллекта для заливки с учетом содержимого и многого другого, современные методы генерации изображений обещают выполнить эту работу и многое другое. Для Adobe имеет смысл оставаться на вершине лучших методов «отрисовки», а также имеет смысл использовать возможности ChatGPT, чтобы позволить написанным человеком инструкциям управлять функциями программного обеспечения. Подиум тоже делает это, но добавление его к программному обеспечению, которое люди уже используют, будет большой победой.
Этот ключевой трюк, позволяющий ChatGPT (и другим моделям LLVM) управлять нашим программным обеспечением для нас, — это то, в чем, я думаю, скрывается большой потенциал ИИ во всех отраслях. Представьте себе сверхмощную Siri, которая знает, как работает все ваше программное обеспечение, и может делать то, о чем вы просите, обычными предложениями в человеческом стиле. Подавляющее большинство людей сегодня не знают свое программное обеспечение так хорошо, как это делают эксперты, и если ИИ может сделать сложные задачи более доступными, это огромная победа.
Опасность здесь заключается в том, что добавление ИИ не сделает всю программу более доступной, а вместо этого позволит использовать определенные уловки. Кричащие трюки, безусловно, вдохновляют заголовки, но тогда функции чрезмерно используются, и тогда от них мало пользы. Хотя я понимаю потребность в заголовках, профессионалам нужно нечто большее, чем тщательно подобранный набор демо-файлов, которые хорошо работают — новые инструменты должны хорошо работать с реальными кадрами.
Имея это в виду, вот перспективная демонстрация Adobe того, что они предполагают выпустить позже в этом году для видео:
Стоит разобрать:
- Генерация музыки — полезно, даже если она не так хороша, как музыка, созданная руками человека.
- Размещение звуковых эффектов — отличный способ познакомить новых редакторов с мощью звуковых эффектов, но я беспокоюсь, что мы начнем слишком часто слышать одни и те же звуки по умолчанию.
- Общая цветовая коррекция на основе текста — это может быть мощным, если им можно управлять, но опять же я ожидаю, что в краткосрочной перспективе одни и те же несколько видов будут чрезмерно использоваться.
- Коррекция лица на основе текста — потрясающе, если она лучше справляется с автоматическим отслеживанием, но опять же, ее нужно контролировать.
- Транскрипция — это хорошо сегодня, и должно стать лучше, когда будут интегрированы новые современные технологии (Whisper.ai).
- Стили 3D-текста — это сложный эффект, но он больше похож на уловку, чем другие функции здесь.
- Автоматический поиск и размещение B-ролика — хорошо, это то, на что я обратил внимание, но я действительно хочу узнать больше об этом процессе. Мне бы очень хотелось увидеть автоматическую сортировку клипов по ключевым словам, но сегодня нелегко использовать ключевые слова для организации отснятого материала в Premiere. Эта функция искусственного интеллекта просто вставляет первый клип, который соответствует расшифровке, или она умно помечает все остальные потенциальные клипы, чтобы редактор мог выбрать лучший из них. (Я давно хотел, чтобы это было встроено в Final Cut Pro). количество времени.
- Сценарий-раскадровка-анимация — вероятно, самая полезная вещь здесь, я вижу, что это невероятно полезно во всех контекстах. Сегодня я могу поговорить с клиентом и совместно создать с ним сценарий, но затем, если нет бюджета на предварительную визуализацию, его воображение может увидеть конечный продукт. Очень грубая версия всего финального видео, которую я могу показать им на месте, абсолютно улучшит процесс создания фильма. Объедините это с существующей технологией синтеза голоса, и вы получите мгновенный предварительный просмотр фильма, просто написав сценарий, и это революционно. Это также позволит делать более качественные фильмы.
Самое интересное в ИИ — это не просто новые техники вроде генерации изображений, по крайней мере, не сами по себе. Но если ИИ сможет интегрировать эти новые методы в наши существующие рабочие процессы, а также использовать то, что могут делать наши существующие программы, это будет гораздо больший скачок вперед. У ИИ есть потенциал значительно упростить сложные задачи, и он вполне может изменить набор навыков, необходимых для выполнения некоторых работ.
Каким будет влияние?
Новые плагины и приложения на основе ИИ сделают некоторые работы совершенно рутинными, например, замену лица одного актера другим. Кажется вполне вероятным, что любой голос тоже можно будет синтезировать, так как он уже довольно хорош. Ключ будет проще. Замена фона будет проще — просто посмотрите, что недавно добавили в бета-версии Photoshop . Программное обеспечение станет более доступным. Анимацию и дикие спецэффекты будет проще и дешевле создавать. Меньше людей изучат все тонкости своих приложений, если программное обеспечение сможет найти хорошо скрытые функции, когда они нужны. Все это повысит ожидания клиентов, как это уже произошло с технологиями, и мы будем работать лучше.
И да, некоторые люди полностью потеряют работу, потому что приманка автоматически генерируемых аниматиков слишком сильна. Если ваша работа связана с созданием «временной работы», которую нужно заменить позже, будьте готовы найти новую работу — это именно то, для чего ИИ идеально подходит. Недавно я прочитал печальную записку от 3D-художника, который раньше тратил 1-2 недели на создание 3D-модели для мобильной игры, а теперь вместо этого тратит 1-2 дня на обработку результатов генеративного ИИ. Если в вашей сфере деятельности «достаточно близко, значит достаточно хорошо», будьте готовы ко всему.
Несмотря на прорывы, в ближайшее время кнопки «снять фильм» не будет. Создание ИИ лучше всего подходит для довольно ограниченных задач — таких как Elai , новый сервис «сделай видео о роботизированной говорящей голове с текстом рядом с ней» — и чем больше вы просите, тем меньше вероятность, что он хорошо справится со своей задачей. Если ваша работа совершенно не творческая или может быть сведена к курированию продукции на основе ИИ, вы в опасности. Тем не менее, есть много времени, чтобы шагнуть боком в новую область.
Чего еще не сможет сделать ИИ?
Хотя ИИ может выполнять всевозможные полезные трюки, и некоторые из этих трюков могут выполняться очень хорошо, он останется ограниченным. Как Тесла обнаружил в своем стремлении к самоуправляемому автомобилю, прогресс замедляется по мере того, как вы идете дальше.
Сегментация изображения — еще один хороший пример. Эта технология позволяет отделить людей от их фона без зеленого экрана, и с каждой итерацией она становится лучше. Вы можете увидеть базовую версию этой технологии в каждом вызове Zoom, где фон заменяется или размывается, но до сих пор это никогда не было хорошо. Плагин Keyper , обученный находить людей, хорош, но недостаточно хорош, чтобы полагаться на него все время. Да, эта технология будет улучшаться, но будет ли она достаточно хороша для профессионалов, чтобы выбросить свои зеленые экраны?
Гораздо проще создать приложение, которое большую часть времени выдает довольно хорошие результаты, чем все время выдавать отличные результаты. Я подозреваю, что большая часть финансирования передовых генеративных инструментов на основе ИИ иссякнет, как только приложения для мобильных телефонов будут созданы, будут чрезмерно использоваться, как и все предыдущие фильтры, и потеряют популярность.
Актеры все равно будут играть. Писатели все равно будут писать. А профессионалы постпродакшена по-прежнему будут редактировать, исправлять звук и создавать визуальные эффекты, просто с большей помощью, чем раньше, и с ожидаемым более высоким стандартом вывода.
Суть в том, что профессионалу по-прежнему необходимо уметь распознавать проблему, чтобы иметь возможность попросить ИИ исправить правильные проблемы. ИИ, который может исправить неясные технические проблемы, бесполезен, если вы не можете определить проблемы и правильно их сформулировать. Выявление и устранение проблемы может быть такой же большой работой, как и устранение самой проблемы, и вам нужно базовое понимание задачи, чтобы задавать правильные вопросы. Для качественной работы люди останутся связующим звеном между воображением клиента и готовым продуктом.
Заключение
Держите глаза открытыми, не бойтесь осваивать новые рабочие процессы, и если вы видите, что приближается волна изменений, опережайте ее, становясь лучше, или прыгайте в сторону, чтобы избежать ее. Прогресс не будет линейным и не будет распределяться равномерно, поэтому лучшее, что вы можете сделать, это сохранять непредвзятость.
Несмотря на неизбежные изменения, ИИ принесет некоторые революционные улучшения, и если мы будем использовать его в качестве вспомогательного инструмента, он облегчит выполнение отличной работы. Стандарты растут все выше, так что наслаждайтесь поездкой вверх.
Уроки по съёмке и монтажу тут — https://news.fidller.com/category/lesson/
Как снимается кино — https://news.fidller.com/category/articles/bts/
Приобрести apple box или заказать 3d печать/3d сканирование или переходник для объективов, а также изготовить оборудование под заказ очень просто, достаточно перейти в наш магазин — https://fidller.com или написать нам в telegram — https://t.me/fidller
мы в телеграме — https://t.me/fidller_com
мы вконтакте https://vk.com/club_fidller
Aleksandr Fidller