Введение
Искусственный интеллект так долго обещал так много, и во многих отношениях он был далек от совершенства. Siri не совсем понимает, о чем вы спрашиваете; Google Translate еще не может плавно преодолеть разрыв между языками, а навигационное программное обеспечение по-прежнему не всегда предлагает точный маршрут, но это становится лучше. В то время как различные технологии на основе искусственного интеллекта неуклонно совершенствуются в течение последних нескольких лет, именно недавние гигантские успехи, достигнутые в создании изображений, могут стать новаторскими для профессионалов постпродакшна. Здесь я познакомлю вас с идеями, лежащими в основе этой технологии, а также с конкретными примерами того, как современные умные технологии изменят ваш рабочий процесс после завтра или могут изменить его сегодня.
Как работает этот ИИ
Давайте сделаем шаг назад и посмотрим на всё это широкими мазками. Искусственный интеллект охватывает множество областей: обработка естественного языка, нейронные сети, экспертные системы, машинное зрение и многое другое. Сегодня это часто называют машинным обучением или ML, а последние чипы от Apple и Intel включают в себя модули, предназначенные для повышения скорости операций ML.
Вернувшись в университет, где я изучал информационные технологии, я специализировался на искусственном интеллекте и искусственной жизни, но в 1990-х годах не было необходимых элементов для настоящей революции — до «ИИ, который изменит правила игры», всегда оставался год. Да, вы можете обучить нейронную сеть и использовать нечеткую логику для грубых задач, но современные технологии увеличили скорость и масштаб возможного на несколько порядков — вот технический учебник .
Обучение модели машинного обучения, по сути, показывает компьютеру, что вы хотите, много раз на примерах, предоставляя ему набор данных (входные данные) и сообщая ему, что это означает (выходные данные). Чтобы научить компьютер понимать человеческий почерк, вы можете показать ему множество изображений рукописных символов, сообщить компьютеру, какие символы представляют эти изображения, а затем использовать эту обученную нейронную сеть для распознавания новых рукописных букв. Именно так почтовые отделения мира автоматизировали сортировку почты, и та же основная стратегия заключается в том, что сегодня у нас есть OCR, живое на наших телефонах на фотографиях и видео, которые мы снимаем.
ИИ в ваших инструментах уже сегодня
По правде говоря, технология искусственного интеллекта существует уже некоторое время, но только недавно она стала играть более важную роль и работает лучше, чем традиционные подходы. Например, традиционная функция удаления шума в Final Cut Pro может удалять фоновый шум из звука, но эта более старая функция не может конкурировать со своим более современным родным братом — изоляцией голоса, основанной на машинном обучении. Если клип слишком мал, вы можете использовать простое масштабирование в любой системе нелинейного монтажа или перейти к более продвинутому масштабированию на основе ИИ с помощью таких продуктов, как Video Enhance AI от Topaz Labs. Photoshop уже давно предлагает множество способов увеличения разрешения изображения, но недавно добавленные нейронные фильтры включают функцию Super Zoom, которая изобретает новые детали, а не позволяет вещам оставаться нечеткими.
В сфере цветокоррекции функции Color Balance и Match Color в FCP часто непредсказуемы, в то время как более современное решение Colourlab AI для оценки (для всех основных NLE), кажется, работает намного лучше.
Это лишь некоторые из инструментов на основе ИИ, которые вы, возможно, уже используете, но есть гораздо больше, которые вы, вероятно, не используете. Давайте начнем с чего-то простого и полезного, что часто упускается из виду.
Распознавание изображений
На iPhone зайдите в приложение «Фотографии», затем найдите любое слово, например «стул» или «пляж», и оно покажет вам ваши собственные фотографии этих вещей. Это связано с категоризацией ваших изображений на основе искусственного интеллекта, которая происходит полностью на вашем устройстве, в фоновом режиме, не нарушая вашу конфиденциальность. Фотографии на Mac могут проделать тот же трюк, и если вы поместите туда видео, это тоже сработает.
Есть даже приложение для Mac под названием FCP VideoTag , которое может создавать ключевые слова Final Cut Pro на основе того, что оно видит в видео, которое вы ему загружаете, что действительно является очень умным трюком. Если у вас есть библиотека стоковых видео, добавление к ним тегов может помочь вам легче находить нужные клипы.
Автоматические трюки со словами
Автоматическое создание субтитров (в настоящее время в Premiere Pro, iOS, YouTube и Vimeo) — это ловкий трюк с искусственным интеллектом, который значительно экономит время. Это будет только улучшаться, и сегодня это практически бесплатно.
Для меня самое интересное заключается не в том, чтобы сэкономить немного времени на создании подписей к готовому редактированию, а в том, чтобы получить бесплатные и точные транскрипции каждого исходного клипа, чтобы облегчить вашу работу по редактированию. Платные решения, такие как Builder и ScriptSync, предлагали это во многих формах, но если транскрипции с временным кодированием, полученные с помощью ИИ, станут бесплатными, точными и достаточно быстрыми, редактирование с помощью текста станет гораздо более широко используемым рабочим процессом.
Писатели не должны чувствовать себя обделенными: существует достаточно автоматических инструментов для письма на основе ИИ, вот список из 19 лучших , если вам нужно создать неинформативный текст-заполнитель, который никому не понравится читать. Джаспер , вероятно, является одним из наиболее широко продвигаемых из последнего, и хотя я уверен, что его результаты типичны для большей части того, что в наши дни считается контентом, я бы не назвал его творческим или удивительным. Вот несколько образцов .
Безопасны ли сценаристы? До сих пор попытки ИИ писать сценарии не увенчались успехом — посмотрите этот короткометражный фильм от 2016 года, чтобы посмеяться, — но я бы сказал, что у ИИ есть хорошие шансы написать сценарии среднего уровня довольно скоро. Однако слова относительно просты. Давайте погрузимся в техническую сторону.
Распознавание людей для мгновенного удаления фона
Вы видели автоматическое размытие фона во время видеозвонков; не большой, но обычно не ужасный. И вы, вероятно, видели портретный режим на своем телефоне; лучше, чем видеоконференцсвязь, не идеально, но часто достаточно хорошо для многих. Ну, а было бы круто, если бы можно было автоматически распознавать людей и убирать фон позади них? Вы можете. Он называется Keyper и прямо сейчас работает в Final Cut Pro, Motion, Premiere Pro и After Effects.
Хотя это не на 100% идеально, этого достаточно, чтобы позволить вам корректировать цвет человека отдельно от его фона или размещать текст частично позади человека. Если вы можете хотя бы немного контролировать кадр, это похоже на виртуальный зеленый экран, который вам не нужно настраивать, и он может творить чудеса.
от же трюк также проявился в веб-приложении для видео под названием Runway , которое просит вас просто нажать на человека, и оно просто избавляется от всего остального. Это не единственный трюк, который предлагает Подиум — читайте дальше.
Заливка фона, в кадрах и видео
Простое клонирование одной части изображения поверх другой является механическим, но заливка с учетом содержимого в Photoshop немного умнее. Эта впечатляющая техника, более известная как «инрайтинг», необходима для многих задач VFX, и несколько версий назад After Effects включила готовую к видео версию этой технологии. Это не ново, но повсеместное распространение не должно делать его менее впечатляющим.
Вскоре вы также сможете использовать методы на основе ML для автоматического выбора объекта — трюк, который теперь может делать даже ваш iPhone. Еще одна функция, которая будет добавлена, — это распознавание текста ваших запросов, так что вы просто сможете попросить «убрать мусорное ведро в этом кадре», и оно будет сделано.
Все мы знаем, что жизнь не совсем похожа на маркетинговое видео, но я еще не видел маркетингового видео, обещающего такие вкусности .
Очистка аудио
Плохой звук легче очистить, чем когда-либо. Voice Denoise iZotope RX и новая функция Voice Isolation в Final Cut Pro великолепны благодаря современным, обученным машинному обучению моделям того, как голоса должны и не должны звучать. Но помимо очистки современные методы искусственного интеллекта могут преобразовывать голос одного человека в голос другого.
Неудивительно, что он не идеален, но Koe Recast по-прежнему безумно хорош, и вы можете попробовать его прямо сейчас. Это новая услуга, которая позволяет вам превратить свой голос (или запись) в один из множества замещающих голосов, с приличным количеством эмоций и с гораздо лучшими результатами, чем ужасная роботизированная ерунда, используемая сегодня в дешевой рекламе на YouTube. Все эти модели, конечно же, будут улучшаться, и мы обязательно услышим больше сгенерированных голосов обоих типов. Я подозреваю, что когда в голосовых стилях будет больше разнообразия, большая часть голосовой работы будет генерироваться машиной.
Но подождите, становится все безумнее.
Генерация изображения из текстовой подсказки
Всего пару месяцев назад на сцену ворвался DALL·E 2 , обещавший создавать реалистичные или художественные изображения из текстовой подсказки, хотя доступ к ней был весьма ограничен.
Вот только один пример , а здесь их гораздо больше .
Вскоре после этого Midjourney появился на сервере Discord. Аналогичный сервис, он сделал генерацию изображений гораздо более доступной, и хотя он был не таким реалистичным, он способен на удивительное искусство .
Затем, в конце августа, появилась Stable Diffusion , как бесплатная, офлайн-версия с открытым исходным кодом почти того же самого. Удивительно, что модель с 2 ГБ теперь может (более или менее) создавать бесконечное количество новых изображений из любой текстовой подсказки, которую вы только можете себе представить, — каждый раз разные, без доступа к Интернету и совершенно бесплатно.
Эти механизмы автоматической генерации изображений были обучены на миллионах изображений в Интернете, идентифицированных по окружающему тексту или их тегам alt, и творят чудеса, в основном, благодаря случайному стечению обстоятельств. Начиная с шума, изображение затем случайным образом меняется много-много раз. Каждое новое поколение оценивается, чтобы определить, какое из них больше всего соответствует текстовой подсказке, которую вы предоставили, и по мере повторения процесса в конечном итоге создается связное изображение.
Хотя я успешно скомпилировал и установил версию Stable Diffusion для командной строки с нуля, я бы рекомендовал использовать Diffusion Bee , если вы используете современный M1 Mac; он полностью предварительно скомпилирован и просто работает. Вы просто вводите свою фразу и получаете изображение менее чем за 30 секунд на M1 Max или, возможно, намного быстрее, если вы используете ПК с быстрым графическим процессором. Вот несколько примеров, которые я создал:
Хотя эта технология может вызывать трепет, чего мы давно не видели, вам может быть трудно увидеть прямые приложения для производства видео, помимо создания фонов. Итак, давайте пойдем дальше. Одна хитрость — это возможность вводить изображение и генерировать варианты этого изображения.
Другой метод был использован мастерами VFX в Corridor Digital для обучения своей модели с помощью помеченных изображений их сотрудников, а затем создания их изображений, чтобы рассказать последовательную фантастическую историю.
Если вы достаточно решительны, вы также можете использовать эти методы для создания анимации, как это сделал здесь Пол Трилло, используя DALL·E 2 и морфинг на основе искусственного интеллекта Runway. Фактически, Runway обещает интегрировать эту технологию непосредственно в свое решение для редактирования, чтобы «заменить фон этого снимка японским садом».
Это только начало, и когда вы начнете комбинировать генерацию изображений с другими проектами с открытым исходным кодом — для создания бесшовных текстур, масштабирования на основе ИИ и отображения лица в стиле глубокой подделки — вы начнете видеть потенциал. В этой теме есть еще много идей .
Вывод
В то время как некоторые опасаются восстания разумных роботов, многие профессионалы боятся прихода ИИ на свою работу. Ничего личного и ничего нового; прогресс всегда вытеснял людей с работы. Переход не был мгновенным и не был повсеместным, но сегодня людей, владеющих лошадьми, гораздо меньше, чем автомобилей.
Режиссёры монтажа в опасности? Есть много приложений на телефонах и в Интернете, которые обещают автоматически редактировать видео для вас, чтобы избавить вас от бремени просмотра отснятого материала и попытки рассказать из него историю. И конечно, если вы не обращаете особого внимания, это неплохое быстрое решение. Но точно так же, как Canva может подойти для приглашения, но не подходит для разработки годового отчета, эти инструменты не созданы для чего-то, что требует более длительного внимания.
Хотя каждая область уникальна, джинн AI/ML не собирается возвращаться в свою бутылку, и для некоторых специальностей, таких как живопись, рисунок и концептуальное искусство, много работы вот-вот иссякнет. Но это еще не все гибель и мрак. В то время как система машинного обучения может многое сделать очень быстро, люди по-прежнему обладают уникальными навыками и творческим потенциалом, и художник, который знает, как управлять машиной для создания изображений, может использовать ее в своих интересах, а не оплакивать ее существование. В будущем умный художник должен сосредоточиться на том, что может сделать для него набор инструментов, дополненный искусственным интеллектом.
Во всех этих областях обещание ИИ заключается в том, что компьютеры смогут понять, как создать то, что мы хотим, и нам не нужно точно знать, как добиться эффекта. Мы хотим, чтобы два снимка выглядели так, как будто они были сняты в одном и том же месте в одно и то же время одной и той же камерой. ХОРОШО. Мы хотим удалить шум уличного движения в аудиоклипе. Легко. Мы хотим, чтобы машина выглядела так, словно покрыта мехом. Конечно, просто спросите ИИ. Но это не отменяет необходимости в опытном художнике постпродакшна — вашим клиентам по-прежнему будет нужна ваша человеческая помощь, чтобы воплотить их видения в жизнь.
С другой стороны, это выглядит как довольно творческое время для всех, кто готов принять новую волну. Никогда не знаешь, может быть, это окажется веселее, чем летающие машины?
автор Иэн Андерсон
Также по теме искусственного интеллекта:
ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ПОМОЖЕТ УЛУЧШИТЬ ТОН КОЖИ. НОВАЯ ТЕХНОЛОГИЯ ОТ GOOGLE
НОВЫЙ РУБЕЖ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА VFX
РЕВОЛЮЦИЯ В КОЛОРИЗАЦИИ С ИИ И COLOURLAB AI
Приобрести apple box или заказать 3д печать/3д сканирование/переходник для объективов, а также изготовить оборудование под заказ очень просто, достаточно написать нам в telegram — https://t.me/fidller
Кадры со съёмок фильмов и не только тут — сообщество вконтакте https://vk.com/club_fidller
Aleksandr Fidller