НОВЫЙ РУБЕЖ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА VFX

В визуальных эффектах есть 3 модных словосочетания таких как машинное обучение, глубокое обучение и искусственный интеллект (ИИ/AI). Каждое словосочетание имеет тенденцию использоваться взаимозаменяемо, чтобы означать новую волну интеллектуальных программных решений в VFX, компьютерной графике и анимации, которые опираются на методы ИИ. Исследования в области машинного и глубокого обучения уже помогли внедрить как автоматизацию, так и более физически обоснованные результаты в компьютерную графику, в основном в таких областях, как отслеживание камеры, моделирование, рендеринг, захват движения, анимация персонажей, обработка изображений, ротоскопирование и композитинг.
VFX Voice расспросил нескольких ключевых игроков — от студий до компаний-разработчиков программного обеспечения и исследователей — об областях отрасли, которые, вероятно, будут затронуты этим новым миром ИИ.

CG персонаж Танос из Мстители: Война бесконечности. Digital Domain полагался на методы машинного обучения, чтобы помочь оживить персонажа.

Что такое машинное или глубокое обучение? Авторитетом в этой области является Хао Ли ( Hao Li ), исследователь и генеральный директор и соучредитель Pinscreen, который разрабатывает «мгновенные» 3D-аватары с помощью мобильных приложений на основе методов машинного обучения. Он описывает машинное обучение (из которого глубокое обучение является подмножеством) как использование «вычислительных структур, основанных на искусственных нейронных сетях, которые можно обучить для выполнения очень сложных задач, когда существует много обучающих данных».

Нейронные сети существуют довольно давно, объясняет Ли, но лишь относительно недавно «глубокие» нейронные сети (которые имеют несколько уровней) могут эффективно обучаться с помощью графических процессоров и огромных объемов данных. «Оказалось, что методы глубокого обучения превзошли многие, если не большинство, классических методов компьютерного зрения для решения фундаментальных проблем, связанных с распознаванием образов, таких как распознавание объектов, сегментация и другие задачи вывода», — говорит Ли.

Поскольку многие проблемы, с графикой, напрямую связаны с проблемами со зрением, такими как захват движений, 3D-анимация лица, 3D-сканирование и другие, стало очевидным, что многие существующие методы сразу же выиграют от методов глубокого обучения. можно получить достаточные тренировочные данные.

«В последнее время, — добавляет Ли, — исследователи стали придумывать новые формы архитектуры глубоких нейронных сетей, в которых правдоподобные изображения реальной сцены могут быть сгенерированы непосредственно из некоторого пользовательского ввода или даже из случайного шума. Популярные примеры этих глубоких генеративных моделей включают генеративные состязательные сети (GAN) и вариационные автоэнкодеры (VAE) ».

Старший директор отдела цифровых исследований в области разработки программного обеспечения Дуг Робл (Doug Roble) в форме компьютерной графики — в рамках теста студийного захвата лица и компьютерной графики.

Подробнее о собственной реализации Pinscreen этих видов сетей ниже. Самый яркий пример, где машинное обучение использовалось в VFX в последнее время Марвел: Война бесконечности (2018). Здесь студия визуальных эффектов использовала тип машинного обучения, чтобы превратить лицо Джоша Бролина — запечатленное камерами головы, смотрящими на маркеры отслеживания лица-в главного героя фильма. Это включало в себя использование данных тренировки по захвату лица. ” Мы уже знали, что можем построить систему, которая будет принимать данные о движении и получать результат»,-говорит глава Digital Domain Digital Humans Даррен Хендлер. «С помощью машинного обучения мы можем взять оригинальную систему, которую построили, и теперь вносить корректировки. Все будущие результаты будут затем скорректированы желаемым образом. Это более рудиментарная версия машинного обучения, но действительно показывает большие перспективы в ускорении работы и повышении качества. Со времени их работы над Марвел: Война бесконечности (2018) Digital Domain продвинули свои методы глубокого обучения, чтобы создать совершенно новую систему захвата лица. ” Теперь,-говорит старший директор по программному обеспечению R&D Дуг Робле,-мы можем взять одно изображение и в режиме реального времени воссоздать версию любого актера с высоким разрешением до аналогичного качества, как наш окончательный результат в фильме. То, как это работает, иногда кажется чистой магией, но, как и все машинное обучение, оно может быть очень темпераментным и непредсказуемым, что делает решение особенно полезным.

В Pinscreen одной из целей компании было создание фотореалистичных и анимируемых трехмерных аватаров с точными деталями лица и волос на основе изображений мобильных телефонов пользователей. Они полагались на подходы глубокого обучения, чтобы сделать это возможным, основываясь на обширных «полу-контролируемых» или «неконтролируемых» данных обучения. Данные в сочетании с глубокими нейронными сетями используются, чтобы помочь предсказать правильные результаты для того, как должен выглядеть трехмерный аватар — например, чтобы определить, какое выражение лица должно отображаться.

Результаты Pinscreen иногда сравнивают с «глубокими фальшивками» видео со сменой лица, которые приобрели популярность благодаря использованию методов глубокого обучения, чтобы оживить лицо известного человека, чтобы заставить его говорить то, чего он никогда не говорил, или появляться там, где он никогда не появлялся. Ли отмечает, что «хотя глубокому фальшивому коду все еще требуется большой объем обучающих данных, то есть видеозаписей человека, для создания убедительной модели смены лица, мы недавно показали на Pinscreen, что только технология paGAN (фотореалистичный аватар GAN) нужна одна входная картинка».

В исследовании, в котором Ли участвует в Университете Южной Калифорнии, рассматриваются способы создания фотореалистичных и полностью одетых трехмерных аватаров на уровне производства без какого-либо вмешательства человека, а также способы моделирования общих трехмерных объектов с использованием глубоких моделей. «В долгосрочной перспективе, — говорит он, — я верю, что мы полностью демократизируем способность создавать сложный 3D-контент, и каждый может погружаться в свои истории и делиться ими, точно так же, как мы делаем это сейчас с видео».

Этот лев CG включает в себя симуляции мышц и плоти с использованием Ziva VFX.

Использование машин и методов глубокого обучения при создании CG-существ и материалов все еще относительно ново, но невероятно перспективно, поэтому несколько компаний с головой окунулись в эту область. Ziva Dynamics, которая предлагает физически основанное программное обеспечение для моделирования под названием Ziva VFX, изучает машинное обучение, особенно в связи с его технологией решателя в реальном времени. ” Эта технология,-объясняет генеральный директор и соучредитель Ziva Dynamics Джеймс Джейкобс,-позволяет конвертировать высококачественные автономные симуляции, созданные техническими директорами с помощью Ziva VFX, в действующие персонажи в реальном времени. Мы развернули эту технологию в нескольких публичных демонстрациях и участвовали в конфиденциальном прототипировании с несколькими ведущими компаниями в различных секторах, чтобы изучить варианты использования и будущие стратегии продуктов. «Алгоритмы машинного обучения [позволяют художникам] интерактивно представлять высококачественные символы Ziva в режиме реального времени”,-добавляет Джейкобс. «Бэйки, полученные от автономного моделирования, объединяются с репрезентативными данными анимации через процесс обучения машинному обучению. Из этого наши решатели быстро приближаются к естественной динамике персонажа для совершенно новых позиций.

Ziva VFX — это плагин Maya. Этот кадр показывает скриншот из программного обеспечения.

Это приводит к быстрому, интерактивному ресурсу символов, который достигает действительно согласованных форм, все в относительно небольшом файле. Аллегоризм, который делает субстанцию набором инструментов 3D-текстурирования и создания материала, также исследует область ИИ, чтобы объединить несколько связанных с материалом процессов, таких как распознавание изображений и выделение цвета, в один инструмент, называемый Project Substance Alchemist. Возможности Project Substance Alchemist ИИ., В частности, поддерживаются графическими процессорами NVIDIA (сама NVIDIA находится в центре большого количества исследований, связанных с компьютерной графикой и машинным обучением). Для одной из сторон программного обеспечения проекта Substance Alchemist, The delighter-который был создан, чтобы помочь художникам удалить запеченные тени от базового цвета или эталонной фотографии – была создана нейронная сеть из библиотеки материалов Substance для обучения системы.

Kognat Rotobot маскирует результаты.

Художникам нужно, чтобы их изображения были свободны от таких теней, чтобы получить абсолютный контроль над материалом. ИИ обнаруживает тени, удаляет их и восстанавливает то, что находится под тенями. В пространстве захвата движения ряд компаний используют методы машинного обучения, чтобы сделать процесс более эффективным. DeepMotion, например, использует ИИ несколькими способами: для перецеливания и постпроцессного сбора данных о движении; для моделирования деформации мягкого тела в реальном времени; для достижения 2D и 3D оценки позы; для обучения физических персонажей синтезировать динамическое движение в симуляторе и сшить несколько движений вместе для плавного перехода и смешивания. ” Эти приложения ИИ решают множество задач для ускорения процессов VFX, позволяя создавать действительно интерактивные модели и расширяя возможности для анимации и моделирования данных», — говорит основатель DeepMotion Кевин Хе. «Машинное обучение используется в течение многих лет для создания интересных эффектов в анимации на основе физики и медиа-искусстве, но мы видим новую волну приложений, поскольку вычисления становятся более эффективными, а новые подходы, такие как глубокое обучение подкреплено, создают более масштабируемые модели. Между тем, RADiCAL также использует ИИ в захвате движения и, в частности, бросает вызов обычному аппаратному подходу к захвату. «В частности, — отмечает генеральный директор RADiCAL Гаван Гравесен, — наше решение использует входные данные от обычных 2D-видеокамер для создания 3D-анимации, которая не требует очистки, кодирования, инвестиций или обучения. ” Чтобы сделать это,-добавляет Грейвсен, — мы не полагаемся на аппаратное обнаружение множества небольших точек данных, которые объединяются в большие суммы данных, которые после некоторой интенсивной очистки в совокупности напоминают человеческую деятельность. Вместо этого мы предлагаем основанные на обучении программные реконструкции движения человека в трехмерном пространстве.

В этой демонстрационной сцене программное обеспечение Arraiy было в состоянии извлечь эти сегментации.
Демонстрация Rotobot о нескольких игроках в нетбол, где на кадрах изолированы только игроки.

Автоматизация с ИИ. Одним из обещаний глубокого и машинного обучения является помощь художникам с задачами, которые в настоящее время являются трудоемкими. Одной из таких задач, знакомых художникам по визуальным эффектам, конечно, является ротоскопирование. Kognat, компания, начатая разработчиком программного обеспечения Rising Sun Pictures pipeline Сэмом Ходжем, сделала свой rotobot deep learning rotoscope и compositing tool доступными для использования с NUKE. Использование Ходжем методов глубокого обучения и интенсивного «обучения» позволяет Rotobot изолировать все пиксели, принадлежащие определенному классу, в одну маску, называемую сегментацией. Эффект заключается в изоляции частей изображения, так же, как ротоскопирование. ”

Демонстрация в реальном времени с использованием отслеживающего автомобиля Blackbird The Mill использовала решение отслеживания Arraiy, чтобы найти высококачественный объектный трек транспортного средства, а затем заменить его фотореалистичной версией CG.

Тогда существует сегментация экземпляров, — добавляет Ходж, — которая может изолировать пиксели одного экземпляра класса в его собственный слой. Класс может быть «person», поэтому при сегментации вы получаете всех людей на одном слое. С помощью сегментации экземпляров можно изолировать одного человека от толпы.

«Как художник по эффектам, — продолжает Ходж, — вам, возможно, придется бросить взрыв позади актеров на переднем плане — с помощью инструмента вы сможете получить черновую версию, не прерывая график работы ротоскопистов, они могут сосредоточиться на конечном качестве и временная версия может использовать ИИ».

Другие компании изучают аналогичные ИИ методы обработки изображений, в том числе Arraiy, в которой задействованы несколько ветеранов и инженеров VFX для работы над инструментами машинного обучения и компьютерного зрения. «Мы создали программное обеспечение, которое облегчает художникам создание пользовательских ИИ, изучение алгоритмов для автоматизации ручных процессов, которые в настоящее время необходимы для создания VFX », — говорит главный операционный директор Arraiy Брендан Даудл.

«Например, мы предоставляем инструмент, с помощью которого художник может обучать нейронную сеть для создания подложек для всего кадра, предоставляя сетям несколько меток, на которых художник хочет сегментировать. Как только эта сеть обучена для этого конкретного кадра, алгоритм может генерировать штейны для произвольного числа кадров, и даже в режиме реального времени, пока на съемочной площадке, если это необходимо ».

Производители NUKE, говорят, что они также исследует подходы к глубокому обучению, которые могут быть внедрены в программное обеспечение. Это включает в себя ротоскопирование, более механическую «дружественную работу» в VFX и на стороне рабочего процесса проектов. «Есть много привлекательных разработок в области глубокого обучения, которые сосредоточены вокруг обработки изображений», — отмечает сооснователь Foundry и главный ученый Саймон Робинсон.

Демо от DeepMotion его ИИ. возможности захвата движения.

Выявление закономерностей планирования и повышение эффективности и использования ресурсов является одной из областей, где лучшие алгоритмы могли бы реально изменить ситуацию в отрасли.
Даррен Хендлер из Digital Domain резюмирует “что » машинное обучение делает большие успехи в ускорении всех видов медленных процессов в визуальных эффектах. В ближайшие годы мы увидим системы машинного обучения мышц, волос и многое другое. В будущем я действительно рассматриваю все эти возможности машинного обучения как дополнительные инструменты для художников VFX, чтобы переориентировать свои таланты на нюансы для еще лучших конечных результатов.

источник: http://vfxvoice.com

Подставки для студий и кино — apple box можно купить тут

Нужен телесуфлер? Доступное решение — TP-V3

Разработка оборудования для кино и рекламной съёмки

Подписывайтесь на нас:

мы в вконтакте — https://vk.com/clubfidller_fly

мы в facebook — https://www.facebook.com/profshope/

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

The following two tabs change content below.

Aleksandr Zorin

Разработка оборудования для кино/видеосъёмки под задачу. По вопросам рекламы/покупки/съёмкам пишем сюда http://news.fidller.com/about-contact/ Наш магазин - http://fidller.com/

Оставьте ответ

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.