Обзор программного обеспечения для апскейлинга (улучшение разрешения) в кино/видео

Как ИИ меняет пост-продакшн? Один из способов — использовать машинное обучение для масштабирования видеоматериалов. Ниже посмотритм как с апскайлингом справляются различные программы на базе ИИ (AI).

Апскейлинг или «апрейзинг» — это то, что большинство монтажеров делают каждый день, не задумываясь об этом. Вставьте клип 720p на таймлайн HD 1080p, увеличьте его, чтобы заполнить экран. Проблема в том, что простое масштабирование клипа выглядит плохо, появляются различные артефакты (квадраты). Обычно это выглядит ужасно и мало кому нравится.

Проблема в том, что обычно в проекте используются разные разрешения клипов, особенно при работе с 4K. Возможно, у вас есть архивные кадры с более низким разрешением, или, может быть, однажды одна камера была настроена на неправильное разрешение. Может быть, вы работаете с HD и слышали, что есть преимущества в загрузке 4K на YouTube, и хотите упредить все это. Вопрос в том, можно ли сделать это качественнее, чем просто увеличение? Все NLE (программы монтажа) по умолчанию используют простое масштабирование — это не требует интенсивного использования процессора и поэтому не мешает вашему редактированию. Но когда дело доходит до реализации вашего проекта, какие есть варианты?

Уже давно существуют алгоритмы для апскейлинга, которые позволяют получить немного более качественный снимок, чем простой зум. Например, есть эффект After Effects «Detail-preserving Upscale»(Повышение разрешения с сохранением деталей) и есть аппаратные решения, такие как Alchemist от Grass Valley (хотя в первую очередь для преобразования частоты кадров). Существуют решения с открытым исходным кодом, такие как использование FFMPEG, в которые встроены несколько высококачественных фильтров .

Улучшение, Улучшение

Голливуд годами имитировал эффект «увеличения и увеличения», который стал мемом для тех, кто в курсе.

Но в последние несколько лет ИИ вступил в эту гонку с заявлением о том, что действительно пытается вернуть недостающее разрешение. Улучшенное масштабирование или супер-масштабирование теперь есть в Davinci Resolve, Adobe Camera Raw, Topaz Video Enhance AI и на различных онлайн-сайтах, таких как Pixop , а также во всем мире вариантов с открытым исходным кодом (если умеет в программирование) Я недавно редактировал документальный фильм об ИИ, и это была быстрая кривая обучения, пытаясь разобраться в этой теме, и не немного страшно видеть, насколько далеко она заходит и как быстро она проникает во все сферы жизни (с Facebook является хорошо известным примером). Это быстро развивающаяся область во многих отраслях, не в последнюю очередь постпродакшн. У Adobe есть довольно далеко идущие сенсеи программа, например, и Nvidia все время идет вперед, наращивая масштабирование в играх с помощью DLSS и своего медиаплеера Shield . Способы его использования появляются все время, например, синхронизация губ, управляемая ИИ .

На YouTube у таких людей, как Денис Ширяев, много подписчиков, они восстанавливают старые кадры с помощью различных инструментов, а не только апскейлинга. Его видео « Путешествие по Нью-Йорку в 1911 году » набрало 18 миллионов просмотров.

ИИ/AI для апскейлинга

Когда мы говорим об искусственном интеллекте, существует два типа искусственного интеллекта. Первый, называемый General AI (или AGI), представляет собой настоящий интеллект, подобный человеческому — подумайте о роботе, который действительно может думать самостоятельно. Второй — это узкий ИИ, также известный как машинное обучение, распознавание образов или нейронные сети. Именно это используется для поиска недостающих пикселей. Увеличение или уменьшение масштаба изображений и видеоклипов для воссоздания недостающих пикселей — задача, хорошо подходящая для машинного обучения. Это простая идея, хотя очевидно, что ее довольно сложно реализовать ( см. Этот блог, если вы мне не верите!) — для подачи в компьютерный алгоритм множества пар изображений или клипов — версий одного и того же объекта в низком и высоком разрешении, чтобы он мог узнать, как изображение в низком разрешении «должно» выглядеть при увеличении масштаба (и имейте в виду, что видео просто серия изображений). Как сказал Эрик Чан из Adobe в недавнем блоге о новой функции Enhance в Adobe Camera Raw: «Идея состоит в том, чтобы обучить компьютер, используя большой набор примеров фотографий. В частности, мы использовали миллионы пар фрагментов изображений с низким и высоким разрешением, чтобы компьютер мог понять, как увеличить размер изображений с низким разрешением ». Затем алгоритм учится заполнять недостающую информацию в предоставленных ему изображениях с низким разрешением на основе того, что он узнал, и таким образом добавляет реалистичные детали, которых никогда не было. 

Тестирование

Я решил провести два типовых теста, сравнивая различные варианты друг с другом. Конечно, в идеале вы бы протестировали их на разных типах отснятого материала, и я бы посоветовал вам сделать это, если у вас будет время. Я сужу их на глаз и, конечно, это мое субъективное мнение. Различия незначительны, но, на мой взгляд, значительны. Я ищу, чтобы обработанный файл был как можно ближе к оригиналу — с минимальными артефактами, как можно более резким, но без цифровой резкости. Здесь видео и фотография расходятся — скриншоты из фильмов никогда не должны выглядеть столь же резкими, как фотография.

Тест 1 — 2х-кратное повышение разрешения от 1080p до 4K UHD

Я взял 10-секундный клип без оценки из недавней съемки, снятый в разрешении 4K UHD на Blackmagic Pocket 4K. Затем я экспортировал его в 1080p и увеличил масштаб этого клипа до 4K UHD с различными претендентами и смотрю на один кадр из этого клипа. Я использую Adobe Premiere для сопоставления клипов.

А вот точное 100% кадрирование по сравнению с оригиналом с простым 200% увеличением:

original vs simple 200% zoom

А вот таблица лидеров по качеству:

  1. Adobe Camera Raw
  2. Topaz Video Enhance AI
  3. Pixop
  4. Топаз Гигапиксельный AI
  5. Алхимик
  6. Davinci Resolve Super Scale
  7. Повышение разрешения с сохранением деталей в After Effects

1. Adobe Camera Raw

Original vs Adobe Camera Raw

Для меня новая функция Adobe Enhance в Adobe Camera Raw вышла на первое место в первом тесте, почти не отличимая от оригинала, но, безусловно, худшая с точки зрения рабочего процесса, поскольку она действительно предназначена для неподвижных изображений. Это рабочий процесс по принципу « сделай своего помощника », если он когда-либо существовал. Что бы это ни стоило, это включает в себя сначала экспорт клипа как последовательность изображений TIFF (ACR не может улучшить PNG), затем получение этих изображений в ACR через Bridge или Lightroom, а затем выбор всех из них на диафильме, удерживая option / alt (чтобы скрыть диалоговое окно), щелкнув изображение правой кнопкой мыши и выбрав «Улучшить» (как описано справа внизу блога)), который создает сверхмасштабированную последовательность DNG. Затем пакетное преобразование этого в последовательность TIFF или PNG и пакетное переименование, чтобы в конце были числа, чтобы его можно было правильно импортировать в Premiere. Очень немногие люди будут иметь такое время, но технология захватывающая.

2. Topaz Video Enhance AI

Второе место занимает Topaz Video Enhance AI. В этом двукратном тесте я обнаружил, что Artemis High Quality работает лучше всего. Я обнаружил, что при загрузке видеоклипа он не соответствовал цвету в клипе (не для начала), тогда как с последовательностью изображений это было нормально. Кроме того, это очень и очень медленная работа с аппаратным обеспечением. Он имеет возможность подмешивать небольшое количество зернистости пленки, что хорошо работает.

3. Pixop

На третьем месте был Pixop — на мой взгляд, немного ниже по качеству от Topaz. Однако это модель оплаты по факту использования, и обработка данных выполняется в облаке — и то, и другое подойдет некоторым людям лучше.

4. Topaz Gigapixel AI.

Original vs Topaz Gigapixel AI

Я поставил Gigapixel AI Topaz (который предназначен для фотографий) на четвертое место просто потому, что я считаю его слишком резким, и я не видел способа отключить его в программном обеспечении, хотя это может измениться в будущих версиях. Я видел, как некоторые люди использовали это для хорошего эффекта с видео.

5. Алхимик (Alchemist)

На пятом месте находится Alchemist, который выполняет довольно приличную работу по апскейлингу, учитывая, что Grass Valley мало чем хвастается, по сравнению с деинтерлейсингом и преобразованием частоты кадров, которыми он известен. Я использовал версию программного обеспечения Alchemist под названием « Alchemist File » (я не знал, что вы можете запустить его на своем компьютере до этого теста!)

У него есть встроенный движок под названием Quasar, в котором говорится, что все дело в апскейлинге, но в моем тесте он был идентичен стандартному движку. Программное обеспечение разработано ( и имеет цену! ) Для работы на магнитофоне в машинном отделении — это то, что у вас есть на почте, и вы платите им за использование.

6. DaVinci Resolve Super Scale

На шестом месте у меня есть функция Super Scale Davinci Resolve (найденная с помощью атрибутов клипа на отдельном клипе), которую я тестировал на версиях 16 и 17, и она была идентична для обеих. Я разочарован качеством, которое дает Resolve, особенно потому, что BMD требует машинного обучения для этого эффекта. Я вижу артефакты вокруг глаз, и это выглядит не очень реально. Тем не менее, это лучше, чем простое масштабирование, и большим преимуществом является гораздо более простой рабочий процесс, если вы заканчиваете в Resolve. А хороший колорист сделает другие вещи, чтобы скрыть артефакты.

7. Повышение разрешения с сохранением деталей в After Effects

На седьмом месте у меня эффект After Effect, сохраняющий детализацию, Upscale, который, если вы заканчиваете в Premiere, имеет такой же простой рабочий процесс, но опять же не конкурирует по качеству, хотя его стоит использовать, а не простое масштабирование.

Тест 2 — 3х-кратное повышение разрешения от 720p до 4K UHD

В этом тесте было задействовано больше программных конкурентов, с 3-кратным зумом, необходимым для повышения разрешения с 720p до 4K UHD. Результаты были аналогичными, но таблица лидеров немного перетасовывалась, и Топаз переместился на вершину.

Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.

Таблица лидеров

  1. Topaz Video Enhance AI
  2. Топаз Гигапиксельный AI
  3. Adobe Camera Raw
  4. Алхимик
  5. Pixop
  6. Davinci Resolve SuperScale
  7. Повышение разрешения с сохранением деталей в After Effects

1. Topaz Video Enhance AI

Topaz Video Enhance AI был здесь очень впечатляющим с очень полезным изображением даже на 300%. Я обнаружил, что на этот раз пресет Gaia работал лучше, и в целом я считаю, что вам действительно нужно прослушать пресеты для любого конкретного клипа, чтобы увидеть, какой из них работает лучше всего (к сожалению, это очень медленно).

2. Topaz Gigapixel AI.

Несмотря на то, что оно предназначено для фотографий, я обнаружил, что другое программное обеспечение Topaz было вторым лучшим вариантом (и если они предложат возможность отключения элементов управления резкостью, оно может побороться за первое место).

3. Adobe Camera Raw

Главное здесь то, что Adobe Camera Raw не позволяет делать это двукратное сверхмасштабирование дважды. Конечно, это можно обойти, и я пробовал это, но второй файл, хотя и в два раза больше пикселей, был идентичен по качеству.

4. Алхимик

Здесь наблюдается заметное падение резкости, и вы можете усомниться в пятне номер четыре. Причина, по которой он у меня здесь, заключается в том, что, хотя он и мягче, но по крайней мере не имеет отвлекающих артефактов,

5. Pixop

Хотя он довольно резкий, я обнаружил, что с помощью Pixop артефакты вокруг глаз и на коже отвлекают.

6. Davinci Resolve SuperScale

В том же духе артефакты Davinci Resolve были еще хуже, и мне было трудно выбрать между ним и After Effects.

7. After Effects с сохранением деталей в высоком разрешении

After Effects выходит немного мягче, чем Pixop, но с немного худшими артефактами.

Резюме

В общем, это случай, когда нет боли — нет выгоды. Безусловно, проще всего работать с Davinci Resolve, если вы заканчиваете в нем, и After Effects, если заканчиваете в Premiere. Adobe Camera Raw, вероятно, слишком сложный рабочий процесс для большинства из них. В некоторых машинных залах есть Alchemist в аппаратном или программном обеспечении, и это отличный вариант. Но мне лучше всего смотреть на специальные инструменты AI от Topaz и онлайн-провайдеров, таких как Pixop. ИИ уже дает замечательные результаты, и одна из главных особенностей этого заключается в том, что он должен улучшаться с каждым годом. Эти компании будут тренировать свои алгоритмы каждый день, и самое интересное и пугающее заключается в том, что через некоторое время они будут достаточно умны, чтобы обучать себя.

Автор оригинальной статьи — Nick Lear

Друзья, мы активно развиваем наш телеграм тут — https://t.me/fidller_com

если вам нужно оборудование под заказа — 3д печать, эпл бокс в Краснодаре и всему миру вот ещё наши ресрусы

https://fidller.com и вот https://3dprint.fidller.com

Также мы есть вконтакте и facebook

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

The following two tabs change content below.

Aleksandr Fidller

Фильммейкер, главный редактор, технический писатель По вопросам статей и материалов писать сюда http://news.fidller.com/about-contact/ Наш магазин оборудования - http://fidller.com/

Оставьте ответ

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.