Мы видели, как исследователи Google добились удивительных результатов с помощью искусственного интеллекта, в том числе замечательного масштабирования . Google нацелился на снижение шума с помощью MultiNeRF , проекта с открытым исходным кодом, который использует ИИ для улучшения качества изображения. Программа RawNeRF просматривает изображения, а затем использует ИИ для повышения детализации изображений, снятых в условиях низкой освещенности и в темноте.
В исследовательской работе « NeRF в темноте: синтез представления с высоким динамическим диапазоном из зашумленных необработанных изображений » команда демонстрирует, как они использовали поля нейронного излучения (NeRF) для создания высококачественного нового анализа представления из коллекции входных изображений. NeRF был обучен сохранять полный динамический диапазон сцены, и можно управлять фокусом, экспозицией и тональным отображением после завершения захвата. При оптимизации по множеству необработанных входных данных с шумом NeRF может создать сцену, которая превосходит одно- и многокадровые необработанные шумоподавители. Кроме того, команда утверждает, что RawNeRF может реконструировать очень шумные сцены, снятые практически в полной темноте.
В то время как стандартный NeRF использует изображения с низким динамическим диапазоном, снятые в цветовом пространстве sRGB, RawNeRF использует линейные необработанные входные данные в цветовом пространстве с высоким динамическим диапазоном (HDR). Реконструкция NeRF в необработанном пространстве дает лучшие результаты и позволяет синтезировать новый вид HDR. Исследование показывает, что RawNeRF «на удивление устойчив к высоким уровням шума, до такой степени, что он может действовать как конкурентоспособный шумоподавитель для нескольких изображений при применении к изображениям статической сцены с широкой базовой линией». Кроме того, команда продемонстрировала «приложения для синтеза HDR-изображения, работающие за счет восстановления представления сцены, которое сохраняет значения цветов с высоким динамическим диапазоном».
Результаты чрезвычайно впечатляющие. Использование линейных необработанных входных данных HDR открывает множество новых возможностей для вычислительной фотографии, включая постобработку, такую как редактирование фокуса и экспозиции, нового вида HDR.
Чтобы прочитать полный текст исследования, нажмите здесь . Исследование было написано Беном Милденхоллом, Питером Хедманом, Рикардо Мартином-Бруаллой, Пратулом П. Шринивасаном и Джонатаном Т. Бэрроном.