Поиск по сайту Поиск

Улучшаем изображение с плохим освещением с помощью нейросети

Что такое фотография с точки зрения физики? Это отпечаток, возникающий на светочувствительной матрице при отражении от объекта источника света: солнца, вспышки или лазерного пучка. Съёмка при слабом освещении  неизбежно приводит к появлению шума на фотографиях. И, к сожалению, чем меньше света — тем хуже может быть качество снимка. В этой статье мы расскажем, как устранить шум, вызванный слабой освещённостью, с помощью обученных физическим законам глубоких нейронных сетей.

Восстановление фазы

Нейросети давно доказали свою эффективность в решении многих задач, связанных с обработкой изображений. Например, они неплохо повышают разрешение, выполняют ghost imaging, и даже используются для улучшения снимков с микроскопа и оптической томографии. Исследователи из Массачусетского технологического института решили продемонстрировать, что глубокие сети (Deep Neural Networks, DNN) также могут решить проблему восстановления фазы и тем самым улучшить качество затемнённых фотографий.

Фаза изображения несёт в себе гораздо больше информации, чем амплитуда. Она используется во многих задачах, например, выделение контуров, слияние изображений, оценка движения, реконструкция фотографий и шумоподавление. Также знания о световой фазе могут помочь при восстановлении контрастности между объектами с почти одинаковой прозрачностью.

В ситуациях, когда источник света слабый, обнаружение отношения сигнал/шум (Signal to Noise Ratio, SNR) становится затруднительным из-за квантового характера света. Это неизбежно приводит к появлению помех, и для их устранения необходимо разработать схемы регуляризации. Чем больше шума, тем хуже работают алгоритмы реконструкции изображений. Поэтому исследователи предположили, что можно обучить DNN восстанавливать те характеристики объектов, которые наилучшим образом объясняют наблюдаемое распределение сигнала. Чтобы продемонстрировать это, они провели эксперименты на двух наборах данных: первый содержит изображения интегральных схем (IC), а второй — повседневные снимки (датасет ImageNet).

Эксперименты

Исследователи использовали лазерную оптическую установку и три различных метода  реконструкции изображения: классический алгоритм Гершберга–Сакстона, нейросеть со сквозным обучением и физически обоснованную нейросеть Процесс восстановления оценивался для различных уровней зашумлённости изображения. 

Схема установки. VND: светофильтр (variable neutral density filter), P1-P2: поляризаторы, L1: линза 10x, L2: линза 100 мм, L3: линза 230 мм, L4: линза 100 мм, F1: камера обскура 5 мкм, F2: механическая диафрагма IRIS, SLM: пространственный модулятор света (Spatial Light Modulator), EM-CCD: матрица с управляемым вторично-электронным умножителем.

Световой луч в установке генерируется гелий-неоновым лазером с рабочей длиной волны 632.8 нм, расположенной в красной части видимого спектра.

Гелий-неоновый лазер

Для каждой категории изображений (ImageNet и IC) и уровня шума обучалась отдельная глубокая нейросеть. Примеры разделены на обучающую, тестовую и проверочную выборки, содержащие 9500, 450 и 50 фотографий соответственно. Исследователи использовали сеть с архитектурой «энкодер-декодер» из своей предыдущей работы, добавив в неё один дополнительный слой.

В таблице ниже указаны уровни шума для каждого эксперимента (они относятся к исходному падающему лучу без модуляции на SLM):

Условия освещения одинаковы как у изображений микросхем, так и у набора ImageNet. Количество фотонов считается для каждого пикселя и усредняется по участку фотографии, на который попадает лазерный луч (без модуляции на SLM). Сигнал/шум (SNR) также усредняется по всему полю зрения, а предел SNR — это квадратный корень из числа фотонов.

Результаты

Примеры реконструкции тестовых фотографий из ImageNet и IC с двумя экстремальными уровнями фотонов показаны на рисунке:

Здесь (a-b) — истинные изображения из датасетов IC и ImageNet, (c-f) — необработанные изображения, (g-j) — восстановление c-f с помощью алгоритма Гершберга-Сакстона, (k-n) — реконструкция с помощью сквозного обучения DNN, (o-r) — аппроксимация изображения, (s-v) — реконструкция с помощью физически обоснованной DNN.

DNN очень эффективно справляется с подавлением зернистости, а обучение с физической обоснованностью помогает лучше восстанавливать изображения даже с одним фотоном на пиксель. 

Результаты показывают, что глубокие нейронные сети можно использовать не только для обычного улучшения освещённости, но и для реконструкции прозрачных объектов, таких как биологические ткани и клетки. Например, при рентгене можно использовать меньшую дозу облучения и применить реконструкцию к полученному снимку — это поможет снизить риск онкологических заболеваний у пациентов. А в биологических исследованиях похожим образом можно уменьшить ущерб, причиняемый изучаемым образцам клеток.

⌘⌘⌘

Исследователи показали, что искусственный интеллект способен восстанавливать невидимые объекты практически из темноты. Также нейросети умеют улучшать качество старых или повреждённых фото: например, сервис 9may от Mail.ru реставрирует архивные военные снимки. Пишите в комментариях, какие ещё полезные применения можно найти для подобных нейросетей?

С оригинальной статьёй можно ознакомиться на сайте arxiv.org.

Локальное ранжирование в Google: как проверять эффективность продвижения сайта в разных регионах

Чтобы убедиться, что сайт правильно продвигается, необходимо понимать, как именно он ранжируется в разных региональных сегментах интернета. Команда Links.Sape рассказывает...
Read More

Как совместить карьеру и семью: интервью с сотрудником REG.RU

Режим самоизоляции 2020 года разделил нашу жизнь на «до» и «после». И хоть прошло больше двух лет, многие IT-специалисты так...
Read More

Подборка выпусков подкаста «640 килобайт» для IT-специалистов

Удивительно, но в эпоху стримов, тиктоков и виртуальной реальности подкасты переживают вторую волну популярности. Всё потому, что у аудиоконтента есть...
Read More

Близнецы или двойняшки: что такое тайпо-домены

В прошлом месяце мы обещали подготовить статью про тайпо-домены. Сказано — сделано. Сегодня разберемся, что это такое и зачем регистрировать...
Read More

Необычная среда разработки Jupyter Notebook

Если вы хотите писать на Python или работать с Data Science, обратите внимание на интерактивную среду разработки с «живым» кодом...
Read More

Как определить фишинг и не попасться на крючок

Праздник к нам приходит, а вместе с ним и два месяца распродаж: 11.11 и «черные» дни недели. К сожалению, также...
Read More

Публичное, частное или гибридное: рассказываем, какое облако лучше подойдет вашему бизнесу

Причина популярности облачных технологий в бизнесе — не только безопасность данных и сокращение time-to-market (времени вывода на рынок). Облака позволяют...
Read More

Осенний рецепт для создания крутого сайта

Ноябрь — прекрасное время не только для тыквенных пирогов и облепихового чая, но и для запуска сайтов. Пока ваши клиенты...
Read More

Что такое Python-хостинг и какой тип услуги выбрать

В статье мы расскажем о том, что такое Python и как выбрать хостинг для проектов на этом языке. (далее…)
Read More

Элиза, Пэри и Алиса: история и эволюция чат-ботов

За последнее десятилетие чат-боты незаметно влились в нашу жизнь и стали ее неотъемлемой частью. Siri поможет найти ответ на любой...
Read More