Улучшаем изображение с плохим освещением с помощью нейросети

Что такое фотография с точки зрения физики? Это отпечаток, возникающий на светочувствительной матрице при отражении от объекта источника света: солнца, вспышки или лазерного пучка. Съёмка при слабом освещении  неизбежно приводит к появлению шума на фотографиях. И, к сожалению, чем меньше света — тем хуже может быть качество снимка. В этой статье мы расскажем, как устранить шум, вызванный слабой освещённостью, с помощью обученных физическим законам глубоких нейронных сетей.

Восстановление фазы

Нейросети давно доказали свою эффективность в решении многих задач, связанных с обработкой изображений. Например, они неплохо повышают разрешение, выполняют ghost imaging, и даже используются для улучшения снимков с микроскопа и оптической томографии. Исследователи из Массачусетского технологического института решили продемонстрировать, что глубокие сети (Deep Neural Networks, DNN) также могут решить проблему восстановления фазы и тем самым улучшить качество затемнённых фотографий.

Фаза изображения несёт в себе гораздо больше информации, чем амплитуда. Она используется во многих задачах, например, выделение контуров, слияние изображений, оценка движения, реконструкция фотографий и шумоподавление. Также знания о световой фазе могут помочь при восстановлении контрастности между объектами с почти одинаковой прозрачностью.

В ситуациях, когда источник света слабый, обнаружение отношения сигнал/шум (Signal to Noise Ratio, SNR) становится затруднительным из-за квантового характера света. Это неизбежно приводит к появлению помех, и для их устранения необходимо разработать схемы регуляризации. Чем больше шума, тем хуже работают алгоритмы реконструкции изображений. Поэтому исследователи предположили, что можно обучить DNN восстанавливать те характеристики объектов, которые наилучшим образом объясняют наблюдаемое распределение сигнала. Чтобы продемонстрировать это, они провели эксперименты на двух наборах данных: первый содержит изображения интегральных схем (IC), а второй — повседневные снимки (датасет ImageNet).

Эксперименты

Исследователи использовали лазерную оптическую установку и три различных метода  реконструкции изображения: классический алгоритм Гершберга–Сакстона, нейросеть со сквозным обучением и физически обоснованную нейросеть Процесс восстановления оценивался для различных уровней зашумлённости изображения. 

Световой луч в установке генерируется гелий-неоновым лазером с рабочей длиной волны 632.8 нм, расположенной в красной части видимого спектра.

Для каждой категории изображений (ImageNet и IC) и уровня шума обучалась отдельная глубокая нейросеть. Примеры разделены на обучающую, тестовую и проверочную выборки, содержащие 9500, 450 и 50 фотографий соответственно. Исследователи использовали сеть с архитектурой «энкодер-декодер» из своей предыдущей работы, добавив в неё один дополнительный слой.

В таблице ниже указаны уровни шума для каждого эксперимента (они относятся к исходному падающему лучу без модуляции на SLM):

Условия освещения одинаковы как у изображений микросхем, так и у набора ImageNet. Количество фотонов считается для каждого пикселя и усредняется по участку фотографии, на который попадает лазерный луч (без модуляции на SLM). Сигнал/шум (SNR) также усредняется по всему полю зрения, а предел SNR — это квадратный корень из числа фотонов.

Результаты

Примеры реконструкции тестовых фотографий из ImageNet и IC с двумя экстремальными уровнями фотонов показаны на рисунке:

DNN очень эффективно справляется с подавлением зернистости, а обучение с физической обоснованностью помогает лучше восстанавливать изображения даже с одним фотоном на пиксель. 

Результаты показывают, что глубокие нейронные сети можно использовать не только для обычного улучшения освещённости, но и для реконструкции прозрачных объектов, таких как биологические ткани и клетки. Например, при рентгене можно использовать меньшую дозу облучения и применить реконструкцию к полученному снимку — это поможет снизить риск онкологических заболеваний у пациентов. А в биологических исследованиях похожим образом можно уменьшить ущерб, причиняемый изучаемым образцам клеток.

⌘⌘⌘

Исследователи показали, что искусственный интеллект способен восстанавливать невидимые объекты практически из темноты. Также нейросети умеют улучшать качество старых или повреждённых фото: например, сервис 9may от Mail.ru реставрирует архивные военные снимки. Пишите в комментариях, какие ещё полезные применения можно найти для подобных нейросетей?

С оригинальной статьёй можно ознакомиться на сайте arxiv.org.