Поиск по сайту Поиск

Улучшаем изображение с плохим освещением с помощью нейросети

Что такое фотография с точки зрения физики? Это отпечаток, возникающий на светочувствительной матрице при отражении от объекта источника света: солнца, вспышки или лазерного пучка. Съёмка при слабом освещении  неизбежно приводит к появлению шума на фотографиях. И, к сожалению, чем меньше света — тем хуже может быть качество снимка. В этой статье мы расскажем, как устранить шум, вызванный слабой освещённостью, с помощью обученных физическим законам глубоких нейронных сетей.

Восстановление фазы

Нейросети давно доказали свою эффективность в решении многих задач, связанных с обработкой изображений. Например, они неплохо повышают разрешение, выполняют ghost imaging, и даже используются для улучшения снимков с микроскопа и оптической томографии. Исследователи из Массачусетского технологического института решили продемонстрировать, что глубокие сети (Deep Neural Networks, DNN) также могут решить проблему восстановления фазы и тем самым улучшить качество затемнённых фотографий.

Фаза изображения несёт в себе гораздо больше информации, чем амплитуда. Она используется во многих задачах, например, выделение контуров, слияние изображений, оценка движения, реконструкция фотографий и шумоподавление. Также знания о световой фазе могут помочь при восстановлении контрастности между объектами с почти одинаковой прозрачностью.

В ситуациях, когда источник света слабый, обнаружение отношения сигнал/шум (Signal to Noise Ratio, SNR) становится затруднительным из-за квантового характера света. Это неизбежно приводит к появлению помех, и для их устранения необходимо разработать схемы регуляризации. Чем больше шума, тем хуже работают алгоритмы реконструкции изображений. Поэтому исследователи предположили, что можно обучить DNN восстанавливать те характеристики объектов, которые наилучшим образом объясняют наблюдаемое распределение сигнала. Чтобы продемонстрировать это, они провели эксперименты на двух наборах данных: первый содержит изображения интегральных схем (IC), а второй — повседневные снимки (датасет ImageNet).

Эксперименты

Исследователи использовали лазерную оптическую установку и три различных метода  реконструкции изображения: классический алгоритм Гершберга–Сакстона, нейросеть со сквозным обучением и физически обоснованную нейросеть Процесс восстановления оценивался для различных уровней зашумлённости изображения. 

Схема установки. VND: светофильтр (variable neutral density filter), P1-P2: поляризаторы, L1: линза 10x, L2: линза 100 мм, L3: линза 230 мм, L4: линза 100 мм, F1: камера обскура 5 мкм, F2: механическая диафрагма IRIS, SLM: пространственный модулятор света (Spatial Light Modulator), EM-CCD: матрица с управляемым вторично-электронным умножителем.

Световой луч в установке генерируется гелий-неоновым лазером с рабочей длиной волны 632.8 нм, расположенной в красной части видимого спектра.

Гелий-неоновый лазер

Для каждой категории изображений (ImageNet и IC) и уровня шума обучалась отдельная глубокая нейросеть. Примеры разделены на обучающую, тестовую и проверочную выборки, содержащие 9500, 450 и 50 фотографий соответственно. Исследователи использовали сеть с архитектурой «энкодер-декодер» из своей предыдущей работы, добавив в неё один дополнительный слой.

В таблице ниже указаны уровни шума для каждого эксперимента (они относятся к исходному падающему лучу без модуляции на SLM):

Условия освещения одинаковы как у изображений микросхем, так и у набора ImageNet. Количество фотонов считается для каждого пикселя и усредняется по участку фотографии, на который попадает лазерный луч (без модуляции на SLM). Сигнал/шум (SNR) также усредняется по всему полю зрения, а предел SNR — это квадратный корень из числа фотонов.

Результаты

Примеры реконструкции тестовых фотографий из ImageNet и IC с двумя экстремальными уровнями фотонов показаны на рисунке:

Здесь (a-b) — истинные изображения из датасетов IC и ImageNet, (c-f) — необработанные изображения, (g-j) — восстановление c-f с помощью алгоритма Гершберга-Сакстона, (k-n) — реконструкция с помощью сквозного обучения DNN, (o-r) — аппроксимация изображения, (s-v) — реконструкция с помощью физически обоснованной DNN.

DNN очень эффективно справляется с подавлением зернистости, а обучение с физической обоснованностью помогает лучше восстанавливать изображения даже с одним фотоном на пиксель. 

Результаты показывают, что глубокие нейронные сети можно использовать не только для обычного улучшения освещённости, но и для реконструкции прозрачных объектов, таких как биологические ткани и клетки. Например, при рентгене можно использовать меньшую дозу облучения и применить реконструкцию к полученному снимку — это поможет снизить риск онкологических заболеваний у пациентов. А в биологических исследованиях похожим образом можно уменьшить ущерб, причиняемый изучаемым образцам клеток.

⌘⌘⌘

Исследователи показали, что искусственный интеллект способен восстанавливать невидимые объекты практически из темноты. Также нейросети умеют улучшать качество старых или повреждённых фото: например, сервис 9may от Mail.ru реставрирует архивные военные снимки. Пишите в комментариях, какие ещё полезные применения можно найти для подобных нейросетей?

С оригинальной статьёй можно ознакомиться на сайте arxiv.org.

Админ, нас атакуют или Как защитить дедик от брута

Админ, нас атакуют или Как защитить дедик от брута

Любому серверу для хорошей работы нужны три вещи: топовое железо, надёжное подключение и грамотный админ. Но всё это станет бессмысленным,...
Read More
7 советов для работы с небольшими данными

7 советов для работы с небольшими данными

В современном мире считается, что Big Data — ключ к созданию успешных проектов машинного обучения. Но проблема в том, что...
Read More
Квантовые нейронные сети на процессорах будущего

Квантовые нейронные сети на процессорах будущего

Законы квантовой механики в теории позволяют создать новый тип вычислительных машин, способных решать сверхпроизводительные задачи, недоступные даже самым мощным современным...
Read More
Стэнфордский курс: лекция 7. Обучение нейросетей, часть 2

Стэнфордский курс: лекция 7. Обучение нейросетей, часть 2

В шестой лекции мы начали рассказывать про обучение нейросетей: выяснили, как выбрать функцию активации, подготавливать данные, настраивать параметры и следить...
Read More
Нейросеть распознаёт узор вязания по фото

Нейросеть распознаёт узор вязания по фото

Автоматизированным производством сегодня уже никого не удивишь. Но мы попробуем. Один из наиболее необычных примеров автоматических устройств — вязальные машины,...
Read More
Бариста, учитель и работник типографии: кем были сотрудники REG.RU до того, как стали айтишниками

Бариста, учитель и работник типографии: кем были сотрудники REG.RU до того, как стали айтишниками

Сегодня, 30 сентября, День Интернета в России. В честь этой даты мы расскажем семь историй о том, как сотрудники REG.RU...
Read More
Чек-лист, который заряжен на защиту домена

Чек-лист, который заряжен на защиту домена

Время от времени мы сталкиваемся со случаями, когда мошенники уводят домены наших клиентов. Происходит это по самым разным причинам: от...
Read More
Методы распознавания радужной оболочки глаз. Часть 1

Методы распознавания радужной оболочки глаз. Часть 1

Не так давно идентификация людей по радужной оболочке глаз казалась фантастической технологией, использующейся только для защиты суперсекретных военных и правительственных...
Read More
Стэнфордский курс: лекция 6. Обучение нейросетей, часть 1

Стэнфордский курс: лекция 6. Обучение нейросетей, часть 1

В прошлый раз мы обсудили историю возникновения свёрточных архитектур, а также узнали об их устройстве и широких возможностях применения. В...
Read More
Три слова, которые поймут только айтишники

Три слова, которые поймут только айтишники

Если вы не разработчик, но работаете в IT-компании, или в вашем окружении есть программисты, то, скорее всего, часто слышите странные...
Read More