Поиск по сайту Поиск

Улучшаем изображение с плохим освещением с помощью нейросети

Что такое фотография с точки зрения физики? Это отпечаток, возникающий на светочувствительной матрице при отражении от объекта источника света: солнца, вспышки или лазерного пучка. Съёмка при слабом освещении  неизбежно приводит к появлению шума на фотографиях. И, к сожалению, чем меньше света — тем хуже может быть качество снимка. В этой статье мы расскажем, как устранить шум, вызванный слабой освещённостью, с помощью обученных физическим законам глубоких нейронных сетей.

Восстановление фазы

Нейросети давно доказали свою эффективность в решении многих задач, связанных с обработкой изображений. Например, они неплохо повышают разрешение, выполняют ghost imaging, и даже используются для улучшения снимков с микроскопа и оптической томографии. Исследователи из Массачусетского технологического института решили продемонстрировать, что глубокие сети (Deep Neural Networks, DNN) также могут решить проблему восстановления фазы и тем самым улучшить качество затемнённых фотографий.

Фаза изображения несёт в себе гораздо больше информации, чем амплитуда. Она используется во многих задачах, например, выделение контуров, слияние изображений, оценка движения, реконструкция фотографий и шумоподавление. Также знания о световой фазе могут помочь при восстановлении контрастности между объектами с почти одинаковой прозрачностью.

В ситуациях, когда источник света слабый, обнаружение отношения сигнал/шум (Signal to Noise Ratio, SNR) становится затруднительным из-за квантового характера света. Это неизбежно приводит к появлению помех, и для их устранения необходимо разработать схемы регуляризации. Чем больше шума, тем хуже работают алгоритмы реконструкции изображений. Поэтому исследователи предположили, что можно обучить DNN восстанавливать те характеристики объектов, которые наилучшим образом объясняют наблюдаемое распределение сигнала. Чтобы продемонстрировать это, они провели эксперименты на двух наборах данных: первый содержит изображения интегральных схем (IC), а второй — повседневные снимки (датасет ImageNet).

Эксперименты

Исследователи использовали лазерную оптическую установку и три различных метода  реконструкции изображения: классический алгоритм Гершберга–Сакстона, нейросеть со сквозным обучением и физически обоснованную нейросеть Процесс восстановления оценивался для различных уровней зашумлённости изображения. 

Схема установки. VND: светофильтр (variable neutral density filter), P1-P2: поляризаторы, L1: линза 10x, L2: линза 100 мм, L3: линза 230 мм, L4: линза 100 мм, F1: камера обскура 5 мкм, F2: механическая диафрагма IRIS, SLM: пространственный модулятор света (Spatial Light Modulator), EM-CCD: матрица с управляемым вторично-электронным умножителем.

Световой луч в установке генерируется гелий-неоновым лазером с рабочей длиной волны 632.8 нм, расположенной в красной части видимого спектра.

Гелий-неоновый лазер

Для каждой категории изображений (ImageNet и IC) и уровня шума обучалась отдельная глубокая нейросеть. Примеры разделены на обучающую, тестовую и проверочную выборки, содержащие 9500, 450 и 50 фотографий соответственно. Исследователи использовали сеть с архитектурой «энкодер-декодер» из своей предыдущей работы, добавив в неё один дополнительный слой.

В таблице ниже указаны уровни шума для каждого эксперимента (они относятся к исходному падающему лучу без модуляции на SLM):

Условия освещения одинаковы как у изображений микросхем, так и у набора ImageNet. Количество фотонов считается для каждого пикселя и усредняется по участку фотографии, на который попадает лазерный луч (без модуляции на SLM). Сигнал/шум (SNR) также усредняется по всему полю зрения, а предел SNR — это квадратный корень из числа фотонов.

Результаты

Примеры реконструкции тестовых фотографий из ImageNet и IC с двумя экстремальными уровнями фотонов показаны на рисунке:

Здесь (a-b) — истинные изображения из датасетов IC и ImageNet, (c-f) — необработанные изображения, (g-j) — восстановление c-f с помощью алгоритма Гершберга-Сакстона, (k-n) — реконструкция с помощью сквозного обучения DNN, (o-r) — аппроксимация изображения, (s-v) — реконструкция с помощью физически обоснованной DNN.

DNN очень эффективно справляется с подавлением зернистости, а обучение с физической обоснованностью помогает лучше восстанавливать изображения даже с одним фотоном на пиксель. 

Результаты показывают, что глубокие нейронные сети можно использовать не только для обычного улучшения освещённости, но и для реконструкции прозрачных объектов, таких как биологические ткани и клетки. Например, при рентгене можно использовать меньшую дозу облучения и применить реконструкцию к полученному снимку — это поможет снизить риск онкологических заболеваний у пациентов. А в биологических исследованиях похожим образом можно уменьшить ущерб, причиняемый изучаемым образцам клеток.

⌘⌘⌘

Исследователи показали, что искусственный интеллект способен восстанавливать невидимые объекты практически из темноты. Также нейросети умеют улучшать качество старых или повреждённых фото: например, сервис 9may от Mail.ru реставрирует архивные военные снимки. Пишите в комментариях, какие ещё полезные применения можно найти для подобных нейросетей?

С оригинальной статьёй можно ознакомиться на сайте arxiv.org.

Сильная презентация для инвесторов: от содержания до выступления

Презентация поможет структурировать данные и представить идею потенциальным инвесторам. Как сделать качественный документ – разбираемся вместе с основателем REC’s GROUP...
Read More

Дёшево и эффективно: как малому бизнесу продвигать свой сайт

Как выделиться среди конкурентов и получить внимание потенциальных клиентов. Бюджетные методы продвижения сайта – в этом обзоре.  
Read More

Как перевести бизнес в онлайн: 7 шагов

Пошаговая инструкция по переводу существующего бизнеса в онлайн: от создания сайта до начала продаж и запуска рекламы.
Read More

Кризис как точка роста для бизнеса

Когда бизнес развивается слабо, на помощь приходит… кризис. Рассказываем, как не испугаться перемен и открыть офис в другой стране, чем отличается построение бизнеса в Москве и Алматы.
Read More

Миллион на подтяжках для собак

Как придумать и монетизировать идею для бизнеса Нет смысла терять время и усложнять, когда бизнес-идеи витают в воздухе. Как понять...
Read More

Нейросети в помощь бизнесу: на что способен искусственный интеллект

Развитие нейросетей стало для россиян главным научным событием 2023 года. Бизнес активно внедряет искусственный интеллект, чтобы создавать контент, лучше понимать...
Read More

13 лайфхаков, которые погубят ваш бизнес

Разбираем «серые» способы работы и ошибки, которые точно развалят собственный бизнес.
Read More

Как привлечь инвестиции в мини-девелоперский проект с нуля

Предприниматели из Тюмени смогли стать девелоперами по загородной недвижимости без начального капитала и кредитов. Основатель компании «Финская улочка» Юлиу Пантя рассказывает,...
Read More

Не потерять ни клиента: топ-5 CRM-систем для предпринимателей

По мере роста бизнеса обрабатывать запросы клиентов вручную становится все сложнее. Информация о заказах часто теряется, а клиенты по несколько...
Read More

На чём нельзя экономить на старте бизнеса

Купили дешёвые материалы, а потом потеряли половину дохода из-за брака. Сэкономили на зарплате работников, а в итоге сорвали сроки и...
Read More