Поиск по сайту Поиск

Интерпретация строения мозга с помощью рекуррентных нейронных сетей

Коннектомика — область науки, изучающая работу мозга с помощью анализа и построения карты нейронных связей. Она помогает лучше понять сложную структуру нервной системы организма. Из этой статьи вы узнаете, как исследователи из Google AI и Института нейробиологии Макса Планка используют новый тип рекуррентной нейросети, которая на порядок повышает точность обработки данных коннектомики.

Чтобы разобраться в работе биологических нейронных сетей, необходимо визуализировать мозговую ткань в 3D с разрешением порядка нанометров. Обычно это делается с помощью электронных микроскопов. Затем полученные изображения анализируются для отслеживания нейритов и идентификации отдельных синаптических соединений. 

Разрешение снимков очень высокое, из-за чего кубический миллиметр мозговой ткани может занимать более 1000 терабайт! Поэтому основная проблема составления карты мозга заключается не в получении данных коннектомики, а в автоматизации их интерпретации.

Сегментация трёхмерного изображения

Отслеживание нейритов на снимках с электронного микроскопа — пример сегментации изображений. Современные алгоритмы, автоматизирующие этот процесс, разделяют задачу на два этапа. Сначала выполняется поиск границ между нейритами с помощью классификатора или детектора границ. Для этого используется информация об интенсивности вокселов. Затем вокселы, которые не разделены границей, группируются в отдельные сегменты посредством методов водораздела или разреза графа.

В 2015 году компания Google AI начала эксперименты с альтернативным подходом, который объединяет в себе эти два шага. Они добавили к входному классификатору ещё один канал с картой прогнозируемых объектов, что привело к созданию рекуррентной модели.

Алгоритм анализирует участок изображения и итеративно заполняет отдельные области с помощью свёрточной нейросети. Сеть прогнозирует, какие вокселы являются частью изначально обнаруженного сегмента. С 2015 года исследователи проделали огромную работу для того, чтобы применить этот подход к наборам данных коннектомики и тщательно оценить его точность. Реализация получила название “Flood-Filling Network” (FFN).

Пример работы flood-filling-нейросети, сегментирующей объект в 2D. Жёлтая точка — центр текущей области фокуса. Алгоритм итеративно исследует изображение и расширяет сегментированную область (синего цвета).

Flood-filling network и сегментация

FFN имеет два входных канала: один для 3D-изображений, другой — для текущего состояния карты прогнозируемых объектов (Predicted Object Map, POM). POM использует вещественный диапазон значений от 0 до 1 и кодирует оценку принадлежности воксела к сегментируемому объекту. На каждой итерации данные POM обновляются для всех вокселов в текущем поле зрения нейросети, а затем снова отправляются на вход.

Перед началом сегментации нового объекта поле зрения сети центрируется на исходном элементе. Значение POM для него устанавливается равным 0.95, а для всех остальных вокселов — 0.05. Веса смещаются к 1 и 0, чтобы избежать переобучения.

После каждой итерации значения весов корректируются с помощью стохастического градиентного спуска с кросс-энтропийными (логистическими) потерями для всех вокселов. Порядок перемещений по сегментам при этом случайный.

Архитектура нейросети

В основе FFN лежит 19-слойная 3D-CNN (трёхмерная свёрточная нейросеть) со слоями без дополнения (SAME) — это значит, что для каждого слоя вход и выход имеют одинаковый размер. Во всех слоях используется функция активации ReLU, ядра 3x3x3 и карта признаков размером 32 (кроме последнего слоя). Последний слой выполняет свёртку по вокселам, объединяющую входные данные от всех карт признаков (размер ядра 1x1x1).

Пример работы flood-filling-нейросети, сегментирующей объект в 2D. Жёлтая точка — центр текущей области фокуса. Алгоритм итеративно исследует изображение и расширяет сегментированную область (синего цвета).

Сегментация

Обобщённый процесс сегментации состоит из трёх шагов:

  1. Выравнивание: на этом этапе выполняется обработка исходных изображений методом кросс-корреляции соседних трёхмерных секций. Это помогает найти неровности и сдвиги в структурах. Исследователи повысили точность процесса, используя алгоритм упругого выравнивания.
  2. Сегментация клеток: части снимков, соответствующие внутренностям клеток, сегментируются с помощью FNN. Вокселы предварительно размечаются классификатором по типам тканей.
  3. Сегментация скоплений клеток: поле зрения FNN ограничено вокселами, которые помечены как участки клеток. Поскольку процесс их обработки итеративно выполняется по отдельным сегментам, нейросеть может упустить места соединений клеток и создать разрывы. Чтобы избежать этого, проводится дополнительная сегментация и слияние секций по всему объему исходных данных.

Измерение точности

Google AI совместно с учёными из Института когнитивистики и нейробиологии Общества Макса Планка разработали новую метрику точности, которую назвали «ожидаемая длина пробега» (Expected Run Length, ERL). Её название пришло из вопроса, на который исследователи искали ответ: «Как далеко можно проследить нейрон из произвольной заданной точки на трёхмерном изображении, прежде чем допустить ошибку?» 

Эта метрика — частный пример средней наработки на отказ, но в этом случае измеряется длина пространства между ошибками, а не время. ERL связывает отслеживаемый путь с частотой отдельных ошибок, допущенных алгоритмом. Для исследователей это играет важную роль, поскольку конкретные числовые значения ERL могут указывать на биологически значимые величины, такие как средняя длина пути нейронов в разных частях нервной системы.

Пример работы flood-filling-нейросети, сегментирующей объект в 2D. Жёлтая точка — центр текущей области фокуса. Алгоритм итеративно исследует изображение и расширяет сегментированную область (синего цвета).

Как выглядит мозг певчих птиц

Исследователи применили метрику ERL в процессе обработки участка мозга зебровой амадины. Объём составляет 1 млн кубических микрон.

Отслеживание нейрита в мозгу певчей птицы

Учёные сегментировали каждый нейрон в небольшой части мозга зебровой амадины с помощью нейросети. Это действительно завораживает:

Работа FNN пока ещё требует дополнительного исправления ошибок вручную. Но автоматизация вносит существенный вклад: сотрудники Института Макса Планка теперь могут глубже изучать мозг певчих птиц. Это приблизит их к пониманию того, как именно зебровые амадины поют свои песни.

Глубже в разум

Компания Google AI собирается совершенствовать технологию реконструкции коннектомики, чтобы полностью автоматизировать этот процесс. Также она открыла исходный код нейросети и ПО для визуализации 3D-изображений с помощью WebGL. 

А какие тайны мозга интересуют вас? Может, вы тоже хотите знать, почему поют птицы, или что говорит ваш кот? Делитесь интригующими вопросами в комментариях!

С оригинальными материалами можно ознакомиться в блоге Google AI и на сайте biorxiv.org.

CTR позиций в поисковой выдаче или Когда клики действительно помогают

CTR позиций в поисковой выдаче или Когда клики действительно помогают

Мечта каждого вебмастера — вывести сайт на первые строки в поисковиках, чтобы привлекать как можно больше трафика. Сегодня вместе с...
Read More
Что такое NVMe SSD и стоит ли выбирать его для своего веб‑проекта?

Что такое NVMe SSD и стоит ли выбирать его для своего веб‑проекта?

При выборе выделенного сервера надо учитывать много параметров: подобрать процессор, понять, сколько хватит оперативки и какой нужен тип накопителя. Если...
Read More
Domains weekly: топ стран на рынке SSL, ICANN против расизма и 50 000 доменов в дропе

Domains weekly: топ стран на рынке SSL, ICANN против расизма и 50 000 доменов в дропе

Новый еженедельный дайджест поведает о том, в каких странах больше всего используют SSL-сертификаты (спойлер: Россия там тоже есть), как ICANN...
Read More
7 лучших SEO‑плагинов для WordPress

7 лучших SEO‑плагинов для WordPress

Чтобы привлечь посетителей на сайт, без SEO-продвижения не обойтись. И это — не разовая история, а постоянный и кропотливый процесс....
Read More
404, Bad Gateway или О чём говорят популярные ошибки на сайтах

404, Bad Gateway или О чём говорят популярные ошибки на сайтах

Наверняка вы сталкивались с ситуацией, когда при попытке зайти на сайт вместо нужной страницы он выдавал то ошибку 404, то...
Read More
Domains weekly: доход от .ORG, соцсеть на VOICE.COM и персональный рейтинг доменов

Domains weekly: доход от .ORG, соцсеть на VOICE.COM и персональный рейтинг доменов

Из новой подборки вы узнаете, что за соцсеть заработает на самом дорогом домене, как будут персонализироваться подборки доменных имён для...
Read More
Как подобрать домен: возможности REG.RU

Как подобрать домен: возможности REG.RU

В зоне .RU почти 5 миллионов доменов. Несмотря на то, что многие звучные и запоминающиеся имена уже заняты, есть несколько...
Read More
Domains weekly: взлёт .BLACK, сокрытие URL от Google и защита от доменов‑омонимов

Domains weekly: взлёт .BLACK, сокрытие URL от Google и защита от доменов‑омонимов

В очередном дайджесте мы расскажем о росте зоны .BLACK (о причинах догадаться нетрудно), зачем Google убирает полные URL из адресной...
Read More
Коммерческие факторы ранжирования: что это такое

Коммерческие факторы ранжирования: что это такое

Бывает, зайдёшь в интернет-магазин, выберешь понравившийся товар, но вдруг — цена меняется сама по себе, кнопка «Добавить в корзину» спрятана...
Read More
Как начать зарабатывать на своём сайте — 7 беспроигрышных идей

Как начать зарабатывать на своём сайте — 7 беспроигрышных идей

Чтобы заставить блог или личный веб-сайт приносить регулярный доход, потребуется щепотка удачи, стабильный трафик и, конечно же, определённое количество ваших...
Read More