Поиск по сайту Поиск

Интерпретация строения мозга с помощью рекуррентных нейронных сетей

Коннектомика — область науки, изучающая работу мозга с помощью анализа и построения карты нейронных связей. Она помогает лучше понять сложную структуру нервной системы организма. Из этой статьи вы узнаете, как исследователи из Google AI и Института нейробиологии Макса Планка используют новый тип рекуррентной нейросети, которая на порядок повышает точность обработки данных коннектомики.

Чтобы разобраться в работе биологических нейронных сетей, необходимо визуализировать мозговую ткань в 3D с разрешением порядка нанометров. Обычно это делается с помощью электронных микроскопов. Затем полученные изображения анализируются для отслеживания нейритов и идентификации отдельных синаптических соединений. 

Разрешение снимков очень высокое, из-за чего кубический миллиметр мозговой ткани может занимать более 1000 терабайт! Поэтому основная проблема составления карты мозга заключается не в получении данных коннектомики, а в автоматизации их интерпретации.

Сегментация трёхмерного изображения

Отслеживание нейритов на снимках с электронного микроскопа — пример сегментации изображений. Современные алгоритмы, автоматизирующие этот процесс, разделяют задачу на два этапа. Сначала выполняется поиск границ между нейритами с помощью классификатора или детектора границ. Для этого используется информация об интенсивности вокселов. Затем вокселы, которые не разделены границей, группируются в отдельные сегменты посредством методов водораздела или разреза графа.

В 2015 году компания Google AI начала эксперименты с альтернативным подходом, который объединяет в себе эти два шага. Они добавили к входному классификатору ещё один канал с картой прогнозируемых объектов, что привело к созданию рекуррентной модели.

Алгоритм анализирует участок изображения и итеративно заполняет отдельные области с помощью свёрточной нейросети. Сеть прогнозирует, какие вокселы являются частью изначально обнаруженного сегмента. С 2015 года исследователи проделали огромную работу для того, чтобы применить этот подход к наборам данных коннектомики и тщательно оценить его точность. Реализация получила название “Flood-Filling Network” (FFN).

Пример работы flood-filling-нейросети, сегментирующей объект в 2D. Жёлтая точка — центр текущей области фокуса. Алгоритм итеративно исследует изображение и расширяет сегментированную область (синего цвета).

Flood-filling network и сегментация

FFN имеет два входных канала: один для 3D-изображений, другой — для текущего состояния карты прогнозируемых объектов (Predicted Object Map, POM). POM использует вещественный диапазон значений от 0 до 1 и кодирует оценку принадлежности воксела к сегментируемому объекту. На каждой итерации данные POM обновляются для всех вокселов в текущем поле зрения нейросети, а затем снова отправляются на вход.

Перед началом сегментации нового объекта поле зрения сети центрируется на исходном элементе. Значение POM для него устанавливается равным 0.95, а для всех остальных вокселов — 0.05. Веса смещаются к 1 и 0, чтобы избежать переобучения.

После каждой итерации значения весов корректируются с помощью стохастического градиентного спуска с кросс-энтропийными (логистическими) потерями для всех вокселов. Порядок перемещений по сегментам при этом случайный.

Архитектура нейросети

В основе FFN лежит 19-слойная 3D-CNN (трёхмерная свёрточная нейросеть) со слоями без дополнения (SAME) — это значит, что для каждого слоя вход и выход имеют одинаковый размер. Во всех слоях используется функция активации ReLU, ядра 3x3x3 и карта признаков размером 32 (кроме последнего слоя). Последний слой выполняет свёртку по вокселам, объединяющую входные данные от всех карт признаков (размер ядра 1x1x1).

Архитектура flood-filling нейросети.

Сегментация

Обобщённый процесс сегментации состоит из трёх шагов:

  1. Выравнивание: на этом этапе выполняется обработка исходных изображений методом кросс-корреляции соседних трёхмерных секций. Это помогает найти неровности и сдвиги в структурах. Исследователи повысили точность процесса, используя алгоритм упругого выравнивания.
  2. Сегментация клеток: части снимков, соответствующие внутренностям клеток, сегментируются с помощью FNN. Вокселы предварительно размечаются классификатором по типам тканей.
  3. Сегментация скоплений клеток: поле зрения FNN ограничено вокселами, которые помечены как участки клеток. Поскольку процесс их обработки итеративно выполняется по отдельным сегментам, нейросеть может упустить места соединений клеток и создать разрывы. Чтобы избежать этого, проводится дополнительная сегментация и слияние секций по всему объему исходных данных.

Измерение точности

Google AI совместно с учёными из Института когнитивистики и нейробиологии Общества Макса Планка разработали новую метрику точности, которую назвали «ожидаемая длина пробега» (Expected Run Length, ERL). Её название пришло из вопроса, на который исследователи искали ответ: «Как далеко можно проследить нейрон из произвольной заданной точки на трёхмерном изображении, прежде чем допустить ошибку?» 

Эта метрика — частный пример средней наработки на отказ, но в этом случае измеряется длина пространства между ошибками, а не время. ERL связывает отслеживаемый путь с частотой отдельных ошибок, допущенных алгоритмом. Для исследователей это играет важную роль, поскольку конкретные числовые значения ERL могут указывать на биологически значимые величины, такие как средняя длина пути нейронов в разных частях нервной системы.

Синяя линия — прогресс ожидаемой длины пробега. Красная линия показывает прогресс скорости слияния (merge rate). Эта метрика измеряет частоту, с которой два отдельных нейрита ошибочно прослеживаются как один объект (чем ниже линия, тем лучше).

Как выглядит мозг певчих птиц

Исследователи применили метрику ERL в процессе обработки участка мозга зебровой амадины. Объём составляет 1 млн кубических микрон.

Отслеживание нейрита в мозгу певчей птицы

Учёные сегментировали каждый нейрон в небольшой части мозга зебровой амадины с помощью нейросети. Это действительно завораживает:

Работа FNN пока ещё требует дополнительного исправления ошибок вручную. Но автоматизация вносит существенный вклад: сотрудники Института Макса Планка теперь могут глубже изучать мозг певчих птиц. Это приблизит их к пониманию того, как именно зебровые амадины поют свои песни.

Глубже в разум

Компания Google AI собирается совершенствовать технологию реконструкции коннектомики, чтобы полностью автоматизировать этот процесс. Также она открыла исходный код нейросети и ПО для визуализации 3D-изображений с помощью WebGL. 

А какие тайны мозга интересуют вас? Может, вы тоже хотите знать, почему поют птицы, или что говорит ваш кот? Делитесь интригующими вопросами в комментариях!

С оригинальными материалами можно ознакомиться в блоге Google AI и на сайте biorxiv.org.

Сильная презентация для инвесторов: от содержания до выступления

Презентация поможет структурировать данные и представить идею потенциальным инвесторам. Как сделать качественный документ – разбираемся вместе с основателем REC’s GROUP...
Read More

Дёшево и эффективно: как малому бизнесу продвигать свой сайт

Как выделиться среди конкурентов и получить внимание потенциальных клиентов. Бюджетные методы продвижения сайта – в этом обзоре.  
Read More

Как перевести бизнес в онлайн: 7 шагов

Пошаговая инструкция по переводу существующего бизнеса в онлайн: от создания сайта до начала продаж и запуска рекламы.
Read More

Кризис как точка роста для бизнеса

Когда бизнес развивается слабо, на помощь приходит… кризис. Рассказываем, как не испугаться перемен и открыть офис в другой стране, чем отличается построение бизнеса в Москве и Алматы.
Read More

Миллион на подтяжках для собак

Как придумать и монетизировать идею для бизнеса Нет смысла терять время и усложнять, когда бизнес-идеи витают в воздухе. Как понять...
Read More

Нейросети в помощь бизнесу: на что способен искусственный интеллект

Развитие нейросетей стало для россиян главным научным событием 2023 года. Бизнес активно внедряет искусственный интеллект, чтобы создавать контент, лучше понимать...
Read More

13 лайфхаков, которые погубят ваш бизнес

Разбираем «серые» способы работы и ошибки, которые точно развалят собственный бизнес.
Read More

Как привлечь инвестиции в мини-девелоперский проект с нуля

Предприниматели из Тюмени смогли стать девелоперами по загородной недвижимости без начального капитала и кредитов. Основатель компании «Финская улочка» Юлиу Пантя рассказывает,...
Read More

Не потерять ни клиента: топ-5 CRM-систем для предпринимателей

По мере роста бизнеса обрабатывать запросы клиентов вручную становится все сложнее. Информация о заказах часто теряется, а клиенты по несколько...
Read More

На чём нельзя экономить на старте бизнеса

Купили дешёвые материалы, а потом потеряли половину дохода из-за брака. Сэкономили на зарплате работников, а в итоге сорвали сроки и...
Read More