Сравнить два медицинских снимка одного органа бывает непросто, так как из-за дыхания или сердцебиения ткани смещаются, и привычные алгоритмы могут ошибаться при совмещении изображений. Учёные МГУ разработали нейросеть, которая решает эту задачу без предварительного обучения на большой базе снимков. Метод проверили на КТ лёгких и МРТ мозга и сердца. Результаты опубликованы в журнале Machine Learning and Knowledge Extraction.

Для совмещения медицинских снимков обычно используют нейросети, которые заранее обучают на большом количестве изображений. Во время такого обучения программа учится распознавать анатомические структуры и определять, как они расположены относительно друг друга. Но для этого нужна обширная коллекция снимков, которую не всегда удаётся собрать.

Исследователи МГУ предложили другой подход. Их нейросеть получает сразу два снимка, которые требуется сравнить, и рассчитывает, как совместить их между собой. Например, программа определяет, где на каждом изображении находятся одни и те же участки лёгких, и подбирает перемещения, при которых они совпадут.

Метод получил название KAN-IDIR. Он основан на сетях Колмогорова — Арнольда, или KAN. Если говорить проще, такая нейросеть использует математические функции, которые можно подбирать под конкретную задачу. В данном случае они помогают программе рассчитать, насколько и в какую сторону нужно сместить разные точки изображения. При этом алгоритм ограничивает слишком сильные и неестественные изменения формы органов.

Позже авторы разработали более быструю версию — RandKAN-IDIR. Она использует не весь набор математических функций, а только его случайно выбранную часть. Благодаря этому программе требуется меньше вычислений, при этом точность совмещения остаётся близкой к результатам основной версии.

На тестах с компьютерными томограммами лёгких облегчённый алгоритм совмещал два снимка в среднем за 43,1 секунды. Средняя ошибка при сопоставлении анатомических ориентиров составила около 0,99 миллиметра. На МРТ сердца основная версия KAN-IDIR также показала высокие результаты по совпадению анатомических областей и плавности изменений формы изображений.

При этом метод не оказался точнее всех существующих алгоритмов во всех испытаниях. На снимках лёгких и мозга некоторые другие решения показали более высокую точность. Для сравнения исследователи использовали три открытых набора данных — с КТ лёгких, МРТ мозга и МРТ сердца.

Разработка может пригодиться в исследованиях, где важно сравнивать снимки одного органа, сделанные в разное время или в разных состояниях. Например, так можно изучать движение сердца, изменения лёгких при дыхании и динамику изменений в мозге.