Учёные Российского экономического университета имени Г. В. Плеханова нашли способ заметно повысить точность нейросетей, которые прогнозируют сложные процессы — от поведения атмосферы до активности нервных клеток. Для этого исследователи сделали необычную вещь: вместо усложнения системы они навели порядок внутри неё.

Речь идёт о резервуарных нейросетях. Обычно их внутренний слой состоит из большого числа искусственных нейронов, соединённых случайным образом. Из-за такого «хаоса» результат может сильно зависеть от того, какая именно сеть случайно получилась: одна работает хорошо, другая при тех же настройках заметно хуже.
Команда РЭУ имени Плеханова заменила случайную структуру небольшими упорядоченными блоками — группами из трёх, четырёх или пяти нейронов — и отдельными изолированными узлами. Лучшие результаты показала архитектура с блоками из четырёх элементов: ошибка прогноза снижалась до четырёх раз, а для достижения нужной точности требовалось примерно в 30 раз меньше связанных элементов.
Разработку проверили сразу на нескольких задачах: прогнозировании активности нервных клеток, моделях динамики атмосферы и химических реакций, а также восстановлении скрытых сигналов электроэнцефалограммы. При этом новая система оказалась ещё и стабильнее — её качество меньше зависело от случайной начальной конфигурации.
В перспективе такой подход может позволить создавать более компактные и энергоэффективные нейросетевые устройства. Авторы рассчитывают применять архитектуру при работе с медицинскими сигналами, большими массивами датчиков, в энергетике и даже в портативных нейроинтерфейсах.
Исследование возглавил доктор физико-математических наук Александр Храмов, директор НИИ прикладного искусственного интеллекта и цифровых решений РЭУ имени Плеханова. Работа выполнена при поддержке Российского научного фонда и опубликована в научном журнале Chaos.
Комментарии