Исследователи из Университета Иннополис придумали, как ускорить обучение больших языковых моделей в 1,5–2 раза. Впервые для этого они использовали данные о том, как человек визуально воспринимает и читает текст, сообщили «Первому техническому» в пресс-службе вуза.
Современные методы согласования ИИ с предпочтениями людей (RLHF) работают медленно и требуют огромных вычислительных мощностей. Проблема в том, что модель наград оценивает весь сгенерированный текст одной общей оценкой, не указывая, что именно в нём хорошо или плохо. Учёные из Иннополиса предложили смотреть на текст глазами человека.
Данные взгляда собирают с помощью айтрекера — устройства, закреплённого на мониторе. Оно отслеживает, на какие части текста человек обращает внимание, в какой последовательности и как долго задерживает взгляд. Учёные провели эксперименты с англоязычными текстами и моделями LLaMa и Mistral, протестировав два подхода. Оба дали ускорение обучения в 1,5–2 раза без потери качества.
Исследование доказывает, что человеческий взгляд — значимый и ранее недооценённый сигнал в обучении ИИ-моделей. Использование данных взгляда позволяет создавать более эффективные и экономичные методы согласования языковых моделей. Это не просто ускоряет процесс, а делает его целенаправленнее, подобно тому, как учитель вместо "двойки" за работу указывает ученику на конкретные фразы, требующие доработки. Кроме того, наша работа показала, что данные взгляда человека могут быть заменены синтетическими, чтобы решить главные проблемы подобных исследований — острую нехватку информации о взгляде и сложность с получением новых данных.
В будущем учёные планируют проверить метод на офлайн-алгоритмах и расширить исследования на другие языки.
Читайте ещё материалы по теме:
- Нейросеть будет искать преступников и пропавших людей через камеры видеонаблюдения в Ростове-на-Дону
- Нейросети врут убедительно: опасную закономерность вскрыло исследование Пермского политеха
- ИИ не напишет новую симфонию Чайковского: в ИМЭМО РАН объяснили, почему искусство остаётся за человеком
Не пропускайте наши новостиДобавьте сайт в предпочитаемые источники, чтобы видеть нас чащеДобавить в Google
