Чтобы научить нейросеть озвучивать текст на новом языке, обычно нужны часы аудиозаписей и соответствующие им тексты. Исследователи из университета ИТМО и MWS AI представили метод SEAM, который в экспериментах позволил получить сопоставимое качество синтеза речи на 25 часах аудио вместо 100. Результаты опубликованы в сборнике конференции EMNLP 2026.
Метод помогает модели использовать уже знакомые ей элементы языка при освоении новых. Вместо того чтобы создавать представления незнакомых языковых элементов с нуля, алгоритм собирает их из известных частей и учитывает порядок звуков.
Это особенно актуально для языков, по которым собрано мало обучающих материалов. Чем меньше качественных аудиозаписей с текстовой разметкой доступно разработчикам, тем сложнее адаптировать голосовую модель без потери качества.
Авторы проверили SEAM на трёх языках и двух архитектурах синтеза речи. Согласно опубликованному исследованию, метод позволил сопоставить результаты стандартного подхода при использовании в четыре раза меньшего объёма обучающих данных.
При этом сокращение объёма записей не означает, что модель полностью избавляется от необходимости обучения. Метод меняет способ подготовки языковых элементов, а полученный результат относится к условиям проведённых экспериментов.
Подход может пригодиться при создании голосовых помощников, сервисов озвучки и систем автоматизации клиентской поддержки. Он позволяет уменьшить объём данных, необходимый для адаптации речевых моделей к новым языкам.
При этом качество синтеза зависит не только от количества записей. При переносе уже имеющихся знаний модель может ошибаться в произношении и формировать нестандартные языковые конструкции.