Сбер представил семейство генеративных моделей Kandinsky WM 1.0, предназначенных для создания видеоданных с точным соблюдением законов физики. Разработка ориентирована на обучение систем Physical AI — искусственного интеллекта, управляющего роботами, беспилотными автомобилями и промышленной техникой.
Нейросети решают проблему дефицита обучающих данных: для подготовки современных моделей требуются миллионы часов видеозаписей, а сбор таких материалов крайне сложен и дорог. Kandinsky WM позволяет генерировать редкие и опасные сценарии — аварии, экстремальные погодные условия, отказы оборудования, — которые невозможно снять в реальных условиях.
В основе моделей лежит Kandinsky 5.0 Video Lite, дообученная на нескольких миллионах видеозаписей с камер роботов, беспилотных автомобилей и промышленных объектов. Особое внимание уделили физической достоверности: проверяли, чтобы объекты не деформировались, не исчезали и двигались естественно. Для автомобильных сценариев применяли обучение с подкреплением: специальные модели оценивали качество роликов и давали обратную связь.
Модели генерируют ролики длительностью около пяти секунд, отражающие отдельные действия: манипуляции с предметами, дорожные манёвры, этапы производственных процессов. Kandinsky WM 1.0 уже используют Центр робототехники Сбера для обучения роботов и институт AIRI для развития дорожного симулятора.
Код и веса моделей опубликованы по открытой лицензии MIT — разработчики по всему миру могут использовать их бесплатно. Как отмечают разработчики, Kandinsky WM — первый шаг к созданию полноценных моделей мира, способных моделировать развитие сцены во времени и служить симуляторами для обучения роботов.