«Сбер» открыл код Kandinsky Avatar 1.0 — модели для генерации говорящих аватаров

Разработчики «Сбера» выложили в открытый доступ модель Kandinsky Avatar 1.0, предназначенную для создания видеоаватаров. Она работает по простому принципу: на вход подаётся статичное изображение и аудиозапись речи, а на выходе получается ролик, где персонаж естественно говорит, двигает губами и сопровождает слова жестами. Модель не просто синхронизирует артикуляцию со звуком.

Она добавляет мимику, повороты головы и другие движения, делая аватара живым. Через текстовый запрос можно задать манеру речи и нужные эмоции — от сдержанной улыбки до энергичной жестикуляции. В качестве основы для аватара подходит кто угодно: реальный человек, рисованный герой мультфильма или даже животное.

Такая гибкость открывает дорогу самым разным сценариям — от корпоративных инструкций до развлекательного контента. Обучали Kandinsky Avatar на базе видеоархитектуры Kandinsky 5.0 Video. В датасет вошло 1,17 миллиона фрагментов с одним говорящим в кадре, записанных на 95 языках.

Это позволило модели улавливать нюансы артикуляции независимо от языковой принадлежности. Разработчики подготовили два варианта. Lite-версия насчитывает 2 миллиарда параметров и генерирует видео стандартного разрешения.

Pro-версия с 21 миллиардом параметров рассчитана на HD-качество. Выбор зависит от доступных вычислительных ресурсов и требований к картинке. Для запуска рекомендуются видеокарты Nvidia с 48 ГБ памяти для SD и 80 ГБ для HD.

Если памяти не хватает, можно декодировать кадр по частям — тогда пиковое потребление снижается до 28 ГБ. Правда, на стыках фрагментов иногда проступают заметные границы. Сферы применения таких аватаров широки: учебные ролики, рекламные объявления, видеоинструкции и персональные обращения к клиентам.

Открывая код, «Сбер» стремится дать российским разработчикам готовую технологическую основу, которую можно встраивать в свои продукты и дообучать под конкретные задачи без необходимости создавать всё с нуля. Управляющий директор по исследованию данных Сбербанка Денис Димитров отметил, что обратная связь от сообщества поможет понять, как модель ведёт себя в разных сценариях и что нужно улучшить. Этот опыт ляжет в основу следующих версий Kandinsky и внедрения видеоаватаров в сервисы банка.

Возможности Pro-версии уже сравнили с ведущими открытыми и проприетарными аналогами. Тестирование проводилось вслепую: участники смотрели пары роликов, оценивали их по семи критериям и выбирали лучший, не зная, какая модель сгенерировала видео. Результаты оказались в пользу Kandinsky Avatar 1.0 Pro.

Её ролики выбирали чаще, чем видео каждого из конкурентов: в 63% случаев при сравнении с Kling Avatar 2, в 60% — с LongCat‑Avatar-1.5 и в 54% — с HeyGen IV. Код и веса моделей бесплатно доступны под лицензией MIT на GitHub, GitVerse и Hugging Face. В ближайшее время Kandinsky Avatar можно будет запускать через популярные инструменты интеграции нейросетей — ComfyUI и Diffusers, что упростит её внедрение в рабочие процессы.