Нейросеть Kandinsky будет создавать видео для обучения роботов

фото: Pexels

ЕКАТЕРИНБУРГ. «Сбер» представил семейство генеративных моделей Kandinsky WM 1.0, которые способны создавать короткие видео, соответствующие базовым законам физики и пригодные для обучения систем Physical AI. В основе лежит нейросеть Kandinsky 5.0 Video Lite, обученная на реальных видео с камер роботов, беспилотных автомобилей и записях промышленных процессов. Код и веса нейросетей опубликованы#mce_temp_url# под лицензией MIT и доступны всем разработчикам мира бесплатно. Об этом сообщает пресс-служба банка.

Особенная ценность разработки в том, что она позволяет синтезировать редкие, опасные или трудно воспроизводимые сценарии: ДТП, экстремальные погодные условия, отказы оборудования.

Видео моделей Kandinsky WM 1.0 длятся около 5 секунд и отражают отдельные действия: манипуляции с предметами (взял, положил, разрезал), дорожные ситуации (перестроение, проезд перекрестка), этапы производственных процессов - базовые «кирпичики», из которых складывается обучение автономных систем.

Это первое поколение нейросетей на пути к полноценным моделям мира - системам, способным моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов.

Модели Kandinsky WM 1.0 пригодятся разработчикам беспилотного транспорта, от легковых автомобилей до грузовиков и роботакси, компаниям в сфере промышленной автоматизации: производителям манипуляторов, промышленных, сервисных и антропоморфных роботов, командам, внедряющим компьютерное зрение на производствах и складах.

Модели уже применяет Центр робототехники Сбера для обучения собственных роботов, а также институт AIRI в своем дорожном симуляторе.

© Служба новостей «АПИ»

Реклама ПАО «Сбербанк России» ИНН 7707083893 Erid: 2W5zFJXXuC4