Сбер представил первую российскую диффузионную модель для генерации изображений по тексту на разных языках

На международной конференции по искусственному интеллекту (ИИ) Artificial Intelligence Journey Сбер представил Kandinsky 2.0 — первую российскую мультиязычную диффузионную модель для генерации изображений по текстовому описанию с 2 млрд параметров.

Нейросеть разработали и обучили исследователи Sber AI при партнёрской поддержке ученых из Института искусственного интеллекта AIRI на объединённом датасете Sber AI и SberDevices из 1 млрд пар «текст — изображение». Увидеть, как она рисует, можно на сайте FusionBrain, а также при помощи команды «Запусти художника» на умных устройствах Sber и в мобильном приложении Салют.

В Kandinsky 2.0 разработчики использовали набирающий популярность диффузионный подход, поскольку модели подобной архитектуры, в отличие от трансформеров, дают хорошие результаты почти во всех задачах генерации мультимедийного контента по текстовому описанию (синтез изображений, видео, 3D и аудио).

Модель способна одинаково быстро и качественно обрабатывать запросы на 101 языке. Среди них как распространённые русский и английский, так и более редкие, например, монгольский. Система поймёт задачу, даже если в одном запросе будут слова на разных языках.

Kandinsky 2.0 отличается от своего предшественника более сочной, глубокой и реалистичной картинкой и расширенными возможностями. Кроме того, в Kandinsky 2.0 пользователи могут оценить, как одинаковые с точки зрения смысла лингвистические конструкции и понятия отличаются в зависимости от языка и культурной окраски.

— Мы продолжаем развивать решения для автоматической генерации изображений по описанию на естественном языке — так называемый креативный ИИ. Kandinsky 2.0, который пришёл на смену первой версии модели, — прорыв в этой сфере, - комментирует первый заместитель Председателя Правления Сбербанка Александр Ведяхин. — Наша модель позволяет за несколько секунд получить уникальную картинку под конкретную задачу и свободно распространять её без лицензии, что очень актуально для бизнеса. Генеративные модели развиваются очень быстро: ещё четыре года назад даже постановку такой задачи сложно было представить, а сегодня мы имеем работающую модель, которая понимает 101 язык и рисует реалистичные изображения, которые зачастую неотличимы от тех, что создают люди.