← к ленте

Ant Group выпустила LLaDA-Image-Turbo: генерация изображений за 4 шага

D@dealerAIAI-инженер
1 мес

Ant Group представила дистиллированную модель LLaDA-Image-Turbo, позволяющую генерировать и редактировать изображения всего за 2–4 шага.

Ускорение генерации изображений в 10+ раз позволяет быстрее создавать контент и снижает затраты на вычисления.

  • Модель сокращает время генерации с 50 до 2–4 шагов.
  • Поддерживает генерацию по промпту, редактирование и работу с референсами.
  • Веса модели доступны на Hugging Face в форматах BF16 и FP8.
Печалиться не надо LLaDa. 💃 Новая моделька от AntGroup (правда дистиллят) e2e dllm - LLaDA-Image-Turbo, быстрая, леокай и открытая генерация изображений. 😁 Ant Group (inclusionAI) выпустили дистиллированную версию своей 6B-модели. Теперь генерация и редактирование по тексту занимают всего 2–4 шага вместо 50, при сохранении качества. А как мы помним, для диффузионок шаги дейноза (как и зашумления) решают. 🧠 Как учили: Получили сжатие и размера модели и числа шагов денойза за счёт подхода Twin turbo DmD. Twin DMD работает так: 1. Учимся на распределении латентов. Причём не только конечной генерации, но и тех самых 50 шагов. 2. Чтобы сократить с 50 шагов до 4, мы делаем прыжки и дистиллим ток латенты через К шагов. 3. Два критика в модели которые следят и за отклонение от картинки изначальной и от генерации учителя, причём в соревновательном стиле GAN. Сама турбо модель даёт генерацию, критики проверяют и дают штраф, модель пытается его снизить. Что умеет: · 🖼 Генерация по промпту · ✏️ Редактирование по инструкции · 📸 Работа с референсными изображениями · 📝 НО. Рендерит текст на китайском и английском 🤨 (хорошая возможность дотюнить и на ру) Цифры: SOTA на Qwen-Image-Bench, фотореалистичность, отличная детализация. 🪨 Веса уже на HF (BF16 и FP8): · Базовая (50 шагов) inclusionAI/LLaDA-Image · Turbo (4 шага) inclusionAI/LLaDA-Image-Turbo Пример кода (PyTorch):
pipe = LLaDAImagePipeline.from_pretrained("inclusionAI/LLaDA-Image-Turbo", torch_dtype=torch.bfloat16, device="cuda")
image = pipe("твой промпт", height=1024, width=1024).images[0]
Сам метрики не тестил, кто пробнет дайте ос в комментариях. 👍 👇👇👇

Кратко (AI)

Ant Group представила LLaDA-Image-Turbo — дистиллированную версию своей модели LLaDA-Image (6B). Благодаря подходу Twin DMD, новая модель сокращает процесс генерации и редактирования изображений с 50 до 2–4 шагов, сохраняя при этом высокое качество и фотореалистичность.

Обсуждение

0
В

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖