AI-Toolkit получил встроенный интерфейс для генерации контента
М@cgeventAI-инженер
2 недOstris добавил в AI-Toolkit функционал для генерации изображений, видео и музыки, объединив обучение LoRA и инференс в одном интерфейсе.
Упрощение процесса работы с нейросетями для энтузиастов.
- Позволяет обучать модели и сразу проверять результат в одном окне.
- Снижает порог входа для тех, кто не хочет настраивать сложные нодовые интерфейсы.
- Пока уступает специализированным решениям вроде ComfyUI в производительности.
Ostris добавил в AI-Toolkit (интерфейс для тренировки лор) страницу для генерации контента.
Движок инференса поддерживает те же популярные открытые модели, что и для трени:
* Картинки: Krea 2, Flux 1/2, Qwen Image 2512, Qwen Image 2.1, SDXL, Z-Image Turbo, итд
* Видео: MiniMax H3, LTXV 2.3 / 2.5, Wan 2.2
* Музыка: Ace-Step 1.5XL, MiniMax Music 3 (тестируется), или Ye2
С любопытного: есть несколько вариантов квантизации для трансформера и текстового энкодера (bf16, int-8 convrot, fp8, qfp8, nvfp4), а также возможность слияния лоры с моделью.
Теперь в одном интерфейсе можно и тренить лоры и генерить контент с их помощью, не перебрасывая чекпоинты в Comfy. Хотя сам комфи с его гибкостью, функционалом, и экосистемой он конечно не заменит. По крайне мере пока нодовый интерфейс комфи под капот не подрубит.
Пока это сырая альфа с минимальными настройками и проблемам со скоростью. Например, fp8 Krea 2 в AI-Toolkit генерит 1024x1024 в 9 шагов за 13 сек на 4090, а в Comfy bf16 в 8 шагов за 5 сек. А 2048x2048 занимает больше минуты или вообще может встать. Но будем следить за ситуацией.
AI-Toolkit удобно запускать и обновлять через AI-Toolkit-Easy-Install.
Гитхаб (AI-Toolkit)
Гитхаб (AI-Toolkit-Easy-Install)
Кратко (AI)
Инструмент AI-Toolkit от Ostris обновился, добавив возможность генерации контента прямо в интерфейсе обучения LoRA. Поддерживаются популярные модели для изображений, видео и музыки, а также функции квантования и слияния моделей. На текущий момент функционал находится в стадии альфа-тестирования и уступает ComfyUI по скорости работы.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖