BudgetPix: адаптивная токенизация для генерации изображений
Н@GreenNeuralRobotsAI-инженер
1 недИсследователи из UIUC и Google представили BudgetPix — метод адаптивной токенизации, позволяющий оптимизировать вычислительные затраты при генерации изображений.
Метод позволяет значительно ускорить генерацию изображений и снизить требования к железу без потери качества.
- Позволяет гибко настраивать скорость генерации под доступные вычислительные мощности.
- Экономит ресурсы, выделяя меньше токенов на простые фоны и больше на детализированные объекты.
- Совместим с популярными архитектурами диффузионных моделей без необходимости их переобучения.
BudgetPix
Метод адаптивной токенизации от UIUC и Google для пиксельных моделей генерации картинок. Одна модель работает при любом бюджете вычислений: сложные участки получают больше токенов, простые фоны — меньше
• Динамически тратит вычисления по визуальной сложности сцены
• Одна чекпоинт-модель от 100% до 10% токенов
• Работает и в one-step генерации
• Энкодер на энтропийном квадродереве, многомасштабный декодер
Вставляется в существующие пиксельные диффузии (JiT, MiniT2I, PixelDiT) без переделки. Высвобождает бюджет на лету — гибко под ресурсы инференса
Код ждем
#tokenizer #research
MAX
Кратко (AI)
Исследователи из UIUC и Google представили метод BudgetPix, который динамически распределяет вычислительные ресурсы при генерации изображений в зависимости от сложности сцены. Технология позволяет использовать одну модель с разным бюджетом токенов (от 10% до 100%) и легко интегрируется в существующие архитектуры диффузионных моделей.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖