Исследователи UIUC и Google представили BudgetPix — метод адаптивной токенизации для пиксельных моделей генерации изображений. Он выделяет больше токенов сложным областям сцены и меньше простым фонам, позволяя одной модели работать при разных вычислительных бюджетах.

Код BudgetPix опубликован 16 октября; метод рассчитан на интеграцию в существующие пиксельные диффузионные модели без их переделки.

• Одна чекпойнт-модельi поддерживает бюджеты от 100% до 10% токенов.
• BudgetPix работает и в режиме генерации за один шаг.
• В методе используются энкодер на энтропийном квадродеревеi и многомасштабный декодер.
• Его можно встроить в JiT, MiniT2I и PixelDiT.
• Вместе с кодом опубликованы 8 чекпойнтов.