vLLM добавил поддержку режима DJeV для DiffusionGemma
D@data_secretsAI-инженер
1 мес- Мам, давай купим Jev по API
- Нет, у нас есть Jev дома
Jev дома:
Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели.
Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы.
Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти.
https://github.com/taeold/djev-run