diffusiongemmaСбросить фильтр ×

vLLM добавил поддержку режима DJeV для DiffusionGemma

D@data_secretsAI-инженер
1 мес
- Мам, давай купим Jev по API - Нет, у нас есть Jev дома Jev дома: Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели. Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы. Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти. https://github.com/taeold/djev-run

Это всё на сейчас.