vLLM добавил поддержку режима DJeV для DiffusionGemma
D@data_secretsAI-инженер
1 месМэтт Мастраччи реализовал поддержку DJeV в vLLM для модели DiffusionGemma 26B, позволяя выполнять задачи классификации без дообучения.
Новый метод позволяет запускать сложные задачи классификации на обычных GPU без дорогостоящего дообучения моделей.
- Позволяет использовать DiffusionGemma 26B для ответов на вопросы и тестов на одной видеокарте с 24 ГБ памяти.
- Метод DJeV исключает необходимость дообучения, экономя время и вычислительные ресурсы.
- Интеграция в vLLM делает технологию доступной для широкого круга разработчиков.
- Мам, давай купим Jev по API
- Нет, у нас есть Jev дома
Jev дома:
Мэтт Мастраччи, контрибьютор vLLM, взял DiffusionGemma 26B от Google и заставил ее работать по той же схеме, причем без дообучения модели.
Вместо генерации текста задается шаблон ответа, а после одного шага denoising из логитов сразу достаются ответы и их вероятности. Поддерживаются yes/no, multiple-choice и scoring вопросы.
Теперь этот режим добавили в vLLM. По первым тестам качество близко к оригинальному Jev, а в NVFP4 модель можно поднять на одной GPU с 24 ГБ памяти.
https://github.com/taeold/djev-run
Кратко (AI)
Контрибьютор vLLM Мэтт Мастраччи интегрировал поддержку метода DJeV для модели DiffusionGemma 26B. Это позволяет выполнять задачи классификации и ответов на вопросы без дообучения модели, используя один шаг денойзинга, что значительно снижает требования к ресурсам.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖