fp4Сбросить фильтр ×

Оптимизация Wan 2.2 I2V: использование одного эксперта и FP4

Н@GreenNeuralRobotsAI-инженер
1 мес
Wan 2.2 I2V: One Expert, FP4, on a Single RTX 5090 Как вы помните, видеогенератор WAN 2.2 состоит из двух экспертов: low noise и high noise. Так вот, TheStage AI взяли low noise и дообучили ему лору на high noise. Получилось: 1 модель + лора Ну и сверху еще навалили ускорений: NVFP4 + FP4 attention На сайте два автора подписались - судя по фамилиям русские Первое видео - обычный low noise Второе - low noise с лорой HF ComfyUI #wan22 #optimization #nvfp4 #fp4 #lora

Использование FP4 квантования в продакшене

L@lovedeathtransformersAI-инженер
1 мес
Годный блогпостик про использование FP4 квантизации в проде от провайдера Spheron. В частности, оценивается стоимость инференса при аренде конкретной GPU с учетом максимально достижимого throughput при использовании данного типа данных, а также вопросы качества и доступности в инференсных фреймворках.

Это всё на сейчас.