dapoСбросить фильтр ×

Сравнение устойчивости алгоритмов CISPO и DAPO при обучении моделей

A@AIexTimeAI-инженер
1 мес
Какое-то время назад открыл для себя, насколько CISPO робастнее к выбору гиперпараметров по сравнению с DAPO и насколько он по дефолту работает лучше в async режиме. На async в 64 шага дефолтный DAPO деградирует безумно сильно, да и на 16 уже заметно Для Qwen3 30B MoE картина та же, только коллапс в async происходит еще раньше из-за проблем с разным роутингом экспертов
Сравнение устойчивости алгоритмов CISPO и DAPO при обучении моделей

Это всё на сейчас.