Обучение модели Puro-2B на кластере из RTX 5090
А@AGI_and_RLAI-инженер
1 месприкольное про трен мелких моделек
Авторы рассказывают как претренили 2B модельки на кластере 5090 (24x5090 на первой фазе за $4.4k и 96x5090 на второй за $6.9k) и достигли перформа Qwen2-1.5B
Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090
https://arxiv.org/abs/2608.27370
https://www.alphaxiv.org/ru/abs/2608.27370
https://huggingface.co/collections/thu-pacman/puro-2b
