Обучение модели Puro-2B на кластере из RTX 5090

1 мес

Исследователи обучили языковую модель Puro-2B на кластере из видеокарт RTX 5090, достигнув производительности уровня Qwen2-1.5B при низких затратах.

Демонстрация доступности обучения качественных ИИ-моделей на потребительском оборудовании.

Показывает, что обучение эффективных моделей больше не требует только дорогостоящих серверных GPU.
Снижает порог входа для независимых исследователей и небольших лабораторий.
Подтверждает высокую вычислительную эффективность архитектуры RTX 5090 для задач машинного обучения.

прикольное про трен мелких моделек Авторы рассказывают как претренили 2B модельки на кластере 5090 (24x5090 на первой фазе за $4.4k и 96x5090 на второй за $6.9k) и достигли перформа Qwen2-1.5B Puro-2B: Poor Lab's Qwen2-1.5B Trained on RTX 5090 within $5090 https://arxiv.org/abs/2608.27370 https://www.alphaxiv.org/ru/abs/2608.27370 https://huggingface.co/collections/thu-pacman/puro-2b

Обучение модели Puro-2B на кластере из RTX 5090

Кратко (AI)

Авторы проекта Puro-2B продемонстрировали возможность эффективного обучения компактных языковых моделей на потребительском железе. Используя кластер из видеокарт RTX 5090, они добились качества, сопоставимого с моделью Qwen2-1.5B, при относительно небольших финансовых затратах.

Обучение модели Puro-2B на кластере из RTX 5090

Кратко (AI)

Обсуждение