Т-Технологии и МФТИ представили метод SimplexLoRA
C@campcodeAI-инженер
16 чSimplexLoRA распределяет параметры LoRA между слоями модели по их важности и на 12 тестовых задачах часто не уступил или превзошел обычную LoRA при том же бюджете.
Новый способ дообучения может дать лучшее качество без увеличения бюджета параметров.
- SimplexLoRA выделяет больше параметров слоям, которые важнее для конкретной задачи.
- Метод сравнивали с обычной LoRA на 12 тестовых задачах при том же бюджете.
- Авторы отмечают, что подход особенно хорошо работает с небольшими адаптерами.
Дообучать нейронки теперь можно эффективнее с тем же бюджетом параметров — исследователи Т-Технологий и МФТИ представили на международной конференции EMNLP метод SimplexLoRA 😒
Секрет в распределении ресурсов. Чтобы подстроить готовую модель под свою задачу, ее обычно не переобучают целиком: это слишком дорого. Вместо этого используют LoRA — к слоям модели добавляют небольшие обучаемые модули, и учатся только они. Но стандартная LoRA выделяет всем слоям одинаковое число параметров, хотя польза от них для конкретной задачи разнится.
SimplexLoRA сначала выясняет, какие слои важнее, и отдает им больше параметров, а остальным — меньше. Общий бюджет при этом не растет. На 12 тестовых задачах метод в большинстве случаев не уступал обычной LoRA или обходил ее при той же стоимости работы модели. Лучше всего подход раскрывается с небольшими адаптерами — то, что нужно, когда модель надо настроить под себя, а мощностей немного. Исходный код уже залили на GitHub.
Каждому слою — по потребностям😎
Кратко (AI)
Исследователи Т-Технологий и МФТИ представили на EMNLP метод SimplexLoRA для распределения бюджета параметров LoRA между слоями модели с учетом их важности. На 12 тестовых задачах он в большинстве случаев не уступил обычной LoRA или превзошел ее при том же бюджете.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖