Т-Технологии и МФТИ представили метод SimplexLoRA
N@nsmagисследователь
14 чSimplexLoRA распределяет больше обучаемых параметров между важными слоями и в испытаниях на 12 задачах не уступил стандартной LoRA.
Новый способ дообучения может помочь адаптировать языковые модели с ограниченными вычислительными ресурсами.
- Метод направляет больше обучаемых параметров в наиболее важные слои.
- В испытаниях на 12 задачах он показал результаты не хуже стандартной LoRA при сопоставимых условиях.
Чтобы готовая языковая модель лучше справлялась с конкретной задачей, ее дообучают, потому как обновлять все миллиарды параметров модели дорого и требует много памяти. Чаще всего используют метод LoRA (Low-Rank Adaptation): основные веса модели остаются «замороженными», а к ее слоям добавляют небольшие обучаемые модули — адаптеры. Учатся только они, и это в разы дешевле полного дообучения. На международной конференции EMNLP исследователи Т-Технологий и МФТИ представили метод SimplexLoRA, который определяет наиболее важные слои и выделяет им больше параметров за счет остальных. В экспериментах на 12 задачах новый подход не уступал стандартной LoRA или превосходил ее при том же числе обучаемых параметров и той же стоимости инференса. Особенно заметным преимущество оказалось при небольшом ранге адаптеров — это может помочь командам, которые приспосабливают модели к собственным задачам в условиях ограниченных вычислительных ресурсов.
https://github.com/brain-lab-research/SimplexLoRA
Кратко (AI)
Исследователи Т-Технологий и МФТИ представили SimplexLoRA — метод распределения обучаемых параметров между слоями языковой модели с учетом их важности. В экспериментах на 12 задачах он не уступал стандартной LoRA или превосходил ее при том же числе обучаемых параметров и стоимости инференса.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖