Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRAi для адаптации языковых моделей к конкретным задачам. Он определяет, каким слоям полезнее выделить обучаемые параметры, и перераспределяет их общий бюджет без увеличения числа параметров.

В экспериментах метод на большинстве тестов не уступил стандартной LoRA или превзошел ее при том же числе обучаемых параметров и той же стоимости инференсаi. Особенно заметным преимущество было при небольших адаптерах, что может быть полезно командам с ограниченными вычислительными ресурсами.

• В стандартной LoRA основные веса модели остаются неизменными: обучение идет через небольшие адаптеры, которым обычно выделяют одинаковое число параметров для каждого слоя.
• SimplexLoRA сначала оценивает значимость слоев и перераспределяет в их пользу общий бюджет параметров; после этого распределение фиксируется, а дообучение продолжается по схеме LoRA.
• Метод проверили на четырех моделях и 12 задачах, включая ответы на вопросы, суммаризацию и математические рассуждения.
• Исходный код опубликован на GitHub: https://github.com/brain-lab-research/SimplexLoRA.