Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRAi для адаптации языковых моделей к конкретным задачам. Он определяет, каким слоям полезнее выделить обучаемые параметры, и перераспределяет их общий бюджет без увеличения числа параметров.
В экспериментах метод на большинстве тестов не уступил стандартной LoRA или превзошел ее при том же числе обучаемых параметров и той же стоимости инференсаi. Особенно заметным преимущество было при небольших адаптерах, что может быть полезно командам с ограниченными вычислительными ресурсами.
ВыводВ стандартной LoRA основные веса модели остаются неизменными: обучение идет через небольшие адаптеры, которым обычно выделяют одинаковое число параметров для каждого слоя.