Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на конференции EMNLP метод SimplexLoRAi для адаптации языковых моделей к конкретным задачам. Он определяет, каким слоям полезнее выделить обучаемые параметры, и перераспределяет их общий бюджет без увеличения числа параметров.

В экспериментах метод на большинстве тестов не уступил стандартной LoRA или превзошел ее при том же числе обучаемых параметров и той же стоимости инференсаi. Особенно заметным преимущество было при небольших адаптерах, что может быть полезно командам с ограниченными вычислительными ресурсами.

ВыводВ стандартной LoRA основные веса модели остаются неизменными: обучение идет через небольшие адаптеры, которым обычно выделяют одинаковое число параметров для каждого слоя.

Полный разбор →

Исследователи лаборатории научных исследований «Т-Технологий» показали на ICML 2026, что многие заявленные преимущества алгоритмов дообучения языковых моделей на парах ответов на самом деле не подтверждаются при корректном сравнении. Ключевым фактором качества оказался не сам алгоритм, а тип ранжирования ответов — попарный (pairwisei) или поточечный (pointwisei).

Для честного сравнения авторы привели разные методы дообучения к единому протоколу оценки и ввели дополнительный параметр βi, регулирующий силу обучения на человеческих предпочтениях. Это позволило устранить влияние настроек эксперимента, объёма данных и этапов обучения на результаты сравнения.

ВыводРабота представлена на конференции ICML 2026, статья доступна по ссылке arxiv.org/pdf/2502.01237

Полный разбор →