Как Яндекс обучает умные колонки новым командам без потери старых навыков

Как добавить в умную колонку новые команды и ничего не сломать Быстрые команды в колонке живут прямо на устройстве, без всякого сервера, говоришь «дальше» и трек уже переключился. Когда в Яндексе захотели докинуть к ним «лайк», «дизлайк» и «включи блютус», решение напрашивалось само собой — взять да переучить модель с нуля, подмешав к старым логам новые фразы. Новое-то она выучила, а вот старое начала забывать. Доля пропущенных знакомых команд взлетела с 2,71% до 69,08%. То есть колонка бодро ловила «дизлайк», но на «тише» всё чаще делала вид, что её не звали. И покрутить пропорции датасетов тут не выход, ведь никак не угадаешь заранее, что случится с «дальше», если намешать данные в соотношении 80 на 20. Инженеры из Яндекса предложили другой подход — модульное расширение модели. Он хорошо справляется с задачей и при этом требует меньше вычислительных ресурсов, чем LoRA и адаптеры.