Samsung опубликовала Samsone — семейство из трёх компактных аудиоязыковых моделей (Samsone-99M, Samsone-134M, Samsone-356M), предназначенных для работы прямо на мобильных устройствах. Модели принимают аудиофрагменты вместе с текстовым запросом и отвечают текстом: описывают звук, отвечают на вопросы о записи, сравнивают клипы.

Проект будет представлен на конференции Interspeech 2026 (27 сентября — 1 октября, Сидней). Значимость в том, что небольшие модели (менее 400 млн параметров) на ряде тестов обгоняют модели-конкуренты в десятки раз крупнее, при этом работая офлайн на смартфоне с приемлемой скоростью генерации.

• Архитектура: аудиоэнкодер Whisper-Tinyi (9 млн параметров), нелинейный проектор в текстовое эмбеддинг-пространство и языковая модель SmolLM2i от Hugging Face (135 или 360 млн параметров)
• Каждый аудиоклип усредняется до 50 аудиотокенов, разделитель SEP отделяет клипы друг от друга и от текста — аудио можно вставлять в любое место запроса
• Модели отвечают только по-английски и строчными буквами — в обучающих текстах оставили лишь строчные ASCII-символы и убрали редкие токены ради экономии параметров
• После дообучения на аудиовопросах модели теряют общие языковые навыки — это точечный инструмент, а не полноценный собеседник
• На MMAUi (10 тыс. вопросов) Samsone-134M набирает 61,33% против 53,34% у прежнего лидера среди малых моделей Mellow (167 млн параметров), выше Qwen2-Audio-Instruct (8,4 млрд параметров, 57,4%) и на уровне Audio Flamingo 2 (3 млрд, 61,06%)
• На более сложном MMAU-Pro Samsone отстаёт: 37,57% против 27,5% у Mellow, но впереди по этому тесту Qwen2-Audio (45,41%) и GPT-4o Audio (52,5%)
• На Galaxy S25 Ultra без аппаратных оптимизаций скорость генерации: Samsone-99M — 125 токенов/сек, Samsone-134M — 87, Samsone-356M — 39; обработка аудио перед генерацией занимает 0,7–1,1 секунды. В открытом доступе — веса для PyTorch, код обучения и экспорта, а также Android-приложение (Android 12+)