Один рабочий день бок о бок с новой аудиомоделью Сбера Данила любит на досуге копаться в свежих моделях, и тут подвернулась GigaChat Audio, которая запоминает контекст, тянет длинные записи и даже слышит эмоции говорящего. Грех не устроить тест‑драйв прямо на работе. Поднял модель локально на своём RTX 4090 и весь день кидал ей настоящий рабочий звук. Свой черновик доклада, чужую встречу про дробление BFF, голосовые от коллег, код‑ревью для младшего. Где‑то модель здорово помогает и экономит нервы, где‑то на технической теме выдаёт такое, что приходится слушать запись самому. К вечеру складывается спокойный вывод, кому и на каких задачах эта штука правда пригодится.

Если вам больше 30, у вас наверняка есть друг, у которого сохранился CD-ROM (еще с IDE интерфейсом). Ребята из das_POD решили дать этим устройствам вторую жизнь и выпустили аудиоустройство, в которое просто вставляется старый сидюк и становится центром аудио-системы. Ну как аудиоустройство. За корпус из полу глянцевого анодированного покрытия с пескоструйной обработкой придется отдать $220 долларов, за матово-черный или оранжевы - по 190. В комплекте будут вырезанные лазером алюминиевые панели, плата контроллера IDE, плата питания, пульт дистанционного управления и пакет кабелей и крепежных элементов. CD-ROM, предполагается, что у вас уже есть. Как и прямые руки.

Apple готовит новые полноразмерные наушники Beats 360 По данным MacRumors, новинка получит округлый дизайн в стиле AirPods Max с возможностью замены амбушюр и оголовья, которые можно обновлять после тренировок или подбирать под разные цвета (розовый, чёрный, небесно-голубой и молочно-белый). Как следует из утечки, это первые в истории полноразмерные наушники Beats с защитой от пота и воды по стандарту IPX4, из-за чего они подходят для тренировок лучше, чем другие полноразмерные модели бренда. Улучшенная система активного шумоподавления работает в 1,75 раза эффективнее, чем в Beats Studio Pro, поддерживается и пространственный звук с отслеживанием движений головы. Наушники обеспечивают автономность на целый день, поддерживают быстрое сопряжение с Apple и Android и управляются с помощью физических кнопок на чашах. Ожидается, что цена составит от $299 (~25 460 ₽), а релиз состоится в ближайшее время.

🌟 MiDashengLM-Gen: генерация комплексных звуковых сцен Команда MiLM Plus из Xiaomi опенсорснула генератор звука по текстовому описанию, который создаёт целостные аудиосцены из речи, музыки, звуковых эффектов и фоновой акустики окружающей среды. Под капотом - собственный аудиотокенизатор MiDashengLM-0.6B, построенный по архитектуре DashengTokenizer, и дообученная языковая модель Qwen3-1.7B, работающие в связке с Flow matching на базе DiT. Данные для обучения из двух источников: первый - приватный суперсет ACAVCaps на 77 тысяч часов с речью, музыкой и эффектами, второй - микс TTS-корпусов Emilia, LibriTTS, LJSpeech, AISHELL-3, WenetSpeech4TTS. Русский язык модель знает, в речевой части ACAVCaps его доля 4,66%, но основа обучения всё же английский (54%) и китайский (24,5%). В TTS-сетах русского нет вообще, и это видно по качеству (13,19% ошибок против 2,42% на английском). Управление в промпте задаётся тегами: <|caption|> - описание всей сцены; <|asr|> - текст для озвучки голосом; <|speech|> - тон, эмоции, стиль голоса; <|sfx|> - звуковые эффекты; <|music|> - описание музыки; <|env|> - окружающая среда. Указывать нужно все, а если поле неприменимо, туда идёт <|unknown|>. У чистой речи, например, заглушки стоят в полях музыки и эффектов. Смысл в том, чтобы управляющие факторы не слипались друг с другом. Модель видит явное разделение и не пытается вывести стиль говорящего из описания фонового шума. На выходе - трек в формате WAV с частотой дискретизации 16 кГц. Длина ограничена до 20 секунд, на более длинных таймингах модель не проверяли. 🟡Тесты

Прямых аналогов среди открытых моделей почти нет, поэтому авторы сопоставляют систему с узкоспециализированными по каждой задаче и со своим же предшественником Dasheng AudioGen.

Основная причина для гордости - разборчивость речи. На английском Seed-TTS доля ошибок упала с 12,15% до 2,79%. Мультиязычность тоже подтянулась, но до уровня Qwen3-TTS и Seed-TTS система не дотягивает. Вин-стрик по эмоциям на CV3-Eval, где эмоция подсказана текстом, - 0,98 радость, 0,96 грусть, 0,92 злость. По генерации отдельных звуков в AudioCaps система уступает TangoFlux (FAD 5,01 против 2,26).

В планах - клонирование голоса, подтягивание низкоресурсных языков и управление по времени.

📌Лицензирование: Apache 2.0 License 🟡Страница проекта 🟡Веса 🟡Arxiv 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #TTA #TTS #TTSFX #MiDashengLM #Xiaomi

🎵Колонка, внутри которой живёт целый мир Очень странный гаджет, который даже описать было сложно. Студии OIO и Mattering представили портативную колонку mur mur. По их словам, это устройство «с миром внутри». Сверху у устройства окуляр. Заглядываете — а там круглый экран с симулированной экосистемой: своя погода, своя температура и обитатели, которые взаимодействуют друг с другом. На днище шутливая надпись: «Не трясите слишком сильно, внутри живые агенты». Миров три, и каждому соответствует свой цвет корпуса — все, кстати, напечатаны на 3D-принтере. Оранжево-белый Block — квартал миниатюрного города: пробки в час пик, уличные музыканты, голуби, прохожие на тротуарах и роботы-доставщики. Зелёный Plot — лес с птицами, насекомыми, туристами и шорохом шагов по сухой листве. Синий Pond — водоём с рыбами, утками, жабами и проплывающими лодками. Погода внутри тоже настоящая — в смысле, влияет на происходящее. Начинается дождь — люди уходят с улиц, и звуковая картина меняется вместе с ними. Механика такая: никаких промтов нет вообще. Устройство комбинирует цифровые паттерны и звуки в зависимости от того, как двигаются и пересекаются виртуальные агенты. Каждый агент — существо или объект со своим ритмом и своими правилами. Их взаимодействия ложатся на музыкальный слой и превращаются в звук, который меняется вслед за жизнью этого мира. Отсюда и бесконечные саундскейпы. Из органов управления по сути только «включить» и «выключить», плюс регулятор громкости — дальше как повезёт. Пока mur mur прототип, и создатели ищут партнёров, чтобы довести проект до рынка. Но выглядит, конечно, нереально… @droidergram

Sonos планирует выпустить новые наушники Sonos Ace Ultra По данным Dealabs, компания Sonos готовит Sonos Ace Ultra — обновлённую версию первых наушников бренда с привычным дизайном и чуть более массивными чашками. Новинка получила динамические драйверы с глубоким басом, пространственное аудио и вдвое более эффективное шумоподавление с режимом прозрачности. Автономность составляет до 35 часов с ANC, быстрая зарядка даёт 3 часа работы за 3 минуты, а комфорт и практичность обеспечивают сменные элементы, поворотные чашки и мягкое оголовье. Наушники оснащены сенсорами с автоопределением, быстрым переключением в одно касание с системой Sonos и поддержкой Dolby Atmos с технологией TrueCinema и отслеживанием движений головы. Устройство будет доступно в трёх цветах: чёрном, белом и новом сине-зелёном. Официальный анонс новинки состоится 1 сентября 2026 года, а старт продаж намечен на 29 сентября 2026 года по цене $449 ( ~37 761 ₽).

Кому в Требло? Приведу вот такой такой пост из коментов от Александра. Обозначает довольно интересные плюсы Treblo и минусы Suno. Очень любопытно, особенно про датасеты. На днях стало интересно проверить, насколько у них (Требло) реально большая база. Спарсил список из 35 000 исполнителей по 6 странам (брал топы из last.fm, строго в порядке убывания популярности). По косвенным признакам понял, что метаданные для обучения они тянули из MusicBrainz. Сопоставил списки, чтобы вытащить все возможные варианты написания. Написал скрипт и аккуратно прогнал всю эту базу через их валидатор. По цифрам: из 35 000 артистов валидацию успешно прошли около 15 000. База действительно огромная. Даже когда скрипт дошел до самого конца списка и проверял глубокий андеграунд, процент узнавания держался в районе 40%. Судя по наличию одних артистов и отсутствию других, сам датасет они собирали где-то в 2022–2023 годах. Из обидного. Русскоговорящих исполнителей там сильно меньше, чем западных. Если из топа США пробивается около 90% имен, то из нашего сегмента от силы 30%. Но у такого гигантского датасета есть крутое преимущество. В отличие от Suno, у которого большинство треков страдает от одинакового мастеринга и шаблонных тембров, Treblo выдает сумасшедшее разнообразие в звучании. Этим платформа очень напоминает ранние версии Udio. Если правильно подобрать теги, можно вытащить всё что угодно: хоть хор балканских бабушек, хоть ритуальные богослужения (в Suno такое получить практически нереально). Правда, из-за такой всеядности и огромной базы нейронка гораздо чаще ловит звуковые артефакты и галлюцинации. Но за пределами моего списка лежат еще десятки тысяч рок-групп, финских метал-бэндов, блюзменов из 30-х годов и аниме-композиторов, чьи альбомы когда-то были выгружены в сеть и размечены в MusicBrainz. Так что, не удивлюсь, если количество артистов в их базе переваливает за 50 000. P.S. Вообще, учитывая, как бескомпромиссно они сожрали гигантские объемы защищенного копирайтом контента, ребята ходят по очень тонкой грани. P.P.S. Я не говорил, что Suno в принципе не может сгенерировать хор как таковой или какой-нибудь специфический жанр. Речь о том, что он очень скуден тембрально и текстурно. Suno выдает дистиллированный, прилизанный звук. У него всё звучит так, будто это записано в 2010/20-х на одной и той же аппаратуре. Грубо говоря, если попросить Suno написать гранж в стиле Nirvana, это будет звучать так, словно Курта Кобейна загнали в современную студию, дали новенькие блестящие инструменты из магазина, а сводил всё это дело модный поп-продюсер из 2010-х. А сразу за Нирваной в очереди в эту же студию стоят те самые балканские бабушки, чтобы записаться в тот же микрофон. Звучать они в итоге будут так же стерильно, как бэк-вокалистки Дуа Липы. Нет грязи, нет аутентичности пространства и времени. Примеры (текст просто эхолалия под языки тех регионов, смысла в нём нет): 1.mp3 Балканский хор. У Treblo слышна аутентичность региона, специфическое звукоизвлечение и народное пространство. Suno, возможно, взял бы специфичные для региона гармонии и узкое звукоизвлечение, но на этом всё. 2.mp3 Биг-бэнд в стиле 50-х. Звук похож на запись 50-х, с нужной сатурацией и артефактами, которая записана на оборудовании 50-х и снята с оригинальных носителей. В Suno такого винтажа не добиться, модель всё равно попытается сделать звук чистым и современным, максимум, искусственно добавит треск пластинки. Она возьмёт структуру, инструменты и аранжировки из 50-х, но звучать это будет как современный Big Band. 3.mp3 Африканский хор. Очень крутая детализация, там слышно характерное пощелкивание языков и артикуляцию. Suno бы свёл африканский хор к американскому госпелу. В общем, в Suno хор получится масштабным, но это будет скорее универсальный хор из голливудского трейлера с щепоткой каких-то вариативных характеристик. При этом я ни в коем случае не хочу сказать, что Suno плохой, а Treblo хороший. Они оба крутые. Просто Suno больше заточен под современный коммерческий продакшен и аранжировки, а Treblo лучше справляется с аутентичной фактурой @cgevent

Хочешь что-то спрятать - положи на самое видное место Бенн Джордан, чувак, который записывал файлы на птиц, выпустил интересное видео, где зашифровывает файлы прямо в аудиторожки Риллсов Книга «1984» Оруэлла влезла всего в 2 секунды публичного ролика. А потом извлеклась без каких-то проблем. Книгу не читал, но видел кукольный спектакль в Каса-Банита. Уверен, там всё как у нас. Минус этого способа - так нельзя шифровать большие файлы. И алгоритмы площадок могут поменяться в любой момент, что потенциально сделает файл нечитаемым. Кодеки Ютуба особо агрессивны в этом плане. Но вы вполне можете зашифровать текстовый файл или фотографию, а потом хранить их у себя в профиле. Крутой концепт. https://youtu.be/fhoJK02oD_E?si=tvczM4eIZBuppgW9

умеют ли ллм слушать аудиодорожки? 🎧 я, конечно, не просто распознавание речи в текст, но и про то как понять интонации и разные акустические события С видео все давно понятно - почти любая модель режет его на кадры с требуемой частотой кадров и разбирает как картинки. Со звуком - большинство агентов запускают скил на распознавание речи, но есть и исключения классический пайплайн выглядит так: перевести в текст/токены - ллм анализирует вход и выдает текст - текст генерируется в речь, то есть модель получает расшифровку, а не звук, так работает например voice mode у клода. Быстро и дешево, но по дороге теряется тон, ирония, эмоции, кто говорит, неречевые события 😳 Впрочем есть и нативные аудио-модели, у которых звук подается прямо в контекст как токены, наравне с текстом. Технически это делается двумя способами: либо аудио-энкодер переводит сырой звук или спектрограмму в эмбеддинги, либо нейрокодек сжимает звук в дискретные токены - и во втором случае модель умеет не только слушать, но и говорить сама, без стороннего синтеза речи. Проще говоря, для одних ллмок для работы со звуком нужны внешние тулы (будь то простое распознавание речи или комплексный анализ эмоций и тональностей), а другие при обучении видели не только картинки и текст, но и аудио (а точнее все вместе), а это значит, что умеют с ним работать 🤑 вот пара примеров таких моделей: • Gemini - самый универсальный вариант, разбирает музыку и не-речевые звуки (жанр, эмоция трека, шумы на фоне), различает спикеров, понимает таймстемпы. Правда, пока не настолько хорошо, чтобы стабильно разобрать любой трек на аккорды • OpenAI - в июле выкатили апдейт, где модель слушает и говорит одновременно, поддакивает «mhmm» и перебивается как живой человек и умеет понимать простые речевые события и интонации • Qwen3-Omni - лучший опенсорс по результатам замеров на бенчмарках - анализ музыки по стилю и ритму, 19 языков. И единственная модель, которую я все еще не попробовала в контексте музыки и звука 🤨 Предполагаю, что это активно используется в ai кол-центрах (например анализ эмоций клиента), вся работа с генерацией музыки, разметка звуковых событий, и из менее очевидного что мне запомнилось - мониторинг различных инструментов на предмет поломок на заводе (например станков) или даже подсчет птиц в лесу. "Зачем я прочитал этот пост, если я не работаю в аудио стартапе" - могли подумать вы 😑 Мое личное предположение - использовать для поиска и генерации трендовой музыки в маркетинге, как сейчас многие уже делают с видео креативами. Ну и просто потому что 7 лет моего опыта в аудио процессинге никуда не делись и мне все равно интересно поглядывать, что там происходит 🐵 @neural_prosecco

💿 Прозрачный CD-плеер для стены Возможно, в лентах коротких видео вам попадался этот гаджет. Нам тоже попался — и мы решили разобраться, что это за красота такая. Называется SYITREN RM1 и собирает деньги на Kickstarter. Обычный CD-плеер прячет диск в тёмной коробке, здесь всё наоборот: корпус — двухслойная прозрачная акриловая рамка на металлических стойках по углам, и через неё видно и крутящийся диск, и оптическую головку, и электронику. Ножки съёмные, так что RM1 можно поставить на стол, а можно повесить на стену через паз на задней панели — получается что-то среднее между плеером и картиной. Жёлтым светится матрица 12 × 8 светодиодов: номер трека, громкость, простенькая анимация и полоска прогресса песни. Из режимов — повтор трека, последовательное воспроизведение и шаффл. По начинке: 🔸 Читает обычные аудио-CD, а также диски с MP3 и WMA 🔸 Оптическая головка рассчитана и на горизонтальное, и на вертикальное положение 🔸 Антишок-буфер: 40 секунд для CD и до 120 секунд для MP3 — на стене штука полезная 🔸 Габариты 260 × 260 × 42 мм, вес 900 граммов 🔸 Динамика внутри нет вообще: звук уходит по Bluetooth 5.3 (заявлено до 10 метров) или через 3,5-мм выход. Отношение сигнал/шум — 95 дБ 🔸 Аккумулятор 18650 на 2000 мА·ч, 6–8 часов проигрывания, зарядка по USB-C за час-два Цены на Kickstarter стартуют с 89 долларов (~7200 рублей). @droidergram