🎼YuE2: открытая модель генерирует песни с редактируемой партитурой на уровне Suno v5 Команда китайских исследователей из HKUST, HKGAI и сообщества Multimodal Art Projection (M-A-P) представила YuE2-3B - открытую нейросеть для создания песен. Сначала она сочиняет композицию в виде читаемой партитуры, а потом исполняет её как готовый трек с вокалом. Партитуру можно поправить вручную или через LLM-агента и получить новую версию песни, а если снять ноты с чужой записи, модель без дообучения исполнит кавер в другом стиле. Примеры песен опубликованы на странице проекта. Партитуру YuE2 пишет в нотации ABC: темп, размер, тональность, такты, метки куплета и припева, аккорды и ноты. Генерация идёт в три шага: партитура, затем семантические токены, затем акустические латентные представления (латенты). Для них звук делится на фреймы по 40 мс, и каждый фрейм описывается 64 числами. Семантические токены добавляют то, что неудобно записать нотами, а из латентов отдельный вариационный автоэнкодер (VAE) собирает стерео 48 кГц. Все три шага выполняет один трансформер из 28 слоёв по схеме Mixture-of-Transformers (MoT): в каждом слое два эксперта со своими весами и общим механизмом внимания. В слепом прослушивании эксперты предпочли YuE2 песням Suno v4.5 в 57.3% сравнений против 30.5%. С Suno v5 вышла почти ничья: 40.4% против 39.9%. На бенчмарке WildSongBench у этой настройки 6.96 балла по SongBench с минимальным отрывом от ближайших конкурентов Mureka 9 (6.94) и Suno v5 (6.87). Тесты показали, что партитура делает песню лучше: с ней эксперты выбирали трек в 49.3% сравнений, без неё в 34.6%. Веса YuE2 открыты на Hugging Face под некоммерческой лицензией CC BY-NC 4.0. Код инференса и скилл yue2-music для LLM-агентов опубликованы на GitHub. Создать песню с помощью YuE2 без установки можно в бесплатном веб-демо. #Stateoftheart

Недавно моя младшая дочь окончила университет в Германии. Графический дизайн, диплом на руках, портфолио готово – а постоянную работу найти не может уже несколько месяцев. И дело не в том, что она плохой дизайнер (по мне – классный, хотя как отец я не объективен). Дело в том, что рынок начинающих дизайнеров сейчас – это мясорубка. Как и рынки начинающих редакторов, аналитиков, юристов и т. п. Компании, которые раньше брали джуниора на рутину – сделать баннер, свести макет, накидать вариантов лого – теперь просто открывают Midjourney или ChatGPT и получают результат за десять минут. Джуниорская работа схлопывается быстрее, чем джуны успевают её найти. Я говорю ей об этом постоянно: Аня, научись пользоваться ИИ, встрой его в свою работу, стань дизайнером, который управляет машиной, а не тем, кого машина заменяет. И каждый раз натыкаюсь на стену. Дочь злится. Для неё ИИ – не инструмент, а враг, отнявший будущее, о котором она мечтала. Поэтому она демонстративно не хочет с ним соприкасаться. Я её понимаю. И мне от этого не легче, потому что я вижу, куда глобально идёт дело, а она – пока нет. У меня есть гипотеза, что ближайшие 2-3 года станут роковой развилкой для всех участников рынка труда, то есть – всего человечества. Небольшая часть – процентов десять, может, меньше – наденет на себя, условно говоря, экзоскелет из ИИ-навыков и вырвется вперёд по деньгам, карьере, возможностям. Остальные либо не успеют сориентироваться, либо просто не захотят – и через пару лет обнаружат себя провожающими глазами поезд, в который уже не запрыгнуть. Это не алармизм ради красного словца. Вакансии, где нужны ИИ-навыки, растут на 69% в год – против 9% у рынка труда в целом. Разница почти в восемь раз. Премия за ИИ-компетенции, по данным PwC, добралась до 62%, в 2024-м – 25%. Разрыв не просто есть, он ускоряется на глазах. И даже один освоенный навык работы с ИИ добавляет изрядную прибавку к доходу. Есть ещё один пикантный момент: свежий опрос в США и Британии показал, что быстрее всех осваивают ИИ те, кто и так уже наверху – старшие, опытные, высокооплачиваемые. У них есть доступ к платным инструментам и время на эксперименты. А те, кто внизу, наоборот, либо предоставлены сами себе, либо вообще отрезаны от возможностей. То есть ИИ не создаёт новое неравенство с нуля – он бетонирует то, что уже было. Профессор Гарварда Карим Лакхани сформулировал это жёстко: “ИИ не заменит людей, но люди с ИИ заменят людей без ИИ”. Звучит как банальность, пока не столкнёшься с этим сам или твоя дочь, которая в поисках работы рассылает резюме и получает тишину в ответ. Я не знаю, как убедить человека начать осваивать инструмент, который он воспринимает как источник своей боли. Рациональные аргументы здесь разбиваются о стену. Но развилка от этого никуда не девается. И вопрос, который я всё чаще задаю своим знакомым и сотрудникам, сводится к простой мысли – ты уже наращиваешь ИИ-экзоскелет или споришь с поездом, которому до тебя нет дела и который тебе скоро будет не догнать?

VoiceChat-TTS: A Low-Latency Continuous Speech Synthesis Model for Interactive Agents https://arxiv.org/html/2608.13831v1

VoiceChat-TTS is driven directly by LLM text-token streams, supports explicit interruption via control tokens, and produces silence when no textual input is available.

Для dual streams добавили просто токен BOS и interruption token. Architecture: 1. character-aware subword tokenizer - усредненной по буковкам чтобы легче работать с новыми словами 2. MoGH - mixture of Gaussian heads; iteratively unmask RVG token - чтобы не иметь авторегрессия в depth decoder 3. gated fusion mechanism between text and acoustic embs - чтобы было легче обучать две модальности вместе —— New metrics: • IOR@320ms (Interruption Obey Rate at 320ms) — % of cases where active speech stops within 320ms of the interruption signal • Mean stop latency (FDB-v1.5-compatible) — time from interruption onset to speech actually stopping, pooled from overlap intervals • Leakage@1s — how much assistant speech is still detected in the first second after interruption • AI-CER (After-Interruption CER) — CER of the next assistant turn after an interruption, testing whether the model can recover cleanly without resetting its KV cache  #grokaem_papers #grokaem_audio #dual_stream

Друзья, по нейросетям положняк такой: - самая мощная модель для кода — opus 5.5 от Anthropic, она читает-пишет код сильно быстрее и качественнее чем OpenAI, а еще подписки хватает на больше - при этом, computer use в Codex все еще на голову лучше чем в Claude, оно справляется в интернете почти со всем — регистрации, настройки админок, заказы; я перестал страдать про плохие интерфейсы в вебе — я их больше не вижу! и общается она приятнее Главная интрига: представит ли OpenAI завтра, на своей ежегодной конференции Devdays, новую модель для программирования, сильнее opus 5.5 или нет. Несколько недель назад казалось, что у Anthropic серьезные проблемы с серверными мощностями, а у OpenAI компьют практически неограниченный, но вот сегодня с opus 5.5 уже Claude всем хватает, а OpenAI не дает купить тарифный план за 200 долларов (20х объема от базового тарифа) новым пользователям. На рынке ИИ-ассистентов уже больше сотни игроков, многие мои знакомые в США пользуются Instinct (все общение через iMessage и смс), а рекламой Muse от Меты (Фейсбука) увешано все нью-йоркское метро. Ещё вся тусовка обсуждает, что движение за ограничение ИИ по составу участников совпадет с друзьями проститутки-и-дата-сайнтистки Aella, но я тут недавно узнал, что канал читает моя старшая дочка и ее друзья, так что не буду пересказывать.

#Нейропрожарка ТИЗЕР: Начало Сингулярности Автор сценария: Александр Петров Исполнитель (AI Director): Ник Черненко В лучшем качестве: https://www.youtube.com/watch?v=haq8sfgv0bI Бюджет: $3000 Срок реализации: ~6 месяцев от постановки ТЗ Данный тизер сделан к ещё несуществующему фантастическому сериалу о том, как логарифмическая кривая развития технологий изменит наш мир: быстро, беспощадно, радикально. Получается так, что примеряться к продакшену стало относительно недорого (и становится все дешевле), именно в формате тизера. Не имея по сути ничего кроме пока незаконченного черновика сценария. Я даже не исключаю, что весь сериал будет выгоднее вскоре сгенерировать. Как это делалось: Генераторы изображений: Midjourney, Gpt-image 2, Nano banana pro. Локальные модели: Flux-2, qwen. Так же различные воркфлоу на уровне: img_2_depth map, depth map_2_image, Flux-Upscale (перерисовывает изображение, по факту увеличивается и разрешение изображения и его детализация, фоторильность), различные Lora. Из видео-генераторов Seedance и Kling. В Клинге из интересного это использование тогда еще нового Multi-shot. Это особенно помогло при генерации видео сразу с речью (а значит консистентный голос персонажа) в разных сценах/локациях. При разных генерациях одного персонажа с одним и тем же промтом, голос выходил все равно слегка разным. И мультишотом это решилось. Часть start-фреймов дорабатывалась локально. Когда нужно было добавить крови или сделать что-то, что цензура не позволяла. Некоторые задачи, для соблюдения точности концепта требовали более сложных решений. Например, кадр с подлодкой требовал создания 3D модели подлодки, чтобы она соответствовала замыслу. Из интересных особенностей, путем проб и ошибок вышло следующее. Если загружать clay-рендер в банану, результат выходил хуже, чем если делать во флюксе из карты глубины в картинку. Так же, никто из видео-генераторов не справился с невидимостью. Поэтому тут еще в Kling О3 был получен из кадра с останавливающийся подлодкой пустой плейт. И далее уже потом тонна композа с масками, доп. эффектами и тд. По этой же причине, девушка в лесу, которая проявляется как голограмма, генерировалась на зеленке, а затем кеилась. Кадр с вываливающимся кубом из портала, там портал тоже делался руками, потому что все генерации портала не соответствовали замыслу концепта. В целом было довольно много композа, создания 3D моделей и прочих ухищрений. Конечно же создание лор для флюска и листов персонажей для бананы. А далее монтаж, цветкор, добавление пылинок, бликов и т.д. И Саунд-дизайн. Вот такой получился симбиоз локальных моделей, серверных решений, 3D, композа и VFX. @cgevent