В 100 раз эффективнее ARM: потоковый процессор Electron E1 Про бутылочное горлышко архитектуры фон Неймана заговорили ещё в 1977 году, но настоящей проблемой на аппаратном уровне оно стало только сейчас, с бумом больших языковых моделей. Каждое извлечение инструкции из памяти, декодирование и предсказание ветвлений тратит энергию, а данные без конца гоняются между процессором и памятью. Стартап Efficient Computer зашёл с другого конца и сделал процессор Electron E1, где программа распределена не во времени, а по поверхности чипа, от одной плитки к другой. На типичных embedded-задачах вроде свёрток в нейросетях он выходит в 10-100 раз эффективнее ARM. При этом похожую потоковую архитектуру пробовали и Google, и Amazon, и IBM, только универсальный процессор из неё сделать не смогли, упёршись в одно ограничение. Разберёмся, во что упёрлись все, кроме команды E1.

⚡ Как ускорить LLM на длинном контексте На AI RnD Day Никита Арсенин разобрал альтернативы классическому механизму внимания и показал результаты экспериментов команды. Он рассказал, как современные LLM избавляются от главного ограничения обычного attention — квадратичной зависимости стоимости от длины контекста, и почему в новых моделях всё чаще появляются гибрные подходы. 📌 TLDR Ускорять внимание можно двумя способами: выбирать из контекста только нужные токены или сжимать историю в состояние фиксированного размера. Первый подход сокращает дорогую агрегацию, второй убирает растущий KV-кеш. Но у обоих есть ограничения по доступу к деталям, поэтому их комбинируют с полным вниманием. В экспериментах команды sparse attention дал ускорение генерации в 4,8 раза на длинном контексте, а гибрид GDN + Attention Residuals — отдельно +6,2 п. п. на MMLU. 🔎 Sparse attention: сначала найти, потом прочитать В классическом трансформере query сравнивается со всеми keys, затем модель агрегирует соответствующие values. А в показанной схеме разреженного внимания дешёвый индексатор просматривает контекст и выбирает top-k позиций. Дорогая агрегация выполняется только по ним. Для последовательности длины L её стоимость снижается с квадратичной O(L²) до O(Lk). Но поиск не бесплатный: в этой схеме индексатор всё ещё даёт квадратичный член. Выигрыш в том, что он заметно дешевле полного внимания. 🧠 Linear attention Отдельные key/value всех прошлых токенов не хранятся. Они последовательно обновляют матрицу состояния S. В простейшей схеме со слайда: Sₜ = Sₜ₋₁ + vₜkₜᵀ При фиксированных размерностях состояния память и стоимость одного рекуррентного шага не растут с длиной контекста: O(1) вместо O(L). Суммарная работа механизма внимания для L шагов становится O(L), а не O(L²). Обратная сторона медали — история сжата. Нельзя просто обратиться к отдельному старому KV, как в full attention. Поэтому гибрид может чередовать, например, три линейных блока с одним полным: большую часть слоёв сделать дешевле, но оставить доступ ко всем позициям контекста. 🛠 Инфраструктура Наивные реализации DSA и линейного внимания поверх LLaMA-3.1-8B-Instruct показали ускорение в 2,6–3,75 раза на длинном контексте. А при сравнении PyTorch-реализации Gated DeltaNet с FlashAttention-3 линейное внимание стало быстрее лишь примерно на 200K токенов. Наша команда не ограничилась заменой слоя: адаптировала cuDNN-ядра для DSA/NSA, написала Triton-ядра для DSA и DSA + sliding window attention, оптимизировала линейные механизмы и Attention Residuals. Последние меняют смешивание выходов по глубине сети, а не отбор токенов контекста. 📊 Что получилось Модель с разреженным вниманием MSA справилась с генерацией примерно за 1,9 секунды, а базовый вариант с обычным вниманием MQA — за 9,2 секунды. Ускорение — в 4,8 раза. В отдельном эксперименте гибрид GDN + Attention Residuals обошёл full-attention baseline на 6,2 п. п. по усреднённому MMLU после примерно 110В обучающих токенов. Важно отметить, что это результаты конкретных конфигураций, а не гарантия для любой LLM. 🔗 Более подробно — в презентации Никиты (в комментариях файлом) и в записи выступления (тайминг: 1:07:00). #llm #attention #conference #paperwatch

#QI21 github.com/wildminder/awesome-qwen-image - подборка ресурсов по Qwen Image: модели, #LoRA #workflow , инструменты #list huggingface.co/Viggle/Qwen-Image-2.1-viggle-turbo - обновилась тeрболора - v0.2, #T2I и эдит в 6 шагов вместо 40, ~5x быстрее #optimization civitai.red/models/2790570/casual-snapshot-realism - #LoRA #realism под естественные фото. Есть версия и для #Krea2 civitai.red/models/2960750/qwen-image-21-character-design-sheet-maker-workflow - обновился #workflow персонажного листа #charactersheet v2.0 под видеогенерацию (Seedance 2.5/H3): только нужное для анимации — мимика, 3 ракурса, крупные планы снаряжения. Документация по промптингу и типовым ошибкам внутри MAX

WanPE от Wan Team Улучшайзер промптов на 397B параметров. Короткий запрос превращает в режиссерский покадровый сценарий: движения, траектории камеры, свет, звук по всем сценам. Обучили на 1.05 млн реальных видео • покадровая раскадровка уровня режиссера • держит исходный замысел пользователя через SC-GRPO - семантика не теряется между кадрами • для видео 5-30 секунд • переносится на другие генераторы - LTX-2.5 и MiniMax-H3 • +50.9 балла к предпочтениям людей на 30-секундных видео с Wan3.0 • +10.7-18.8 балла на 5-15 секундах • обходит коммерческие решения на 5-15 секундах, конкурентен Seedance 2.5 на 30 Опенсорс вероятно, ждем #prompting #PE #directing MAX

✅KEISOSUBBOTA оффтоп: совет, да любовь, молодожёны!❤️‍🔥 Кейсосуббота — это рубрика, где мы делимся своими работами и взаимодействиями с ИИ. Это может быть что угодно: -картинки -анимации -текст -код -боты -песни -видео и т.д. ❤️ Не забывайте оставлять обратную связь на работы других людей. Это очень ценно Давайте попробуем меньше разводить флуд в комментариях. Для разных вопросов у нас есть чат — там такое. А здесь давайте по делу. Читайте ниже пояснение 👇А также читать пояснения и правила по ссылке ниже. ❗️ВАЖНО! Прочитайте по ссылке ниже пояснения: Ссылка на пояснение для тех, кто не участвовал ни разу в этой рубрике. Или для тех кто не помнит, какие есть правила. + ПУБЛИКАЦИИ ОТ ИМЕНИ КАНАЛОВ И ЕСЛИ У ВАС НЕТ НИКА В ТЕЛЕГРАМ— НЕ ПРОХОДЯТ СЕЙЧАС МОДЕРАЦИЮ ТАКЖЕ - ЕСЛИ НЕ ПОЛУЧАЕТСЯ ОСТАВИТЬ КОММЕНТАРИЙ (БОТ БЛОЧИТ ВАС) -- читайте здесь 〰️Пояснения нужны для того, чтобы потом не удивлялись почему удалён тот или иной материал. Ставим реакцию🔥 этому посту и далее скидываем кейс (с использованием нейронок/ИИ/AI/whatever) в комменты ниже👇 У кого есть то, чем хочется похвастаться?🥳🥳🥳 три... два... раз.. 🚀Поехали #keisosubbota@serge_ai

«Плод того же отравленного дерева»: Sony и Universal снова подали в суд на ИИ-генератор Suno за кражу музыки Sony Music и Universal Music Group снова подали в суд на музыкальный ИИ-сервис Suno. Компании утверждают, что новая модель Suno v6 обучалась на результатах прежних моделей, созданных с использованием нелицензионной музыки с YouTube и других источников. По мнению истцов, это не новое обучение, а попытка «отмыть» украденные данные через цепочку моделей и их ответов. Sony также заявила, что Suno применяла дистилляцию, чтобы v6 воспроизводила результаты старых моделей. У Suno по-прежнему нет лицензий от Sony и Universal. #sony #universalmusicgroup #ии #suno 📎Подробнее 🔖 3DNews в TG | MAX | VK

Рубрика крутые подписчики. Забрал из коментов пост от Kenan HKS Ну чтож. Добрался я до ACE Studio. Поставил на свою 5080 RTX 16GB large модель 2 гига отлетает в рам но норм полет. В Пинокио ужасные результаты но вот с подключением Комфи картина радикально меняется. Первое что понял. Это конкурент Суно? Да. НО! если знаешь музыку. К счастье музыкальное образование и постоянная практика в написании нот помогает тут держаться на плаву. Главный плюс нет цензуры и модель не играется в коммерческое усреднение. Однако для почти каждого трека нужен свой подход. Но это именно и даст вам результат если вы действительно хотите получить кастомный трек. Однако тут надо по честному прямая генерация со слов как по мне дает хоть и при нормально настройке что то сносное но в основном это почти одинаковые квадраты зацикленные. Развитую тему вам придется писать самим. И тут уже я использую такой прием. Каждая дорожка должна быть сгенерированна отдельно и потом уже в любом удобном для вас DAW сводиться, редактироваться подчищаться и прочее. Фактически у вас на руках кастомный генератор VST на компе бесплатный. (Ну как бесплатный на видеокарту пришлось выложиться, но буду себя утешать что бесплатно теперь все 😁 ) По итогу решился вот сделать кавер на Diablo 2 - Rogue Encampment но в стиле Иранской фол психоделики. Для этого вам надо в начале сам трек переложить в такую стилистику тобиш найти оригинальные ноты, порепетировать, написать партии для разных инструментов, подготовить транспозиции, вынести исполнения в гармонии нужные и потом уже готовые миди сохранить в WAV формат и просить генерить каждую дорожку отдельно. Тут важно надо долго и муторно работать с промптами и пайплайнами чтобы получить одно "НУЖНО ИМЕННО НАЛОЖИТЬ ИНСТРУМЕНТ НА ДОРОЖКУ" не переделывать ее, не додумывать, не дорисовывать. Наверное одна из важных подсказок для промптов это "ЗАПИСЬ В ЛИНИЮ" так обычно на студиях будут говорить когда берут инструмент и записывают именно его через пульт на носитель как роу файл для дальнейшей обработки. А дальше уже как я и сказал дорога ваша в DAW я вот юзаю REASON studio. Небольшой фрагмент с результатом прилагаю. ———————————— https://acestudio.ai/ @cgevent

Люди только успели отменить свои 8 20х подписок на Клод в связи с выходом AGI, то есть Астры, а тут снова нужно отменять свои 6 Кодекс 20х подписок и переходить обратно на Опус. По моим задачам, он рвет любую из существующих моделей включая Астру и Фейбл, стоит значительно дешевле и просто отрыв башки в дизайне и видео. Напоминаю, что лабы сегодня имеют модели как минимум на одно полное поколение круче внутри (то есть Fable 6 / GPT 7) и имеют кейденс выпуска новой минорной версии (5.x) <2 месяцев и мажорной версии <6 месяцев и эти сроки будут сжиматься пока мы не дойдет до обновления весов в реальном времени, или continual learning в простонародии.