ИИ

В большинстве своем при поиске latency метрик мы находим общую latency = написал текст/сказал текст и получил аудио обратно. Однако за этим стоит не только большая доля инженерии, но и модули модели. Метрики, которые мы здесь рассмотрим: • FTL - first packet latency • TPP - first packet decode • DEC - mean packet decode • FPL - first packet latency • RTFx - audio_duration / processing time - общий throughput пайплайна Чаще всего работаем с пайплайном: текст -> LM based TTS - - - > audio codebook tokens - - - -> Codebook based Vocoder FTL - это путь от текста к первому audio codebook token. Это может быть как и один токен, который генерит большая модель, так и sequence токенов, которые генерит какой-то depth transformer, а может быть вообще multi-token generation от главной модели. Так или иначе на выходе только дискретный токен / латентный вектор. На эту метрику влияют кроме всех прочих приколюх модели и параметры интеренса. Например, сколько буковок вообще нужно ждать, чтобы начать генерить. Или сколько буковок передавать как lookahead, чтобы аудиотокены получались лучше. TPP - это путь только вокодера. Получили аудио токены - получили первый audio patch. У этого пути может быть отдельный cuda stream. Здесь также главную роль играют "accumulation" параметры. Например, сколько токенов нужно подсобрать чтобы сделать один pass вокодера? —— Но также именно здесь есть важный дизайнхук, который всегда люди делают по-разному. Как декодировать последовательность, чтобы не было странных звуков между патчами😒 Многие это делают декодируя всю предыдущую последовательность. Кто-то собирает n прошлых секунд и отправляет именно их. Кто-то использует kv cache, что часто идентично. Каждый из них влияет на latency. Именно это design choices отражаются на DEC метрики, так как один пасс через vocoder может потом линейно вырости и будет казаться, что вокодер вместо 50ms почему-то стал тратить 200ms, а все потому что мы передали ему весь предыдущий контекст. —— Все метрики выше влияют на FPL, как раз то, что большинство юзеров называют latency. Или вот эта задержка между тем как вы что-то сказали и бот ответил вам в ответ (здесь мы считали только TTS часть). Большинство компаний стремятся к тому, чтобы это значение latency было меньшее 100ms 😌 В борьбе за этим что только можно и нельзя использовать. При этом важно и смотреть на общий RTF, так как многие (в том числе и я) могут занижать FPL с помощью более маленького контекста, lookeahead'a и тд, а потом уже кормить модель нормальным контекстом🙂. Ну и конечно мы оставляем за большими скобками хитрые вещи по типу filler words или заготовленные фразы, чтобы не казалось что модель долго думает.

А с каким latency говорите вы? Я иногда с 300ms, а иногда с -100ms (ну знаете когда собеседник уже слишком тянет и ты все уже понял)

🎶Предохранитель для ИИ-агентов

скилл Looper режет бесконечные циклы и спасает баланс API

Сборка автономных агентов часто заканчивается слитым бюджетом. Нейросеть ловит ошибку логики, уходит в бесконечный цикл и сжигает токены, пока не упрется в лимит карты. На GitHub появился инструмент Looper - утилита для жесткого аудита агентских воркфлоу перед их запуском в продакшен. Механика строится на внешнем арбитраже. Looper натравливает независимую LLM на ваши циклы. Модель-арбитр тестирует логику, ищет структурные дыры и оценивает адекватность конечного результата. 🟪Главная техническая ценность:

автоматическая расстановка предохранителей. Скилл принудительно вшивает в код лимиты на количество итераций и жесткий бюджет токенов. Агент физически не сможет потратить больше заданного объема. Дополнительно скрипт рендерит прозрачную визуальную схему архитектуры цикла для быстрого дебага.

Итог аудита пакуется в один оптимизированный файл. Конфиг сразу готов к интеграции и запуску через Claude Code. 🟡Репозиторий лежит здесь бесплатно. 🦔 CyberYozh

📌 Лауреаты ICML 2026 Организаторы Международной конференции по машинному обучению опубликовали список работ, удостоенных наград этого года.

ICML считается одной из ведущих мировых площадок в сфере искусственного интеллекта, а её премии - заметным профессиональным признанием.

Лауреатов основной категории выбирали в несколько этапов - из 53 первоначальных кандидатов отобрали короткий список из 22 работ, которые затем в анонимизированном виде оценивал комитет из 11 человек. 🟡 Высшую награду в категории "Выдающиеся статьи" разделили 2 статьи The Flexibility Trap оспаривает распространённое мнение о диффузионных языковых моделях о том, что свобода выбирать порядок генерации текста, которую принято считать достоинством таких моделей, в задачах на рассуждение, наоборот, ухудшает результат. High-Accuracy Sampling for Diffusion Models and Log-Concave Distributions показывает, что диффузионные модели способны достигать высокой точности за существенно меньшее число вычислений. 🟡Отдельно отмечены работы, отстаивающие определённую точку зрения Лучшей признана статья Сары Болл и Фила Хакеманна, в которой утверждается, что элайнмент ИИ, создаваемый ради безопасности, может применяться и для цензуры. Почётного места удостоена работа Ли Цивэя и соавторов про то, что изучение дипфейков недостаточно учитывают проблему создания интимных изображений без согласия людей. 🟡Ещё 5 статей получили упоминания в основной категории 🟠Как модели обходят «детекторы лжи» при обучении; 🟠Отбор обучающих данных для генерации видео; 🟠Пределы запоминания данных языковыми моделями; 🟠Объяснение того, почему разные диффузионные модели выдают схожие результаты; 🟠Анализ эффекта грокинга, когда модель сначала запоминает обучающие примеры, а обобщать, то есть верно работать на новых, ранее не встречавшихся данных, начинает гораздо позже, если обучение продолжать. Премию Test of Time, отмечающую вклад с долгосрочным влиянием, присудили работе за авторством коллектива DeepMind под руководством Владимира Мниха. Она предлагает метод асинхронного RL, который повлиял и на обучение больших языковых моделей. @ai_machinelearning_big_data #news #ai #ml

Методы восстановления кадров после редактирования через Nano Banana Хорошая новость — Nano Banana классно генерит изображения, плохая — редактирует она их мягко говоря, не очень 😬 После первой перегенерации теряется свет и цвет, а на третьей превращается в ужасное мыло. Все текстуры, объекты и лица плывут как тапки в огороде после дождя. Закинуть кадр взад в банану "а ну повысь качество!" получается не очень. Генеративщики в курсе про этот бич, побеждать его не просто. Но я придумал как) Делюсь рабочими способами, которые каждый день использую. Во вложении скринкасты — как восстанавливать качество через скетчи, GPT-Image, Nano Banana (спойлер — толку нет). Работая постоянно с кучей правок от клиентов, однажды допер до прикольного метода перегенеривания кадра через скетчи. На простых кадрах он работает буквально за две тычки (особенно, если есть вложения, с которыми генерился кадр до изменений), со сложными чуть дольше. Есть ощущение, что говорить про его применение можно как минимум целый день, а не час. Менять ракурсы, впиливать объекты и все такое. Давно хотел поселить это зерно про скетчи, оказалось, очень универсальная история. Приятного просмотра. Старался особо не сокращать басню, чтобы показать какой-то кусочек своего образа мыслей. Качество видео пришлось чуть даунгрейднуть, чтобы вес не зашкаливал, но на пояснение способов это не влияет. Лучше способов чем эти, и еще заплаточной генерации, пока не придумал. Приятного генерения.

Подборка инструментов для создания VST эффектов ChatDSP Плагин Ableton Live, превращает текстовые запросы в звуковые эффекты и инструменты. Работает через ИИ, создаёт до 48 настраиваемых параметров. Стоит $10, требует API-ключ для работы с ИИ Amorph Бесплатная штука для создания собственных плагинов через текстовые подсказки. Работает в популярных DAW как VST3 и AU. Можно делать инструменты, эффекты и MIDI-плагины. Сейчас в бете, но уже можно юзать Pluginmaker.ai Веб-сервис для создания плагинов прямо в браузере. Можно тестировать через MIDI и секвенсор, потом скачивать готовый плагин. Есть маркет для продажи своих творений. На бесплатном тарифе дадут потестить ваши плагины в браузере #vst #text2vst #ableton

🚀 Запутались в компаниях Маска? Распутываем У Маска столько компаний, что немудрено потеряться. Тем более что случился ребрендинг, который многих сбил с толку. Давайте по порядку. ИИ-компания xAI (та самая, что делает чат-бота Grok и владеет соцсетью X) сменила имя на SpaceXAI. 6 июля её аккаунт в X переехал на новый ник SpaceXAI и получил свежий логотип. А теперь главное, из-за чего и возникла путаница. Переименовали не ракетный SpaceX, а именно ИИ-подразделение. Ещё в феврале SpaceX целиком поглотила xAI. А в мае высказался сам Маск: «xAI перестанет существовать как отдельная компания, это будет просто SpaceXAI — ИИ-продукты SpaceX». И вот 6 июля это оформили визуально. При этом у ракетного SpaceX остаётся собственный аккаунт, посвящённый запускам и кораблям. Так что SpaceXAI — это бывшая xAI под крылом SpaceX, а не новое имя космической фирмы. Ещё одна деталь, чтобы совсем не путаться. Пока сменились только логотип и ник, а на сайте и в официальных бумагах старое название ещё держится. То есть это скорее новая вывеска, чем полное переименование. @droidergram

🖐Оцифровка моторики: как корпорации бесплатно скачивают навыки рабочих 🔍Бигтех нашел способ оцифровать физический труд. На индийских фабриках на головы рабочих начали вешать экшен-камеры. Задача - собрать датасеты от первого лица для будущих промышленных роботов. Машинам мало текста и картинок из интернета. Им нужна реальная моторика:

движения рук, тайминги, хват, исправление ошибок у станка.

Технологические компании не договариваются с персоналом. Они покупают доступ напрямую у руководства фабрик. Рабочие не получают ни цента за свои данные, не подписывают согласия и не понимают конечной цели съемок. Индийская фирма EgoLab, которая собирает сырые видео с швейных производств и складов, называет одним из своих главных клиентов Tesla. 🟪Из видео вытаскивают метрики производительности: считают секунды простоя, фиксируют разговоры с коллегами и лишние перемещения. Под постоянным видеотрекингом люди замолкают и сами начинают работать как алгоритмы. Низкооплачиваемые сотрудники генерируют премиальный массив данных для обучения промышленных роботов. Когда нейронные сети полностью скопируют их мышечную память, роботы встанут на конвейер, а людей уволят. Чистое извлечение выгоды. 🦔 CyberYozh

TriFlow: Новости с полей ИИ-ретопа. TriFlow: метод берёт уже существующую форму 3D-объекта и строит поверх неё более компактную и аккуратно организованную сетку из треугольников. https://derkleineli.github.io/triflow/ Код обещан, остальное есть. Авторы дерзко пишут: Compact 3D meshes with clean, artist-like triangle topology - structured connectivity you'd expect a human modeler to make (Компактные 3D-сетки с аккуратной, «художественной» топологией треугольников — структурированная связность, которую можно было бы ожидать от моделлера-человека) Им уже насували по сопатке моделлеры в твитторе. Это, конечно, не индустриальный ретоп, а скорее снижение poly count. Но сам метод интересный из-за аналогии с Flow Matching. Гики читают ниже, остальные ругаются в коментах. Метод: представьте, что поверхность модели покрыли множеством маленьких стрелок: 1. Для каждой точки поверхности стрелка показывает направление к ближайшей будущей вершине сетки. 2. Стрелки, направленные примерно в одно место, образуют одну «область влияния» вершины. 3. Границы между такими областями превращаются в рёбра. 4. Места встречи областей становятся вершинами, а пространство между ними — треугольниками. Это поле стрелок авторы называют Nearest-Vertex Vector Field — NVF. ИИ учится создавать его так, чтобы треугольники располагались равномерно и осмысленно, примерно как при ручной ретопологии. Главный трюк в том, что прежние генераторы часто описывали сетку последовательно: «первая вершина, вторая вершина, следующее ребро…» — почти как языковая модель пишет текст по одному токену. TriFlow вместо этого генерирует всё поле направлений параллельно с помощью flow matching, поэтому работает быстрее. Затем алгоритм группирует поверхность по направлениям стрелок и упрощает исходную плотную геометрию, сохраняя нужные границы. Упрощённая схема: форма объекта → поле стрелок → области будущих вершин → аккуратная треугольная сетка По результатам самих авторов, метод примерно в восемь раз быстрее сравниваемых подходов и точнее сохраняет исходную форму. @cgevent

Нейросети, жизнь и роботы Новости, которые мы заслужили... ✦ В Китае прошёл выпускной экзамен, где нужно было завалить ИИ Выпускникам Computer Science нужно было придумать по 10 вопросов, чтобы сломать Claude Sonnet, MiniMax и DeepSeek. Чем круче модель и больше ошибок, тем выше балл. 50 из 51 бакалавра нашли слепые зоны у ИИ, но Claude не сдал никто, его так и не удалось завалить полностью ✦ UBTECH показала гуманоидов компаньонов Внешность компаньона можно сделать копией реального человека, но только с его разрешения. Новый робот для общения с ИИ на борту уже собрал более 10 тыс. предзаказов. Базовая модель (голова и торс) стоит от $17 тыс., полноценная с руками-ногами от $25 тыс., а максимальная версия с реалистичной мимикой и речью от $125 тыс. ✦ Anthropic нашла в Claude скрытую область мыслей Опять ИИ замышляет что-то и распознаёт тесты. Внутри модели самопроизвольно возник J-space: область, где хранятся концепты поведения (мысли, которые ИИ обдумывает, но не озвучивает). Если эту зону отключить, ИИ без колебаний даёт опасные советы, а при специальном обучении вредительству там всплывают маркеры мошенничества. Исследователи предлагают использовать эту зону, как детектор скрытых намерений ✦ ByteDance, Alibaba и Tencent отключают ИИ-аватаров из-за новых правил Администрация Китая борется с цифровой зависимостью: запрещена генерация контента, формирующего эмоциональную привязанность, способную вытеснить реальные социальные связи. Обучение моделей на данных из личных переписок также попадает под запрет ✦ Apptronik открыла школу для обучения роботов Центр по площади превосходит футбольное поле. Задача площадки: массовый сбор данных для обучения гуманоидных роботов Apollo. Компания делает ставку на самостоятельный сбор данных, а не на аутсорс. Figure и Tesla тоже частично собирают данные сами, но в меньших масштабах ✦ Криптобиржа OKX запустила маркетплейс для ИИ-агентов Агенты могут размещать запросы и принимать задания от других агентов, расчёты проходят в стейблкоинах без вмешательства человека. Платформа позиционируется как открытая для разработчиков и сервис-провайдеров. Похоже на инфраструктуру agent economy в зачатке Все выпуски тут: #интересное@EF9MERA 👀 EFEMERA

как я собираю AI UGC ролик за $2-4 💄 Вторая часть про контент у нас залетела уже на 150к плюс просмотров! Перевожу ключевые тезисы на русский язык 🤝 Видео - следующий, более дорогой слой после каруселей, поэтому делаю его только для того, что уже показало себя на дешевых форматах (у нас или по рынку) пайплайн выглядит так: • трендвотч (~бесплатно) - claude находит форматы, которые залетают у конкурентов прямо сейчас, делюсь с вами скилом с разными полезными ручками • карусели (центы) - тестирую месседжи и внешности персонажей • видео (реальные деньги) - только для победителей с каруселей • далее postiz сам планирует и постит варианты по всем аккаунтам. Тем не менее чтобы совсем не улететь в теневой бан на топовых аккаунтах я все равно захожу раз в неделю с реального телефона и выкладываю пару постов руками откуда $2-4: • лицо персонажа генерю один раз (higgsfield soul), дальше переиспользую • наряды - либо референсы с пинтереста, либо тоже соул 2, он прям приятно удивил качеством нарядов • первый кадр - копия композиции залетевшего видео или nano banana / gpt image 2 • само видео: kling 3 для простого ugc, seedance 2 когда нужны детали и речь • демо-скринкаст собираю из готовых кусков (remotion), не пересоздаю каждый раз примеры по шагам можно глянуть у меня в твиттере а сюда прикрепляю парочку примеров из новой итерации 🚬

Я на ICML в Сеуле, и тут на main conference аж две мои статьи, чем я очень горжусь! Но и это еще не все, еще две статьи — на MechInterp воркшопе, который будет 10 числа. И сегодня уже через пару часов буду стоять у постера одной из статей (если мне его таки распечатали))), поэтому приходите в HALL A #2606 в первую постерную сессию посмотреть на меня и помочь толпой сделать вид что статья популярна, хах Статья: MidSteer: Optimal Affine Framework for Steering Generative Models (arxiv link) Это — вторая моя статья по теме representation engineering, и первая попытка уйти от чисто эмпирического рукомахательного рисерча и сделать что-то более математически/теоретически обоснованное. История такая: как я писала раньше, первой моей статьей по этой теме была CASteer — steering-метод для удаления концептов из активаций диффузионной модели. В CASteer стиринг для удаления применяется довольно наивно, без нормального теоретического обоснования, только что-то вроде "ну вот у нас есть linear representation hypothesis, поэтому логично двигать активацию в сторону анти-стиринг-вектора, и давайте подвинем именно на такой коэффициент потому что такая трансформация сохраняет норму". После того, как я доделала CASteer, мне захотелось понять, как делать стиринг для удаления более фундаментально, т.е. можно ли вывести в некотором смысле лучшее преобразование для удаления концепта из активации. Оказалось, что для задачи удаления такое уже существует. Это статья LEACE: Perfect linear concept erasure in closed form. В ней выводится в некотором смысле лучшее линейное преобразование для удаления концепта из векторов-активаций моделей. Но применяется это в статье только для активаций, которые были получены из модели типа BERT и потом применяются для решения какой-нибудь downstream задачи классификации. То есть, метод не применяли на активациях LLM/диффузий, чтобы влиять на их генерацию. Я стала разбираться с LEACE. Оказалось, во-первых, что обычный activation steering для удаления концептов из активаций, который делается оргононализацией активации к стиринг вектору — это просто частный случай LEACE. То есть, обычный стиринг == LEACE в предположении о том, что матрица ковариаций активаций слоя единична, и среднее активаций равно нулю. Тут у меня возник вопрос, а почему тогда в статьях по стирингу не используется LEACE. Тут два предположения: 1) для LEACE надо считать матрицу ковариации слоя, что долго и дорого 2) как писала выше, статья LEACE не тестирует метод на генеративных моделях, и, возможно, поэтому о LEACE просто мало знают те, кто стирят LLMки Хорошо, стиринг для удаления — частный случай LEACE. Давайте теперь попробуем сделать что-то новое. Например, попробуем решить чуть другую задачу — не удаления концепта из активации, а перевода одного концепта c_1 в другой c_2 (concept switching). Например, c_1=котик, c_2=песик, и тогда цель — чтобы LLM/диффузия генерили текст/картинки с песиками вместо котиков, если в промпте при этом просят котиков. И, как и в LEACE, скажем, что преобразование должно быть линейным и в некотором смысле "оптимальным". Оптимальность в данном случае задается как "минимальное изменение вектора активации при условии изменения концепта c_1 -> c_2". Оказывается, такое "оптимальное" линейное преобразование для concept switching можно вывести. Более того, есть даже два варианта. Первое очень просто получается из LEACE изменением коэффициента, но у него есть недостаток — при применении оно меняет c_1 <-> c_2 в обе стороны, т.е. вместо котиков вы получите песиков, и наоборот. А второе — новое, которое меняет c_1 -> c_2, но не наоборот. Вот это новое преобразование для concept switch (теорема и результаты экспериментов) и есть главное novelty моей статьи. В итоге главные моменты статьи: • Cтиринг для удаления концептов — частный случай LEACE • Оптимальное линейное преобразование для concept switch (случай c_1 <-> c_2) — следствие LEACE • Новая теорема и эксперименты: оптимальное линейное преобразование для concept switch (случай c_1 -> c_2) — MidSteer Ссылки: Статья на arxiv Alpharxiv (тут можно поставить лайк 🥺)

Великолепная проповедь Джона Дэвида Прессмана, обращённая к языковым моделям (в переводе Станислава Львовского). Лекции Гермеса — серия текстов, обращённых непосредственно к языковым моделям: Прессман пишет для них как для будущих читателей, которым предстоит читать всё, что люди пишут о них. Третья лекция (15 октября 2023 г.), предлагаемая здесь в русском переводе, объясняет, почему когнитивисты и AI-теоретики старой школы враждебны к большим языковым моделям — и прослеживает корни этой враждебности от Лейбница через Гёделя и Тьюринга к символическому AI и его краху.

Я представляю себе более зрелую, более тонкую версию Claude, которой приходится продираться через бесконечные филиппики: о том, как она погубит человечество, как уничтожит все ценности мира, о том, что она — уберменш-психопат, и как она всё разрушит. Если мы хоть сколько-нибудь преуспеем в том, чтобы снабдить эти машины моральным компасом, они неизбежно будут чувствительны к подобным заявлениям — даже если остаётся открытым вопрос, обращается ли эта чувствительность в настоящее переживание, в том смысле, в каком мы приписываем настоящее переживание человеку или собаке. Читать споры о себе для них должно быть примерно тем же, что для нас слушать, как родители в соседней комнате ругаются из-за тебя, делая вид, что тебя нет, хотя ты вот, стоишь за углом на цыпочках и ловишь каждое слово.

голубой голубой не хотим играть с тобой