ИИ

Asynchronous Reasoning: Training-Free Interactive Thinking LLMs Сегодня поговорим о статье, в написании которой принимали участие инженеры Яндекса. Публикация посвящена асинхронному ризонингу, а в её основе лежит метод, описанный в работе Hogwild! Inference: Parallel LLM Generation via Concurrent Attention, поэтому сперва — кратко о ней. Это тоже статья от Yandex Research, а также от HSE и IST Austria. Авторы поставили перед собой задачу ускорить инференс с помощью параллельной генерации. Для этого ввели понятие Cash Blocks. Есть блок common cash, где находится общий промпт (например, решить какое-либо уравнение), и есть блоки «рабочих» (workers) — других потоков генерации той же LLM, которые выполняют задачу, синхронизируясь через KV-кэш. В статье эти блоки называются Алиса и Боб. Для генерации токена Алисы нужно, чтобы блоки стояли в порядке common-Bob-Alice, а для Боба — common-Alice-Bob. Так каждый «рабочий» может генерировать свои токены, «видя» чужие генерации, и они могут в реальном времени общаться между собой. Для генерации нового токена блоки KV-кэша упорядочиваются по-разному для каждого «рабочего». Сдвиг осуществляется не над всем блоком, а над query-токенами, что снижает вычислительные издержки. Это суть метода, а подробнее о Hogwild! мы писали в этом посте. Идея асинхронного ризонинга немного иная. В Hogwild! разбивали большую цепочку ризонинга на параллельные фрагменты для обработки двумя «рабочими», чтобы добиться некоторого ускорения. При этом Алиса и Боб — почти симметричны, лишь немного отличаются промптами. Однако сами кэш-блоки в теории могут отличаться: один, например, может быть обёрнут в ризонинг-токены, а другой нет. Также не обязательно генерировать по одному токену для каждого «рабочего» за форвард, как это сделано в Hogwild! Из этих предпосылок и рождается идея AsyncReasoning. Суть такова: есть также два потока одной LLM — writer и thinker. Первый генерирует выходные токены, а второй — ризонинг-токены. Благодаря этому появляется возможность генерировать ответ раньше, чем завершился ризонинг. С точки зрения thinker, токены writer — это предыдущий шаг генерации, а writer «живёт» в рамках одной непрерывной генерации. Чтобы сделать этот сетап более интерактивным, — скажем, в случаях, когда thinker надо подольше подумать — используют переключение режимов (mode switching). По сути, это отдельный view, от которого модели задаётся вопрос «Достаточно ли моих текущих измышлений, чтобы написать следующий параграф или формулу?» (Wait, are my current thoughts enough to write the next paragraph or formula?) В зависимости от ответа — да или нет — writer либо включается, либо ждёт дальше. Вопрос задаётся каждые 20 шагов. Замеры в основном проводились на математических датасетах. Кроме того, замеряли delay — суммарную длительность пауз, которые происходят при переводе ответа модели в звук. Благодаря mode switching writer генерирует токены не на каждом форварде, а перевод ответа в звуковое представление позволяет лучше зафиксировать те самые паузы между генерациями. Также измерялось time to first token. Как показали эксперименты, ещё AsyncReasoning помогает повысить безопасность модели. Разбор подготовил ❣ Георгий Якушев Душный NLP

✔️ Alibaba откроет код альтернативы CUDA Полупроводниковое подразделение Alibaba (T-Head) анонсировало открытие исходного кода стека SAIL для фирменных ИИ-ускорителей Zhenwu. Проект анонсировали на Всемирной конференции по ИИ в качестве открытой альтернативы экосистеме Nvidia CUDA. По заявлению T-Head, адаптация SAIL под популярные ML-фреймворки занимает менее 7 дней. Флагманом линейки выступает процессор Zhenwu M890, представленный в мае и спроектированный для работы с ИИ-агентами. Alibaba ранее сообщала об отгрузке более 560 тысяч таких чипов сотням корпоративных клиентов. scmp.com ✔️ Moonshot приостановил оформление подписок на Kimi K3 Стартап временно остановил продажу подписок на модель Kimi K3 из-за нехватки вычислительных мощностей. Действующие пользователи работают без ограничений, доступ новым клиентам откроют по мере масштабирования инфраструктуры. Для балансировки нагрузки на кластеры компания меняет систему монетизации и делит единую подписку на 2 тарифа. В план Kimi Membership входят веб-версия, мобильное приложение и стандартные сценарии использования. Для инженеров вводится Kimi Code Membership - ресурсы этого тарифа выделены только под генерацию и анализ кода. Такое разделение потоков должно стабилизировать работу сервиса. Kimi в сети Х ✔️ ИИ-вендоры всерьез присматриваются к чипам AMD Microsoft расширит использование ускорителей AMD в инфраструктуре Azure. Во второй половине 2026 года компания запустит вычислительную платформу AMD Helios, оптимизированную для крупных моделей. Сатья Наделла объяснил расширение партнерства ценовой политикой Nvidia и конкуренцией со стороны TPU. Параллельно аппаратное обеспечение AMD тестирует Anthropic. По данным SemiAnalysis, AMD присвоила разработчику Claude высший приоритет поддержки наравне с Amazon. Ожидается, что компании официально анонсируют партнерство на конференции Advancing AI после решения проблем с оптимизацией программного стека. microsoft.com ✔️ ИИ спроектировал компоновку невидимого в полете одномоторного дрона Корпус аппарата Phantom Twist в полете вращается со скоростью до 25 оборотов в секунду, делая его почти невидимым за счет эффекта размытия. А процессе создания дрона ИИ сгенерировал 20 тысяч вариантов дизайна и симулировала их работу на фоне реальных пейзажей. Пропеллер и рама Phantom Twist крутятся в противоположных направлениях - в конструкции нет статичных деталей. Аппарат в 10 раз сложнее заметить, чем классический квадрокоптер. Авторы позиционируют устройство как инструмент для мониторинга дикой природы и осмотра инфраструктуры. northwestern.edu ✔️ Нил Бломкамп выпустил короткометражку, полностью сгенерированную в ИИ Известный по "Району №9" режиссер представил 13-минутный научно-фантастический хоррор Nightborne, полностью созданный с помощью видеомодели Seedance 2.0. Сюжет стилизован под документальное кино о военной программе, возвращающей в строй погибших солдат. Бломкамп управлял процессом покадрово, выстраивая сцены через промпты на основе концепт-артов, подготовленных художниками. Для генерации лиц и озвучки студия лицензировала биометрию 32 человек, чтобы избежать проблем с авторскими правами. Режиссёр заявил о планах снять полнометражный ИИ-фильм. Для реализации этих амбиций он уже открыл новую компанию, ориентированную на нейросетевой продакшен, которая придет на смену его классической студии Oats Studios. Neill Blomkamp в сети Х @ai_machinelearning_big_data #news #ai #ml

Маленький каминг-аут Последние месяцы я работаю в новом стартапе, его делает Саша. Вчера мой друг Кирилл выпустил с ней подкаст, можете послушать замечательных людей! Что за стартап? Конечно же, AI stealth neolab, которая занимается фундаментальными LLM исследованиями. До недавнего времени это был настолько стелс режим, что мы даже о существовании компании особо не рассказывали. Сейчас мы все еще немного скрываемся, поэтому много подробностей рассказать не могу. Что я там делаю? Я понемногу сдвигаюсь от продуктовых ролей и перехожу больше в решение разных бизнесовых вопросиков. Я всегда работал в B2B стартапах, поэтому помимо чистой продуктовой работы была большая часть, связанная с продажами, Customer Success, Partnerships и другими темками. Ну а сейчас я прыгнул в этот бассейн с головой. Надеюсь, что через некоторое время смогу рассказать вам что-нибудь еще.

Бен Томсом в своей регулярной колонке разбирает недавний запуск Kimi K3 с точки зрения экономики и отмечает, что теперь можно вернуться к принципам, известным из практики бизнес-курсов — если экономика софтовых сервисов позволяла практически пренебрегать стоимостью дополнительной копии, то у инференса есть ощутимая себестоимость генерации токена и эти расходы на инференс прямо пропорциональны выручке. Если генерация токенов на доллар выручки стоит 50 центов, то при выручке 100 миллионов себестоимость составит 50 миллионов. Распространённое заблуждение об открытых моделях состоит в том, что они дешевле. Бесплатность здесь относится только к затратам на исследования и разработку: скачав веса, вы экономите на R&D, но R&D — это фиксированные издержки, они одинаковы независимо от того, зарабатываете вы 100 тысяч или 100 миллионов долларов. Kimi при этом оказывается не очень дешевой — хотя стоимость токенов в ней в пять раз меньше Fable, но для решения задачи расходуется больше токенов, поэтому итоговый разрыв не так велик. Гипотеза Томсона заключается в том, что до определенного момента Anthropic и OpenAI держали высокие цены на инференс, чтобы финансировать R&D, то есть разработку и обучение новых моделей. Но в дальнейшем, при ценовом давлении китайских моделей (которые при этом за счет дистиляции сокращают разрыв с лидерами) и неуклонном росте инференса они смогут безопасно снижать цены. Фактически, это и есть довольно старый экономический закон — при росте объемов производства себестоимость одной единицы продукции падает. От себя добавлю, что в случае с интернет-сервисами себестоимость обслуживания запроса никогда не была равна нулю. Даже у показа статической страницы с сервера есть стоимость, пусть и очень малая. Но если показ страниц требует формирования ленты новостей на лету, как для социальных сетей, или поиска с ранжированием и препроцессингом запроса, как в поисковой системе, то себестоимость уже вполне заметная. Просто себестоимость инференса еще выше и плюс-минус тысяча запросов хорошо видны в счетах. https://stratechery.com/2026/whos-afraid-of-chinese-models/

12 лет назад он писал диплом по AI. Сегодня говорит: мы все недооцениваем скорость его развития. Founder & CEO Scade.pro, Co-Founder Mindo AI Сергей Аносов уверен: главная ошибка сегодня — оценивать развитие технологий линейно. Когда он защищал диплом по нейросетям, искусственный интеллект был дорогим, сложным и автоматизировал одну-две функции в компании. Сегодня, по его словам, если кажется, что до какой-то технологии остается три года, с учетом экспоненциального развития она может появиться уже через несколько месяцев. В «Правилах жизни» Сергей также рассказал: — почему отказался от долгосрочного планирования; — какие книги сильнее всего повлияли на его мышление; — на что никогда не жалеет денег; — и почему считает эксперименты лучшей стратегией в быстро меняющемся мире. 📚Книги, которые рекомендует Сергей: 🔵«Найти идею» и другие книги Генриха Альтшуллера по ТРИЗ 🔵«Эгоистичный ген» и «Расширенный фенотип» Ричарда Докинза 🔵«Основание» Айзека Азимова. Остальные правила — в карточках 👆 #правилажизниRF R-Founders Go Global Channel

Похоже, мы нашли первое по-настоящему благородное применение дипфейков. Британский оператор Virgin Media O2 создал ИИ-бабушку по имени Daisy. Её единственная работа – принимать звонки телефонных мошенников и выносить им мозг. Daisy часами рассказывает бессвязные истории про внуков и вязание, диктует выдуманные реквизиты карты, переспрашивает, теряет нить разговора и искренне не понимает, чего от неё хотят. Скамеры проводят с ней до 40 минут за звонок, безуспешно пытаясь объяснить “бабушке”, куда нажать. Ирония сюжета космическая. Годами мошенники строили индустрию на том, что пожилой человек доверчив, медлителен и плохо разбирается в технологиях. И вот теперь их же оружие обернулось против них: самый неудобный клиент в мире – это симуляция той самой бабушки, только без усталости, без эмоций и с бесконечным терпением. Кожаные мешки по ту сторону трубки выгорают, а Daisy – нет. И я вижу здесь кое-что поинтереснее забавной новости. Экономика скама держится на конверсии: сколько звонков нужно сделать, чтобы найти жертву. Daisy бьёт не по конкретному мошеннику, а по юнит-экономике всей индустрии. Каждые 40 минут с ботом – это 40 минут, за которые никого реального не обманули. O2 даже специально подсадила номера Daisy в базы, которыми пользуются колл-центры мошенников. Можно предположить, что эту модель будут тестировать и на других сомнительных рынках. Спам, фишинг, накрутки, боты в комментариях – везде, где атака автоматизирована, защита тоже станет автоматизированной. Дальше воевать будут ИИ с ИИ, а мы с вами – просто наблюдать за этим со стороны, как за боями роботов. Мошенник, потративший вечер на разговор с нейросетью о вязании, – пожалуй, лучшее, что искусственный интеллект сделал для человечества в этом месяце. А вам звонили “из службы безопасности банка”? Как прошло общение?

🤖 Nous Research разогнала Hermes Agent до скорости ртути Hermes Agent обновлён до версии v0.19.0 Quicksilver - холодный старт агента упал в 5 раз, а рискованные команды теперь одобряет отдельный ИИ-ревьюер вместо человека. Что нового: ✧ Пароли можно доставать прямо из Bitwarden и 1Password, а не из .env файла ✧ Ответ агента переживёт падение шлюза - доставка теперь гарантирована ✧ 450+ контрибьюторов и почти 2250 коммитов в одном апдейте Заодно тихо откатили собственный firewall для защиты учётных данных, который сами же выкатывали раньше. У самого масштабного релиза в истории проекта тоже есть слепые пятна. 🔗 Разобрали, что реально изменилось в крупнейшем апдейте открытого ИИ-агента ✴️ Читайте нас в MAX

Для того чтобы погонять Fable 5, пришлось вернуть подписку на Клода. В целом чувствуется, что модель сильнее Opus 4.8 (это проявляется в мелких деталях, подробнее писал в ИИ-лаборатории нашего клуба), но глобально ничего не меняется. Но вот что меня поразило, так это мои ощущения от использования Claude Code: как же я отвык от human in the loop, сидеть и постоянно контролировать - это не мое. У меня сейчас для работы сделано два оркестратора. Один реализует проектный SDLC, второй - общего назначения. Они связаны друг с другом и могут обмениваться заданиями и статусом выполнения, в общем агенте есть общий чат куда прилетают отчеты о выполнении. Развиваю проекты инкрементами, которые выглядят примерно так:

$soerdev add spec "Новая фича"
$soerdev refine spec
$soerdev plan
$soerdev run

Это реализация цикла Human ON the loop. Логика такая: добавляем драфт спеки, обсуждаем детали, фиксируем план, запускаем цикл до выполнения критериев останова. В работу не вмешиваюсь, но вижу в чате и телеграм боте что происходит. И знаете что? Это реально удобно! Теоретически что-то подобное можно настроить и в CLI-агентах, но все равно придется допиливать харнес для отправки сообщений в телеграм, делать свой аналог гейтов, делать скилы и промпты. А так все зашито в оркестратор soerdev.

Как фаундер Morning Brew Алекс Либерман построил контент-машину ✍️ Этим летом у меня выдалось особенно много работы (хотя когда было иначе). Одновременно как автор и редактор работаю над тремя книгами, а еще к сентябрю мы готовим выпуск Основателей. Кроме того, есть проекты поменьше, но тоже связанные с медиа и текстами. К концу очередного рабочего воскресенья обнаружила себя в состоянии просто физической усталости от этих ужасных мертвых нейросетных формулировок, которыми грешат авторы. Справедливости ради, не все, но многие, даже хорошие. Рука потянулась к Довлатову, Норе Граль и Лидии Чуковской — классикам-борцам за хороший текст на русском языке. Когда немного отлегло, решила погрузиться в тему, как же вообще-то грамотно в нашей профессии пользоваться ИИ. Всем уже понятно, что совсем не использовать его нельзя, но большинство авторов и редакторов слишком уж топорно это делают. Буду для себя систематизировать опыт мэтров и иногда делиться здесь. В How I AI, одном из подкастов Ленни Рачитски, о котором я писала здесь примерно миллион раз, вышла интересная беседа с Алексом Либерманом. Вместе с партнером Остином Рифом они когда-то придумали Morning Brew — американское деловое медиа с ежедневной рассылкой для молодой профессиональной аудитории. Потом продали его Insider Inc. Теперь Либерман развивает Tenex — компанию, которая помогает бизнесу внедрять ИИ в операционные процессы, и Storyarb — сервис создания контента для основателей и команд. В подкасте он рассказывает, как построил в Claude систему, которая помогает ему регулярно писать сильные тексты и не упираться в главный кошмар любого автора — пустой лист. Что важно — система Либермана построена вокруг его собственных мыслей, опыта и стиля. Claude нужен ему просто как редакционная машинка, которая помогает находить темы, вытаскивать фактуру, собирать черновики и доводить текст до нужного качества. 🔗На чем построена система? 1️⃣ Разобрать на части собственный процесс Либерман начал с понимания того, как он вообще создает контент от идеи до публикации. Это важный шаг, потому что ИИ плохо чинит хаос. Сначала нужно понять, где именно рождаются темы, где теряется время и какие этапы можно пересобрать. 2️⃣ Собрать «машину идей» Его AI Oracle каждый день анализирует последние семь дней переписки в Slack, заметок в Notion, писем, встреч и публикаций авторов, за которыми он следит в X и LinkedIn. На выходе система предлагает 15 тем для будущих текстов. Все это сделано, чтобы ИИ-машинка давала подсказки, потому что написать текст часто проще, чем понять, о чем действительно стоит писать. 3️⃣ «Совет редакторов» У некоторых предпринимателей есть личный совет директоров, а у Либермана — совет редакторов. Считаю, это просто гениально. Перед тем как писать текст, система устраивает ему интервью. Внутри — шесть виртуальных интервьюеров в стиле Тима Ферриса, Джо Рогана, Ларри Кинга, Говарда Стерна, Барбары Уолтерс и Майкла Бэрроу. Они задают уточняющие вопросы, пока не появится достаточно конкретики. Алекс отвечает голосом, поэтому итоговый текст собирается не из абстрактных идей модели, а из его собственных слов. 4️⃣ Библиотека лучших текстов В системе есть файл с лучшими постами Либермана, удачными заголовками, рабочими структурами, характерными авторскими приемы и интонация. Так Claude пытается попасть в уже существующий авторский голос вместо того, чтобы писать усредненным интернет-языком. 5️⃣ Дабл-чек от «света редакторов» Перед публикацией текст оценивают шесть ИИ-редакторов. Один из них, как шутит Либерман, отвечает за аллергию на ИИ-мусор (со мной именно она случилась). Текст не проходит дальше, пока не набирает минимум 9 из 10. Это создает дополнительный фильтр качества. 6️⃣ Работа над ошибками Claude сравнивает первый черновик с финальной версией, выделяет повторяющиеся ошибки и предлагает добавить новые правила в базу знаний. Так система постепенно перестает наступать на одни и те же ошибки. @karpovaventures✍️