Asynchronous Reasoning: Training-Free Interactive Thinking LLMs Сегодня поговорим о статье, в написании которой принимали участие инженеры Яндекса. Публикация посвящена асинхронному ризонингу, а в её основе лежит метод, описанный в работе Hogwild! Inference: Parallel LLM Generation via Concurrent Attention, поэтому сперва — кратко о ней. Это тоже статья от Yandex Research, а также от HSE и IST Austria. Авторы поставили перед собой задачу ускорить инференс с помощью параллельной генерации. Для этого ввели понятие Cash Blocks. Есть блок common cash, где находится общий промпт (например, решить какое-либо уравнение), и есть блоки «рабочих» (workers) — других потоков генерации той же LLM, которые выполняют задачу, синхронизируясь через KV-кэш. В статье эти блоки называются Алиса и Боб. Для генерации токена Алисы нужно, чтобы блоки стояли в порядке common-Bob-Alice, а для Боба — common-Alice-Bob. Так каждый «рабочий» может генерировать свои токены, «видя» чужие генерации, и они могут в реальном времени общаться между собой. Для генерации нового токена блоки KV-кэша упорядочиваются по-разному для каждого «рабочего». Сдвиг осуществляется не над всем блоком, а над query-токенами, что снижает вычислительные издержки. Это суть метода, а подробнее о Hogwild! мы писали в этом посте. Идея асинхронного ризонинга немного иная. В Hogwild! разбивали большую цепочку ризонинга на параллельные фрагменты для обработки двумя «рабочими», чтобы добиться некоторого ускорения. При этом Алиса и Боб — почти симметричны, лишь немного отличаются промптами. Однако сами кэш-блоки в теории могут отличаться: один, например, может быть обёрнут в ризонинг-токены, а другой нет. Также не обязательно генерировать по одному токену для каждого «рабочего» за форвард, как это сделано в Hogwild! Из этих предпосылок и рождается идея AsyncReasoning. Суть такова: есть также два потока одной LLM — writer и thinker. Первый генерирует выходные токены, а второй — ризонинг-токены. Благодаря этому появляется возможность генерировать ответ раньше, чем завершился ризонинг. С точки зрения thinker, токены writer — это предыдущий шаг генерации, а writer «живёт» в рамках одной непрерывной генерации. Чтобы сделать этот сетап более интерактивным, — скажем, в случаях, когда thinker надо подольше подумать — используют переключение режимов (mode switching). По сути, это отдельный view, от которого модели задаётся вопрос «Достаточно ли моих текущих измышлений, чтобы написать следующий параграф или формулу?» (Wait, are my current thoughts enough to write the next paragraph or formula?) В зависимости от ответа — да или нет — writer либо включается, либо ждёт дальше. Вопрос задаётся каждые 20 шагов. Замеры в основном проводились на математических датасетах. Кроме того, замеряли delay — суммарную длительность пауз, которые происходят при переводе ответа модели в звук. Благодаря mode switching writer генерирует токены не на каждом форварде, а перевод ответа в звуковое представление позволяет лучше зафиксировать те самые паузы между генерациями. Также измерялось time to first token. Как показали эксперименты, ещё AsyncReasoning помогает повысить безопасность модели. Разбор подготовил ❣ Георгий Якушев Душный NLP

Голубиная почта в XXI веке Каждый раз, когда падает очередной сервис, кто-нибудь обязательно грозится всё бросить и перейти на голубиную почту. И хитроумные продакты решили этим чувством воспользоваться. Приложение Roost устроено так: пишете сообщение, выбираете птицу (например, зимородка Alcedo atthis) — и она летит к адресату по реальной карте с реальной скоростью своего вида. Кречет (Falco rusticolus) — 80 км/ч, гриф (Gyps fulvus) — вдвое медленнее. Экстремалы выбирают черепах и улиток. Расстояние тоже честное: соседу письмо долетит за минуты, а через океан будет добираться пару суток. И всё это время птицу видно на карте — можно следить, как за лодкой в океанской гонке Vendée Globe. Собрал Roost один человек (спасибо эре вайбкодинга) — Логан Мендельсон, отвечающий за безопасность в компании Ticketmaster. Делал для друзей и выкладывать не планировал. Прославила талантливого парня как всегда чья-то мама: она написала в Threads, что её дочь общается там с подругами на елизаветинском английском — письмо ведь идёт как в старину, значит и слог нужен соответствующий. После этого поста Roost за три дня подпрыгнул с 10 до 100 тысяч пользователей, а за пять недель добрался до 300 тысяч. На рекламу потрачено ноль. Внутри больше тысячи видов птиц — от воробья (Passer domesticus) до орлана (Haliaeetus albicilla). А если писать некому, вам найдут собеседника-ровесника из другой страны. Пресса окрестила жанр slow-cial media, сам Мендельсон объясняет всё проще: «Пропадает постоянное давление — что ты обязан что-то сделать прямо сейчас». По подсчётам учёных, сегодня мы удерживаем внимание на экране 47 секунд — в 2004-м было две с половиной минуты. Бёрдвотчинг учит не только отличать один вид трясогузок от другого. Он еще учит нас перестать торопиться и быть внимательнее. Придется признать, что птицы на нас в принципе так действуют — даже если они внутри забавного мессенджера.

3 года назад я впервые отказала компании Знаете эти сообщения: Unfortunately, we decided not to move forward... В этот раз я написала такой имейл. На следующий день после интервью, не дождавшись фидбэка. И это не было как победа или возмездие, как можно было бы ожидать. Это были пустота и разочарование. Мое 7 интервью в эту компанию на третью роль за последний год. С такой историей мы были почти друзьями! И компания классная! В резюме смотрелась бы супер. Они меня пригласили — и это было так приятно! Только в этот раз интервью было похоже на экзамен. → "Обязанности зависят от кандидата". → "Давай побыстрее, у нас еще много вопросов" → "Ты что, не читала вакансию?" — на вопрос о роли. Когда звонок закончился, я легла на пол и разрыдалась.  Не из-за интервью! Я рыдала, потому что увидела, как предала себя. Не остановила разговор на середине. После первого звоночка, второго, третьего. Зачем-то шла в этот ад до конца. Потому что "это отличная возможность". Потому что "я хочу понравиться". Потому что "я хочу, чтобы меня взяли". В тот вечер впервые в жизни вместо "подхожу ли я", я подумала: "подходит ли это мне"? И мне это не подходило. Этот имейл стал одним из 3 событий, которые привели меня в карьерный консалтинг. Сейчас это один из главных лейтмотивов работы с клиентами: "Не надо гнаться за рынком" "Что хочешь именно ты?" "Подходит ли это тебе?" А уже потом: "Как туда попасть". Потому что вы важнее любой компании. Если вы отказывали компаниям, расскажите вашу историю.

Прошёл Assassin's Creed Black Flag Resynced На максимальной сложности за 70 часов. Выполнил все возможные квесты и открыл все локации. Осталось только собрать пару карт по кусочкам и нырнуть в ещё где-то пяти местах на глубину 😎 На самом деле, прошёл ещё на выходных. Просто как-то надо было переварить. Потому что это тот случай, когда приключение настолько великолепно, что по его завершению наступает какое-то чувство пустоты и грусти от того, что делать там больше нечего. Ну, по крайней мере, до апдейтов: разработчики обещают режим New Game + и дополнительные возможности типа перепрохождения отдельных миссий на дополнительные челленджи. Ремейк очень интересен по наполнению. В нём что-то убрали, а что-то — добавили. Из самых заметных "потерь" у нас возможность биться на кулаках и скрытых клинках, подбирать оружие противников, а также выходить из Анимуса. Да, в этой игре нет никакой отдельной кампании за интерна Абстерго от первого лица. Мне она нравилась, но многие на неё ругались, так что в целом это изменение было воспринято ок. Нового контента при этом очень много. Новые сюжетные миссии, куча новых персонажей (большая часть которых превосходно вписаны, без них теперь сложно представить игру), больше мечей и костюмов, переработанная система флота, куча новых сундуков в мире, бесшовная карта мира, в конце-то концов! Отдельно хочу похвалить кучу маленьких событий, добавленных в мир. Они делают исследование невероятно живым. Вы можете сесть на скамейку и послушать местного барда. А если задержитесь у него достаточно долго, он подарит вам текст своей песни и вы сможете её использовать как палубную песню во время морских плаваний. Или вы обкрадёте капитана стражи на причале Гаваны и навсегда получите уникальный предмет, дающий вам золото за каждое добивание. А может услышите слух в порту, который приведёт вас на палубу корабля, где вы спасёте от верной смерти ручную обезьянку, которую потом сможете взять с собой на корабль. Очень-очень живо. Превосходное погружение. Есть, правда, три вещи, к которым я бы придрался: 1. Разломы Анимуса не отмечаются на карте. Даже район не называется. Просто приходит уведомление, что они где-то появились. А это самые клёвые новые уровни в игре на мой взгляд! 2. Записки про современность стали более внятные, но по ним становится понятно, что за пределами Анимуса в мире Assassin's Creed произошёл какой-то нелепый скачок в будущее. Это зайдёт не всем. 3. Квестовая линия капитана Мэйнарда как будто писалась для более раннего этапа прогресса. Сейчас она открывается слишком поздно, потому что в ней Эдвард совершает ошибки, которые по сюжету уже перерос на этот момент. Но в остальном квест отличный, очень эпичный. Самое интересное то, что нарративно в мире ассасинов существует и ACIV Black Flag и AC Black Flag Resynced. Объяснение этому вы найдёте в записках и разломах Анимуса. Крайне рекомендую! Превосходный релиз. И, простите за каламбур, самый высокооценённый ассасин со времён Black Flag 😃 #мнение #AssassinsCreed

NVIDIA похоже тайно скупает тёмное оптоволокно* по всем США По данным аналитических компаний Needham и Wolfe Research, NVIDIA приобретает тёмные магистральные линии. При использовании DWDM** (до 96 каналов на волокно в данном случае) и скорости 800 Гбит/с общая пропускная способность достигает 7,6 Пбит/с. Инвестиции в проект оцениваются в $5–10 млрд на три года. Делается это вероятно для объединения дата-центров, аренды неоклаудам*** и запуска собственного сервиса «графические процессоры как услуга» (GPU-as-a-Service) напрямую корпоративным клиентам, в обход гиперскейлеров****. NVIDIA уже имеет 9,3% в неоклауде Nebius. Похоже, компания строит свою инфраструктуру, чтобы не зависеть от Amazon, Google и Microsoft. Но, самое интересное тут наверное даже не это, а терминология, с которой пришлось разобраться при написании этой новостной заметки. Если знали значение всех четырех терминов, можете считать себя гуру IT. * Во-первых, само тёмное волокно. Что это такое? Никакой мистики или астрофизики — это проложенные, но неиспользуемые самые обычные оптоволоконные кабели. Арендатор сам устанавливает на них своё активное оборудование и получает полный контроль над сетью. ** DWDM или Dense Wavelength Division Multiplexing (плотное мультиплексирование с разделением по длинам волн) — это технология, позволяющая передавать множество независимых сигналов по одному оптоволокну, используя разные цвета (длины волн) лазерного излучения. *** Неоклауды — это новые облачные провайдеры, которые специализируются на предоставлении мощностей именно для обучения и работы ИИ-моделей, в отличие от универсальных облаков Amazon, Google и Microsoft. **** Гиперскейлеры — это крупнейшие провайдеры облачных услуг, такие как Amazon (AWS), Google (Cloud) и Microsoft (Azure), которые строят и эксплуатируют огромные дата-центры по всему миру, чтобы предоставлять вычислительные мощности, хранилища и сервисы в аренду другим компаниям и разработчикам.

«Как я потерял 45 миллионов рублей на китайском импортозамещении железа для боулинга» Механик сети боулингов однажды взял обычное сверло по дереву и ради эксперимента прошёл им насквозь стальной вал из китайского оборудования. Металл оказался таким мягким, что валы стачивались подшипниками и переламывались пополам прямо в работе. А пластиковая шестерёнка на одной из деталей «слизала» стальной палец до глубокой борозды. Пластик сожрал металл. Это оборудование заказали за 45 миллионов как полную копию американского Brunswick, которого в стране почти не осталось. На заводе всё выглядело идеально, техдиректор лично щупал узлы и не мог придраться. Потом фуры приехали без единого документа, механики начали седеть на распаковке и увольняться через неделю. Посмотрим, как выглядит год ада на дорожках и во что обошёлся каждый пункт этого списка.

Что делаю для роста органического трафика на naoma.ai Активно продолжаю качать органику на naoma.ai. С учетом того, что у нас B2B продукт, кажется, результаты неплохие. Что делаю: 1. Техническая оптимизация. Стараюсь сделать все, чтобы наш сайт максимально быстро и легко индексировался поисковиками и AI. Есть разные сервисы, которые позволяют оценить, этот показатель и дают рекомендации. 2. Написание статей. В свободное от основных задач время с клодом готовим статьи, например, вот такие - https://naoma.ai/en/blog/best-demo-automation-platforms Делаю в конце недели на остаток лимитов. Токены эти задачи кушают немеренно. Недавно Fable потестил для написания статей - по ощущениям лучше, чем Opus, но не критично. 3. PR + Product Hunt. Чего еще не делаю, но хочу добавить: 1. Закупка ссылок - сейчас это самая слабая часть всего пазла. 2. Активность на Reddit - особенно хорошо работает для AI, AI любит контент с Reddit. Для меня это совсем новая тема, если у вас есть опыт или проверенный подрядчики - поделитесь.

✔️ Alibaba откроет код альтернативы CUDA Полупроводниковое подразделение Alibaba (T-Head) анонсировало открытие исходного кода стека SAIL для фирменных ИИ-ускорителей Zhenwu. Проект анонсировали на Всемирной конференции по ИИ в качестве открытой альтернативы экосистеме Nvidia CUDA. По заявлению T-Head, адаптация SAIL под популярные ML-фреймворки занимает менее 7 дней. Флагманом линейки выступает процессор Zhenwu M890, представленный в мае и спроектированный для работы с ИИ-агентами. Alibaba ранее сообщала об отгрузке более 560 тысяч таких чипов сотням корпоративных клиентов. scmp.com ✔️ Moonshot приостановил оформление подписок на Kimi K3 Стартап временно остановил продажу подписок на модель Kimi K3 из-за нехватки вычислительных мощностей. Действующие пользователи работают без ограничений, доступ новым клиентам откроют по мере масштабирования инфраструктуры. Для балансировки нагрузки на кластеры компания меняет систему монетизации и делит единую подписку на 2 тарифа. В план Kimi Membership входят веб-версия, мобильное приложение и стандартные сценарии использования. Для инженеров вводится Kimi Code Membership - ресурсы этого тарифа выделены только под генерацию и анализ кода. Такое разделение потоков должно стабилизировать работу сервиса. Kimi в сети Х ✔️ ИИ-вендоры всерьез присматриваются к чипам AMD Microsoft расширит использование ускорителей AMD в инфраструктуре Azure. Во второй половине 2026 года компания запустит вычислительную платформу AMD Helios, оптимизированную для крупных моделей. Сатья Наделла объяснил расширение партнерства ценовой политикой Nvidia и конкуренцией со стороны TPU. Параллельно аппаратное обеспечение AMD тестирует Anthropic. По данным SemiAnalysis, AMD присвоила разработчику Claude высший приоритет поддержки наравне с Amazon. Ожидается, что компании официально анонсируют партнерство на конференции Advancing AI после решения проблем с оптимизацией программного стека. microsoft.com ✔️ ИИ спроектировал компоновку невидимого в полете одномоторного дрона Корпус аппарата Phantom Twist в полете вращается со скоростью до 25 оборотов в секунду, делая его почти невидимым за счет эффекта размытия. А процессе создания дрона ИИ сгенерировал 20 тысяч вариантов дизайна и симулировала их работу на фоне реальных пейзажей. Пропеллер и рама Phantom Twist крутятся в противоположных направлениях - в конструкции нет статичных деталей. Аппарат в 10 раз сложнее заметить, чем классический квадрокоптер. Авторы позиционируют устройство как инструмент для мониторинга дикой природы и осмотра инфраструктуры. northwestern.edu ✔️ Нил Бломкамп выпустил короткометражку, полностью сгенерированную в ИИ Известный по "Району №9" режиссер представил 13-минутный научно-фантастический хоррор Nightborne, полностью созданный с помощью видеомодели Seedance 2.0. Сюжет стилизован под документальное кино о военной программе, возвращающей в строй погибших солдат. Бломкамп управлял процессом покадрово, выстраивая сцены через промпты на основе концепт-артов, подготовленных художниками. Для генерации лиц и озвучки студия лицензировала биометрию 32 человек, чтобы избежать проблем с авторскими правами. Режиссёр заявил о планах снять полнометражный ИИ-фильм. Для реализации этих амбиций он уже открыл новую компанию, ориентированную на нейросетевой продакшен, которая придет на смену его классической студии Oats Studios. Neill Blomkamp в сети Х @ai_machinelearning_big_data #news #ai #ml

Маленький каминг-аут Последние месяцы я работаю в новом стартапе, его делает Саша. Вчера мой друг Кирилл выпустил с ней подкаст, можете послушать замечательных людей! Что за стартап? Конечно же, AI stealth neolab, которая занимается фундаментальными LLM исследованиями. До недавнего времени это был настолько стелс режим, что мы даже о существовании компании особо не рассказывали. Сейчас мы все еще немного скрываемся, поэтому много подробностей рассказать не могу. Что я там делаю? Я понемногу сдвигаюсь от продуктовых ролей и перехожу больше в решение разных бизнесовых вопросиков. Я всегда работал в B2B стартапах, поэтому помимо чистой продуктовой работы была большая часть, связанная с продажами, Customer Success, Partnerships и другими темками. Ну а сейчас я прыгнул в этот бассейн с головой. Надеюсь, что через некоторое время смогу рассказать вам что-нибудь еще.

Этапы развития безопасности В авиации есть руководство по обеспечению безопасности полетов, которое издается Международной организацией гражданской авиации. Очень интересная книга, в каком-то плане лучший учебник по управлению рисками. Жаль, что я нашел его относительно недавно. В Руководстве выделяют 4 этапа в обеспечении безопасности полетов, эволюция того, как пытались сделать перелеты максимально безопасными. 1 этап: Технический С начала 1900-х по конец 1960-х годов основной фокус был на технической безопасности. Что логично — техника только развивалась, развивалось наше понимание того, почему происходят инциденты и аварии. Основной целью этого этапа было совершенствование технических систем. К 50-м годам количество инцидентов снизилось из-за совершенствования систем, а деятельность по обеспечению безопасности полетов распространилась на нормотворчество и надзор. 2 этап: Человеческий фактор К началу 1970-х годов техника стала достаточно надежной, правила полетов устоялись, и в целом количество авиационных происшествий значительно снизилось. Основной причиной инцидентов стали называть ошибки людей. Что логично, техника стала достаточно надежной. Но при расследовании аварии не изучали эксплуатационный и организационной контекст. Только в начале 1990-х годов было признано, что люди работают в сложных условиях, которые влияют и определяют поведение человека. 3 этап: Организационный С середине 1990-х годов безопасность стала рассматриваться системно и захватывала как организационные, так и человеческие и технические факторы. Было введено понятие "происшествие организационного характера". Этот подход учитывал воздействие, например, организационной культуры и политики на безопасности полетов. 4 этап: Общесистемный Начинает развиваться с началом XXI века. Этот подход еще больше расширяет контекст обеспечения безопасности. Он следует из того, что авиация рассматривается как большая сложная система и необходимо учитывать еще более широкий контекст. Существует множество примеров происшествий и инцидентов, из которых следует, что взаимодействие между организациями внесли свой вклад в отрицательный исход событий. То есть, обеспечение безопасности уже выходит за рамки одной компании, и должно охватывать всю систему. На мой взгляд, большинство компаний сейчас остались на втором этапе. Техника работает достаточно надежно, но организационный контекст и культура не учитываются - так что основная причина инцидентов это человек. В западных компаниях пытаются работать на уровне культуры, но на мой взгляд, до полного учета организационного контекста достаточно далеко. Хотя, может быть и есть крутые компании — но про них мало известно.