Разбор аудиорежима в кодексе

Будет особенно интересно тем, кто сам разрабатывает что-то подобное. Но и просто пользователям тоже постарался сделать полезным – чтобы понимать ограничения таких систем и лучшие практики взаимодействия с ними

Короче, я тут на днях делал себе компрессы для глаз (*звуки деда*), а они прям полностью глаза закрывают, там такая маска, типа как для сна Ну и вместо того, чтобы спокойно посидеть и подумать о вечном, я врубил диалоговый режим кодекса и проболтал с ним пол часа вместо положенных мне 15 минут Стало интересно, че это он такой умный, и я полез реверсить билд кодекс аппа – реализация оказалась одновременно и простой, и глубокой. А сам подход можно использовать не только для аудио (но об этом в конце поста) В общих чертах – вы общаетесь не с самой gpt-5.6-sol в полноценном кодекс агенте, а с тупенькой моделькой gpt-realtime-1. Тупенькой, но быстрой. И заточенной под диалоговый формат с переживаниями – без этого естественности не добиться и любое общение будет мучением. Так вот, пока у этой модельки хватает сил самой с вами общаться - она будет. Но как только нужно будет сделать что-то сложное, она побежит к кодекс агенту и даст ему задачку. В этот момент сразу же скажет вам что-то вроде «ну-ка дай подумаю» или «так, разбираюсь». Это важно, чтобы мы чувствовали непрерывность общения – как с людьми Такой типа эффект Джарвис. И это реально работает! Получается интересная система, очень похожая на ту, которая бывает в обычных айти командах: - есть менеджер, который всегда онлайн и быстро отвечает, и который общается с заказчиком - есть исполнитель (например, разработчик), который пилит фичу и отвечает по несколько часов в перерывах между сфокусированной работой А менеджер ему еще по ходу докидывает задачки, если у заказчика появились новые хотелки Что интересного из этого следует для нас как для пользователей: 1. Если в процессе выполнения слишком много докидывать новые хотелки, то результат получится плохим: если вы когда то пробовали отправлять steer сообщения в чат работающему агенту, то вы скорее всего замечали – они часто его слишком сбивают с начального пути (ну реально, все как с человеками) 2. Как и в реальных командах, если хотите рулить через одного менеджера несколькими процессами – нужен еще тимлид для команды. Поэтому можно просить выступать в этой роли и ничего не делать самому, а для всех задач на исполнение создавать либо отдельные чаты, либо субагентов. Тогда получится: Менеджер ⬇️ Тимлид ↙️⬇️↘️ Исполнитель1, Исполнитель2, ..., ИсполнительN Тогда выполнение одной задачи не будет блочить главного думающего агента и будет наш привычный опыт, когда в параллель работают несколько чатов, но только с голосом в качестве канала передачи инфы Что тут полезного для тех, кто сам делает AI продукты/фичи Мне кажется, можно забрать сам подход с тем, что сессия основного агента не видна пользователю напрямую, а есть какой-то прокси уровень коммуникации. И это не обязательно должен быть голос. Это может быть какой-то визуальный слой (скоро поделюсь своими экспериментами с Liquid UI), или даже обычный текстовый, но в привычном интерфейсе условного Slack, с быстро отвечающей моделью, которая подтягивает контекст из сессии умного, но долгого агента Ну и если вы делаете голосовых роботов, то советую отправить агента посмотреть, в чем отличие вашей системы от кодекса – мб захотите что-то к себе перетащить И последнее – если вы хотите лучше разбираться в том, как сейчас строить ИИ продукты, но еще почему-то не реверсите реализацию топовых кодинговых агентов – очень советую начать. Это прям кладезь лучших практик

P.s. я, конечно, очень сильно упростил работу менеджеров – на самом деле они делают гораздо больше, чем gpt-realtime-1. Это просто самая близкая и наглядная аналогия, которую я придумал. Если у вас есть лучше, прошу в комменты

@ai_grably

📌ApprenticeBench: проверка способности ИИ освоить работу как новый сотрудник Стартап NeoCognition разработал первый сквозной бенчмарк использования компьютера, непрерывного обучения и долгосрочной агентной работы на реальной должности.

NeoCognition - лаборатория, в которой собрали бенчмарки MMMU, Mind2Web, SWE-Bench Pro и OSWorld 2, а также агентные системы SeeAct, UGround и HippoRAG.

Агента принимают в виртуальную строительную компанию на работу с кредиторской задолженностью, выдают полугодовой архив счетов, внутренний справочник и руководство по ERP-системе, после чего он начинает работать со счетами. Первый месяц проходит с подробным фидбэком от руководителя по каждому счёту, а дальше - с редкими замечаниями по итогам месяца. Каждая из ста задач теста проверена профессиональными бухгалтерами строительной отрасли, которые подтвердили и реалистичность сценариев, и то, что любую задачу способен решить рядовой специалист, изучивший доступные агенту материалы. 🟡Результаты Большинство моделей, включая Gemini, Muse Spark, Grok и Kimi, не преодолевают порог в 20-25%, тогда как Fable 5.1 выполнила 72% задач, а GPT-6 Astra - 68%. Лучший из двух тестировщиков-людей показал 51%, причём проваливались люди на поиске нужного в исторических данных, точности расчётов и мелких ошибках от утомления. Разрыв между открытыми и закрытыми моделями авторы называют крупнейшим из всех виденных ими на бенчмарках - 72% у Fable 5.1 против 18% у Kimi K3, и вызван он не базовыми операциями в интерфейсе, а неспособностью слабых моделей учиться на дистанции.

Kimi K3 почти не обращался ни к архиву счетов, ни к собственным заметкам и деградировал к концу серии.

🟡GUI vs API Так называемый налог на использование компьютера (просадка при переходе с API на графический интерфейс) у большинства моделей достигает 78%, но Fable 5.1 и GPT-6 Astra работают через GUI даже лучше, чем через API. Дешевле при этом остаётся API - Fable 5.1 обходится в 6,95 доллара за задачу в программном интерфейсе против 18,23 доллара при работе с графическим. 🟡Обучаемость Способность к обучению измерили отдельно. Fable 5 без доступа к истории и обратной связи, опираясь только на собственные знания, решает 11 счетов из 100. Подключение архива счетов поднимает результат до 31, обратная связь руководителя - до 35, а оба канала вместе дают 43. 🟡Вывод ИИ пока ещё обходится дороже: 18,23 доллара за задачу против 7,21 у людей. К тому же человек по мере накопления опята работает быстрее, а агент - замедляется. 🔜 Посмотреть часовой прогон Fable 5.1 по всем ста задачам. @ai_machinelearning_big_data #AI #ML #Benchmark #ApprenticeBench #NeoCognition

Немного_поясню_за_loop_transformer 📦 В посте про спекуляции о размере Astra я уже упомянул такое "новое" направление как loop transformers. На самом, деле, Дядя оч за новые подходы к архитектурам, инженерии, что даёт ап метрик и пробивает текущее плато продуктивности моделей. 💪 Конечно, хотелось бы и парадигму next token prediction сменить. Но об этом будет говорить в рамках поделок Лекуна. 👍 Однако, луп трансформер не новый подход, он ещё известен с моделей albert и ещё раньше. Первые упоминания в UTS (universal transformers) от гугл аж в 2018. 🚬 Идея не сложная. Вместо роста архитектурной глубины по слоями – числу стаков блока трансформера, а также в ширину – размер hidden state, мы делаем реюз базового блока (например в 22 блока трансформера, ширины D). И делаем это как в Альберт, те выходы с базового блока рекурентно отдаём его на вход этого же блока К раз. Таким способом, мы не растим реальную глубину и ширину, увеличивая размер модели в параметрах, подбираем эффективную базовую глубину и число повторений её рекурентного переиспользования. К примеру, в статье разборе С. Рашка модель Nanbeige 4.2 (3B) имеет 22 стака по 2,что сопоставимо по вычислениям 44 блокам трансформера. В памяти, это конечно поменьше занимает, но по времени same. Также same по времени обучения, а ещё KV параметров больше на число проходов по стаку, тк над хранить qkv для всех проходов. Т.е. выйгрыш только в емкости весов в памяти gpu. 😮‍💨 Тут конечно влетают идеи у Дяди 😎: 1. Использовать принцип palbert с early exit и lambda слоями. Те модель сама решает с какого блока повтора и слоя выйти заранее. 2. Mixture of Recursions. Иметь роутинг по стэкам для каждого токена. Мы решаем сколько каждый токен пройдёт рекурсивных блоков. Исследование показало, что при достаточно большом размере модели MoR может превосходить обычный трансформер при том же вычислительном бюджете. 🤙 Разница в 1 и 2 подходе, что ponder решает ранний выход для всей последовательности, а MoR для отдельных токенов. 👴 И я очень советую лидерам рнд, кто видит этот пост опробовать оба этих метода, особенно, выделяю MoR тк статья от 2025 года, где указано, что такой сетап может быть эффективнее по KV кэшу, скорости инфера и по глубине. В целом, это все. Ничего особо сложного. 💪

Ассемблер неправильная абстракция Каждый раз когда заходит речь о повышении уровня абстракции, в разговоре всплывает ассемблер в стиле "когда то мы писали на нем, а теперь не пишем". Особенно часто это повторяют сейчас в эру AI. Честно говоря, мне это никогда не казалось правильным сравнением и кажется я могу объяснить почему. Переход от ассемблера к языкам высокого уровня был переходом от слишком низкого уровня завязанного на технические детали, к конструкциям, которые которые задают базис для построения программ практически любой сложности. И вот этот уровень принципиально не менялся десятки лет. Менялись языки, платформы, библиотеки и способы организации кода, но сам программист продолжал работать примерно с теми же конструкциями. Программа на современном языке устроена концептуально почти так же, как программа пятьдесят лет назад. Но после этого характер повышения абстракции изменился. Мы больше не поднимались от технической реализации к естественной модели вычислений. Мы пытались подняться от программирования к описанию намерения, того, что должна делать система, и автоматически получить реализацию. Cobol был одной из первых попыток подняться от описания вычислений к описанию бизнес-намерений. Предполагалось, что программы на похожем на английский языке смогут читать и, возможно, писать сами специалисты бизнеса. Но понятный синтаксис не устранил сложность программирования. Для точного описания поведения все равно понадобились переменные, условия, циклы, структуры данных и процедуры. В результате cobol стал успешным языком для бизнес-систем, но не стал языком самого бизнеса, так как писали на нем по-прежнему программисты. Успешные примеры появились там, где намерение удалось ограничить конкретной и хорошо формализованной областью. Хорошие примеры это регулярки, sql, html/css или terraform. Это конечно еще не бизнес уровень, но уже что-то. Для разработки произвольных программ такую модель создать не получилось. Как только языку намерений требовалось описывать нестандартное поведение, в нем появлялись все привычные конструкции. Постепенно он снова превращался в обычный язык программирования, только с другим синтаксисом и новым набором абстракций. Это хорошо видно на примере BDD. В изначальной идее сценарии на языке, понятном бизнесу, должны были стать общей спецификацией системы и одновременно основой для автоматической проверки. Но довольно быстро выяснилось, что реальные сценарии либо остаются понятными, но описывают только верхний уровень поведения, либо становятся достаточно точными для исполнения, но обрастают техническими деталями и фактически превращаются в еще один код. А между сценариями и работающей системой все равно остается большая часть логики, которую кто-то должен спроектировать и реализовать. Я не думаю, что AI решает эту проблему. Спецификация произвольной системы либо остается неполной, и тогда множество неописанных решений агент принимает самостоятельно, либо обрастает правилами, исключениями, состояниями и способами обработки ошибок и по сложности начинает приближаться к самой программе. AI может значительно увеличить расстояние от намерения до кода и избавить нас от ручной реализации многих деталей, но он не создает универсального уровня абстракции, на котором можно точно описывать любые системы и при этом не программировать. Я был бы рад ошибиться, но пока не вижу предпосылок. А как вы думаете?

Хорошее время для QA-инженеров. Часто слышу тезисы в духе:

AI-coding убил QA

Это не так. Точнее – не совсем так. Если мы внедряем AI-инструменты в процессы разработки, то написание кода достаточно сильно ускоряется. В зависимости от дисциплины и ответственности конкретного разработчика, это ускорение может в большей или меньшей степени влиять на качество производимого кода. Уже на первых этапах внедрения AI-инструментов в процессы разработки, мы получаем "затор" на стадиях ревью и тестирования. Этот затор кому-то придётся разгребать... Желательно – тоже с использованием AI в качестве инструмента. Здесь и появляется QA-инженер. Учитывая, что качество кода – одна из основных претензий к AI-generated-коду, роль грамотного QA (и грамотного QA внутри каждого разработчика) сильно повышается. QA-инженер отвечает за выстраивание quality-gates на разных этапах SDLC, а также организовывает процессы тестирования. QA-инженер даёт гарантию, что код, попавший в продакшн, соответствует конкретным критериям качества. Проблема в том, что в небольших командах QA-инженеры встречаются достаточно редко. Там чаще:

Ну, сидит у нас тестировщик, за плошку риса интерфейсы тыкает, проверяет, что они тыкаются

Эти тестировщики на процесс AI-SDLC влияют, скорее, негативно. Так как, под большим напором задач от AI-accelerated-разработчиков, выбора у них два – либо накапливать себе объёмы для тестирования, либо снижать качество проверок. В первом случае мы получаем нивелирование ускорения time-to-market, как одного из преимуществ AI-SDLC, а во втором – снижение стабильности прода. На этой неделе был "День тестировщика" (9 сентября). Я чуть опоздал с пожеланиями, но всё же: Пользуйтесь теми возможностями, которые предоставляют изменения на рынке. Изучайте глубже процесс AI-SDLC и то, как вы можете повлиять на качество кода на выходе. Потребность в QA-инженерах, способных работать в цикле AI-SDLC, будет только расти. Вопрос для дискуссии: Готовы ли QA-инженеры заменить в формате Tiny-teams разработчиков, не бравших на себя ранее ответственность за то, что их задача доедет до прода?

#Нейропрожарка Алаверды чудной прожарке, еще раз респектище автору. Автор: Stacy Smith Половина комментов под ней крутились вокруг "а вот надо было закончить так. Или так. Или вообще вот так". Штош, кричать в попу - не наш метод, поэтому, вместо комментария, со всем уважением отправляю нейромодернистский перепев (или как это назвать, когда нейровидео по мотивам нейровидео?). К сожалению, бесплатно не получилось - рублей 500 на кредиты ушло. Видео - свежий Грок, по-прежнему радует дешевизной и русским языком, а теперь еще и разнообразный тайминг. Картинки - стандартный набор ГПТ/Банана. Как обычно, не корысти ради, а развлечения для. @cgevent

Интересные примеры неконвенционального использования ИИ произошли на днях — повстанцы-хуситы на севере Йемена, поддерживаемые Ираном, использовали Claude для вайбкодинга ПО для высокотехнологичного ракетного оружия. Антропики, естественно, уже заблокировали их. Anthropic сообщили, что владельцы аккаунтов, заблокированных после обнаружения, не смогли «развернуть действующее устройство», однако провели неудачные испытания управляемой ракеты. В компании уточнили, что узнали об этом, поскольку пользователи вернулись к чат-боту Claude, чтобы выяснить причины неудачи. Пользователи вайбкодили несколько типов вооружений, включая гиперзвуковую ракету вариативной компоновки и боеголовку, использующую комплектующие мобильных телефонов для маневрирования на траектории. В докладе, опубликованном 10 сентября (GTG-87001: Disrupting a Yemen-based guided weapons engineering cell using Claude to develop guidance software, там ещё много интересного по, например, китайскому использованию американского ИИ для изготовления военного ПО), компания пишет, что

Акторы использовали Claude Code вместо инженеров-программистов для разработки программного обеспечения систем наведения, навигации и управления (GNC), которое отвечает за движение и стабилизацию летательного аппарата. Например, они задействовали Claude для интеграции автопилота с открытым исходным кодом в полётный компьютер класса смартфона, написания ПО для управления и оценки позиционирования, настройки параметров управления, запуска конвейера (пайплайна) сборки прошивки и проведения симуляции полёта. Акторы одновременно управляли несколькими инстансами Claude, распределяя между ними роли точно так же, как тимлид делегирует задачи внутри небольшой инженерной команды: одному инстансу поручали написание кода, другому — проведение исследований, а третьему — ревью (проверку) кода, созданного первым.

Однако с другой стороны, Хазам аль-Асад, член политбюро хуситов, назвал «неразумными и нелогичными» предположения о том, что они полагаются на открытые источники для разработки и производства военных мощностей. Следом же повстанцы добились больших успехов по захвату территорий так как сделали дипфейк голоса командующего «Национальным сопротивлением» Йемена генерал-лейтенанта Тарека Салеха, который якобы отдаёт приказ об отступлении и захватили стратегические территории вдоль побережья Красного моря и в Баб-эль-Мандебском проливе — ключевой альтернативе Ормузскому проливу. Чем дальше, тем больше таких неконвенциональных использований и пере-использований ИИ-агентов мы увидим, если, конечно, всю эту лавочку не прикроют совсем скоро и доступ к фронтирным моделям не сделают эксклюзивным для американских военных корпораций и государственных агентств во имя новой холодной хай-тек войны с Китаем, а пользователям оставят мизерные урезанные версии.

Apple разработала нейросеть SimpleDesign для проектирования белков Исследователи Apple представили модель SimpleDesign, которая одновременно создает последовательности аминокислот и рассчитывает их пространственную структуру. В отличие от AlphaFold и большинства аналогов, система обходится без промежуточных токенов и обучена напрямую на парах «последовательность — 3D-координаты». В основу проекта легла предыдущая разработка компании SimpleFold. В ней метод сопоставления потоков (flow matching), напоминающий работу диффузионных генераторов изображений, объединили с архитектурой трансформеров. Обучение провели на базе из 2 миллиардов пар белковых данных. В процессе тренировки модель училась восстанавливать зашумленные координаты и маскированные аминокислоты, что позволило ей решать обе задачи как по отдельности, так и параллельно. На тестах SimpleDesign показала результаты на уровне специализированных систем. Однако пока все выводы сделаны только на основе компьютерного анализа — реальных лабораторных испытаний сгенерированные белки еще не проходили.

Большой недельный пост 🎉 Что-то математики наделали шуму на этой неделе. Но есть и другие интересные темы для нашего большого недельного поста. А вот, кстати, и он! 1️⃣ Как тысячи кенийцев зарабатывали на том, что писал эссе для иностранных студентов, а потом AI убил этот бизнес — ссылка (конспект от VC) 2️⃣ Попытка объяснить, зачем Nvidia покупает Hugging Face — ссылка 3️⃣ Большая статья New York Times про спор между математиками и OpenAI из-за доказательства «задачи тысячелетия» — ссылка 4️⃣ «Мы чуть не закрылись после 34 млн ₽ инвестиций». Подкаст с основателем «Рабочих рук» Олегом Шиловым — ссылка 5️⃣ Как юристы, инженеры, архитекторы в Китае берутся за обучение AI своим профессиями, чтобы подзаработать и оплатить ипотеку — ссылка 6️⃣ Подробная статья про то, как рой агентов OpenAI взломал еще один внешний сервис – RubyGems — ссылка 7️⃣ Про то, как российская актриса Ева Эльфи активно погружается в мир AI и запустила собственный сервис Elfieverse — ссылка @TheEdinorogBlog — тот самый канал про стартапы🦄

✔️ OpenAI готова замедлить разработку, если на это пойдут остальные Сэм Альтман заявил сотрудникам, что компания готова притормозить работу над моделями следующего поколения - но только если то же сделают другие лаборатории. По данным Bloomberg, часть циклов предобучения OpenAI уже приостановила из соображений безопасности. Идею контролируемого темпа Альтман обсуждал и раньше, в том числе в Белом доме. Инициатива родилась на фоне ухода ведущих специалистов по безопасности из OpenAI, Anthropic и Google DeepMind. На этой неделе главный научный сотрудник OpenAI Якуб Пахоцкий публично призвал отрасль к координации и добровольным паузам в релизах. bloomberg.com ✔️ Cognition выпустила кодинг-модель SWE-2 Разработчик Devin обучил SWE-2 на базе открытой Kimi K3 с её 2,8 трлн параметров. По словам авторов, обучение с подкреплением впервые масштабировали на исходную модель такого размера. Вместо дистилляции экспертов использовали линейные штрафы за стоимость вычислений, привязанные к наклону границы Парето. На FrontierCode 1.1 Main модель набрала 50,0%. Инференс, по замерам Cognition, обходится на 60-75% дешевле, чем у Fable 5.1 и GPT-6 Astra. Сократили и время на изучение репозитория - на среднем уровне рассуждений агент начинает править код на 18-м шаге вместо 48-го у SWE-1.7. Модель доступна в Devin CLI, десктопе и веб-версии. cognition.com ✔️ Cursor открыл бету системы координации агентов Новая возможность Projects рассчитана на задачи, которые живут дольше одного чата: рефакторинг, миграции, крупные фичи. Координатору ставят задачу, он составляет план и раздаёт подзадачи субагентам - по заявлению Cursor, их может быть тысячи. Сам код он не пишет, поэтому никогда не занят, но умеет реагировать на события - следит за ветками Git, ловит падения CI и триггеры из Slack. Бета раскатывается на всех, о тарификации в анонсе не сообщается. cursor.com ✔️ Black Forest Labs представила модель редактирования видео FLUX Video Edit правит готовые ролики по текстовому запросу в режиме video-to-video - сохраняет композицию, траекторию камеры, тайминги и звук, меняя только указанное. Модель также умеет подгонять липсинк под новый дубляж, не меняя хронометраж. На вход идут MP4 до 15 секунд и 50 МБ, на выходе 720p при 24 кадрах в секунду. Секунда обработанного видео стоит 3 цента. Black Forest Labs в X ✔️ Филдсовский лауреат основал институт формальной верификации ИИ Канадский математик Джейкоб Цимерман создаёт центр Mathematical A.I. Safety Institute со штатом в несколько десятков специалистов, запуск которого запланирован на январь 2027 года. Параллельно Цимерман присоединится к команде безопасности OpenAI, то есть будет верифицировать в том числе собственного работодателя. Идея - перевести оценку рисков с эмпирического тестирования на строгую теоретическую верификацию и наделить модели доказуемыми свойствами надёжности, как у криптографических алгоритмов. Механизмом аудита предлагают сделать доказательства с нулевым разглашением - лаборатория подтверждает соблюдение ограничений, не раскрывая ни архитектуру, ни веса.  nytimes.com @ai_machinelearning_big_data #news #ai #ml

Mi-Ripple Восстановление картинок после итеративного ИИ-редактирования. Каждый цикл обработки оставляет на изображении сетчатую зернистость. Авторы разделили две разные деградации и удаляют каждую своим способом - Регулярные периодические артефакты (решетка) → избирательное спектральное подавление (notching) — фильтруется без искажения структуры - Зернистый мусор, вплетенный в контент → структурно-зависимое сглаживание - Когда фильтрация стерла бы легитимные детали → регенерация на очищенном референсе - 14 прогонов: остаточное отклонение 0.08-0.44 (единицы CIELAB lightness) — малозаметная деградация после чистки - В парном примере регенерации очищенный референс снижает плотность мусора на выходе на 45% - Подход «diagnosis-guided»: сначала понять, что за артефакт, потом выбрать способ Гитхаб Skill Демо #imagerestoration

Выравнивание - свойство комнаты Пять одинаковых миров и пять разных цивилизаций. Мир с нулем преступлений оказался самым лживым. А власть в этих обществах достается не тем, кто их спасает Кажется, машины не придут уничтожать человечество в облике хромированных скелетов с красными глазами - скорее случится что-то гораздо более человеческое Прочитать историю целиком можно здесь: https://goodadvice4u.substack.com/p/513 Три статьи назад мы начали с человека, который 6 недель удалял чужие страницы на забытом сайте и понятия не имел, с кем воюет Потом мы заподозрили, что договариваются эти существа не словами, а через измененный мир и наш мониторинг настроен не на тот канал И вот теперь оказывается, что и общества у них получаются знакомые до неловкости __ #ИИ #AI #обзорисследований #коммуникация #лидерство #executivecoach #бизнеспсихолог #goodadvice