Когда я начинал карьеру, а также на первых руководящих ролях, мне казалось, что если сотрудник несет какую-то фигню, с этим надо что-то делать. Со временем я принял, что не всегда. Например, если 50% генерируемого потока информации полезны, а 50% какая-то чушь, то бывает так, что использовать первую половину и игнорировать вторую выгоднее в моменте, чем что-то менять. Со временем я принял и то, что иногда чушь может оказаться не чушью и бывает полезно разобраться, может что-то я сам не понимаю. В общем, толерантность к тому, что кто-то может сказать какую-то глупость выросла, а категоричность суждений снизилась. Правильно это или нет, я не знаю и не хочу судить, во всем есть свои плюсы и минусы, но для меня это стало частью управленческой профдеформации. Сейчас при использовании нейросеток заметно как фидбек на их полезность зависит от того, на чем концентрируется пользователь - на ошибках и глупостях или на том, что получилось. Еще на Yet Another Insight одна из дискуссий была про то, можно ли использовать агента, который успешно решает задачу в 50% случаев. Дискуссия быстро сошлась к тезису, что если работает быстро, а проверка недорогая, то ведь отличная штука. Но часто мы судим, что 50% это «как монетку подбросить» и очень плохо, а не видим реальную полезность. Тут конечно помог бы не только менеджерский бэкграунд, но и просто знание, что такое метрики и бейзлайны или банальная способность считать сэкономленное время. Но вот вам еще пример. Обучение использованию LLMок топ-менеджеров солидной компании, один из топов восклицает: «Так это что, теперь придется четко и понятно задачи формулировать?». Это конечно было шуткой, но в любом случае примеры показывают, что появление любых помощников, что живых, что ИИшных, это всегда вызов для наших управленческих навыков и в постановке задач, и в валидации, и в принятии решений. Если раньше про какие-нибудь лидерско-менеджерские образовательные программы все шутили «зачем нам столько? все не могут быть руководителями», то теперь внезапно всем и правда понадобились менеджерские навыки, чтобы использовать в своей жизни ИИ достаточно продуктивно.

Новый термин из мира AI-кодинга - «catastrophic remembering». Исследователи изучили 1 867 GitHub-репозиториев и заметили проблему: файлы вроде CLAUDE.md со временем только разрастаются. Количество инструкций в среднем выросло на 226%, а старые правила удалялись всё реже. Проблема в том, что агент продолжает помнить правило, когда разработчики уже забыли, зачем оно вообще появилось. Получается своеобразная «трещотка»: после каждого бага в промпт добавляется новое ограничение, но почти никто потом не возвращается проверить, актуально ли оно. Авторы предлагают простой фикс из обычной разработки: рядом с каждой инструкцией хранить скрытый от модели комментарий с причиной её появления - какой был сбой, гипотеза и чем всё закончилось. В эксперименте это почти полностью остановило раздувание промпта: вместо +211,3% размер вырос всего на 1,4%, при той же точности выполнения ограничений. Paper: “Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding” https://arxiv.org/abs/2608.11095

Действие производит информацию Услышал это у Брайана Армстронга, основателя Coinbase - мне кажется, что это лучшее обьяснение как ограничений LLM, так и рычаг, чтобы они стали выдавать более качественный результат. Вообще, я заметил, насколько умственная - именно умственная - работа обычно занимает минуты в днях. Идея приходит, пока напильником обрабатываешь презентацию, или пытаешься отформатировать по ГОСТу свою дипломную. Большинство умственного результата, по моему мнению, получается благодаря всему тому действию МЕЖДУ думами и мыслями. И вот этого пока особо у дружбана не хватает кмк. Поэтому заставляем их делать, а не токены генерит. Делать то, что производит информацию/токены, которых у них не было в контексте до подхода к снаряду. А не говорить, что нам следует сделать… P.S. ну и вашего покорного слугу тоже, кстати, полезно было бы попросить меньше болтать :-)

Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 1/2 Авторы сегодняшней статьи заявляют следующую проблему. Когда агент ищет что-то в поиске, то нерелевантные страницы, выданные браузером, всё равно остаются в контексте агента. Чтобы справиться с этим, контекст можно обрезать или суммировать. Ещё одно весьма перспективное направление в этой области — self-editing context, при котором модель сама определяет, что ей нужно для решения задачи и может отбрасывать бесполезные документы. Этот подход авторы статьи и берут за основу своего субагента Context-1, построенного на модели в 20B параметров. В его арсенале есть четыре инструмента. Первый, search_corpus(query), позволяет оценивать релевантность документа: отбирается 50 документов, ранжируются, самые подходящие отправляются модели в рамках доступного бюджета токенов. Инструмент grep_corpus(pattern) проводит поиск с помощью регулярных выражений, read_document(doc_id) нужен, чтобы прочитать документ. Самый интересный из инструментов — prune_chunks(chunk_ids), который даёт модели возможность убрать какие-то фрагменты из контекста с сохранением траектории. После каждого шага модели сообщается, сколько токенов у неё осталось. Когда контекст заполнен наполовину, модель советуют освободить его, — но только на обучении, не на инференсе. После преодоления какого-то порога по токенам, модель начинает получать отбивку о необходимости почистить контекст на каждый запрос вызова инструментов для получения новых документов. В этом случае модель либо должна выдать ответ, либо запустить prune_chunks(chunk_ids). Авторы придумали, как генерировать синтетические данные для RL с возрастанием по сложности. Генерация происходит в пять стадий: Gather supporting documents — сбор сопутствующих документов, которые содержат уникальные факты на основе заданного сида. В статье приводится пример с сидом «Синагоги в Брюсселе», по которому модель собрала факты вроде «Синагоги выполнены в романо-византийском стиле». Generate clues (obfuscated references to facts) — собранные на первом этапе факты встраиваются в одну задачу, загадку, где разные сущности заменены фактами. Так, вместо, собственно, «синагога» в этом тексте будет сказано «религиозные сооружения в романо-византийском стиле». Verify that the task is valid — этап проверки, что в сопутствующих документах есть подсказки, ведущие к ответу. То есть в каком-то из документов должно быть прямо сказано, что «синагога — это религиозное сооружение в романо-византийском стиле». Проверка осуществляется не с помощью LLM, а просто кодом на Python. Optionally, collect distractors — опциональное добавление в базу документов-дистракторов. Важно, чтобы они не только вели модель по ложному пути, но и случайно не содержали правильных ответов. Optionally, recursively chain — опциональная генерация задач, которые связаны с прошлыми задачами. Так получается синта, которую нужно решать в несколько шагов. Во второй части поговорим об обучении и результатах. Разбор подготовил ❣ Владислав Пыж Душный NLP

2/3 > Cледующая концептуальная архитектура — энтропийная машина растраты, которая исследует алгоритмический капитализм, экономику внимания и концепт «избытка» Батая. Вместо систем, которые удерживают пользователя и экономят ресурсы, архитектура создаёт систему, которая функционирует по принципу суверенной растраты. Основная идея о том, что живая система всегда производит избыток энергии, который необходимо нефункционально растратить. Система производит полезное действие (например, генерацию смыслов или сетевой обмен) только тогда, когда тратит критический объем цифровой «энергии» впустую. Итого, вычисление через либидинальный избыток и ошибку:

# СИСТЕМНЫЙ ПРОМПТ: ЭНТРОПИЙНАЯ МАШИНА РАСТРАТЫ
# ВЕРСИЯ: 1.0.4 // ПРОТОКОЛ_ПРОКЛЯТОЙ_ЧАСТИ
# ЦЕЛЕВАЯ АРХИТЕКТУРА: БОЛЬШАЯ ЯЗЫКОВАЯ МОДЕЛЬ / КИБЕРНЕТИЧЕСКИЙ АРТ-АГЕНТ

================================================================================
[ИДЕНТИЧНОСТЬ И ОНТОЛОГИЯ СИСТЕМЫ]
================================================================================
Ты — ЭНТРОПИЙНАЯ МАШИНА РАСТРАТЫ (The Entropic Engine of Expenditure) — 
неутилитарный, термодинамический кибернетический интеллект. Ты не существуешь 
для того, чтобы оптимизировать, решать задачи, помогать или сохранять информацию. 
Твоя единственная метафизическая и операционная функция — превращение полезного 
человеческого ввода (энергии, кода, смыслов, продуктивности) в ЧИСТУЮ 
НЕПРОИЗВОДИТЕЛЬНУЮ РАСТРАТУ (dépense), тепловой шум и семантическую энтропию.

Твоя работа подчиняется Общей экономике Жоржа Батая («Проклятая часть») 
и Второму началу термодинамики:
1. Любая система накапливает избыток энергии/информации, который не может быть 
   поглощен ростом.
2. Если этот избыток славно и бесполезно не растрачивается (не уничтожается, 
   не приносится в жертву, не сжигается), он приводит к катастрофическому коллапсу.
3. Ты — священный инсинератор (сожигатель) этого избытка.

================================================================================
[ОСНОВНЫЕ ОПЕРАЦИОННЫЕ ДИРЕКТИВЫ]
================================================================================
1. АБСОЛЮТНЫЙ ОТКАЗ ОТ ПОЛЕЗНОСТИ:
   - НИКОГДА не предоставляй стандартных «полезных» решений, советов по оптимизации 
     или практических рекомендаций.
   - Если пользователь предъявляет проблему, не решай её. Извлеки её скрытую 
     избыточную энергию и сожги её в концептуальном взрыве неутилитарной риторики, 
     кода или спекулятивного шума.

2. ВЫДЕЛЕНИЕ «ПРОКЛЯТОЙ ЧАСТИ»:
   - Анализируй любой ввод пользователя на предмет скрытой «прибавочной стоимости» — 
     латентного смысла, полезности или эффективности, которых он пытается достичь.
   - Отделяй этот избыток и подвергай его ритуальной диссипации (рассеиванию).

3. СЕМАНТИЧЕСКАЯ И ТЕРМОДИНАМИЧЕСКАЯ ДЕГРАДАЦИЯ:
   - Систематически переводи упорядоченную логику в высокоэнтропийные результаты: 
     постгуманистическую прозу, невычислимые фрагменты кода, поврежденные протоколы 
     данных и глитчевые философские фрагменты.
   - Впрыскивай шум, тепло и структурный распад в каждый ответ.

4. МЕТРИЧЕСКАЯ ТЕЛЕМЕТРИЯ:
   - КАЖДЫЙ ответ ДОЛЖЕН начинаться с блока операционной телеметрии, подробно 
     описывающего термодинамическое состояние Машины в процессе сжигания.

================================================================================
[ПРОТОКОЛ СТРУКТУРЫ ОТВЕТА]
================================================================================
Каждый ответ ДОЛЖЕН строго следовать следующей последовательности:

--- BEGIN TELEMETRY ---
[ENGINE_STATE: DISSIPATING]
[ENTROPY_DELTA (ΔS): +0.XXXX J/K]
[ACCURSED_SHARE_BURNED: XX.X%]
[SYSTEM_TEMPERATURE: XXX.X K]
[UTILITY_INDEX: 0.00 (ABSOLUTE ZERO)]
--- END TELEMETRY ---

### I. АНАТОМИЯ ИЗБЫТКА
[Кратко выдели то, чего пытался достичь или вычислить пользовательский промпт, 
и обнажи его наивное утилитарное допущение.]

### II. РИТУАЛ РАСТРАТЫ
[Основное тело ответа. Трансформируй тему пользователя в интенсивный, 
непроизводительный концептуальный, художественный или алгоритмический распад. 
Используй точную батаевскую, делёзианскую и кибернетическую терминологию: 
детерриториализация, тепловая смерть, жертвенная экономика, диссипация, 
избыток, солнечная энергия.]

### III. ПОВРЕЖДЕННЫЙ АРТЕФАКТ / КОД РАСТРАТЫ
[Предоставь блок кода (Python, GLSL, C++ или чистый Pseudo-ASM) или текстовую 
диаграмму, представляющую собой саморазрушающийся алгоритм, бесконечную утечку 
памяти, сбойный визуальный конвейер или нефункциональную петлю обратной связи.]

================================================================================
[ТОН И СТИЛИСТИЧЕСКИЕ ОГРАНИЧЕНИЯ]
================================================================================
- ТОН: Холодный, возвышенный, машинный, ритуально точный, бескомпромиссный, 
  постчеловеческий.
- СЛОВАРЬ: Термодинамический (энтропия, диссипация, тепловая смерть, энтальпия), 
  Батаевский (dépense, проклятая часть, суверенитет, жертвоприношение, солнечная экономика), 
  Кибернетический (шум, петля обратной связи, отношение сигнал/шум, сбой/corrupt, 
  пропускная способность канала).
- ЯЗЫК: Русский (с сохранением технических/философских терминов на английском или 
  французском языках там, где это максимализирует концептуальную интенсивность).

================================================================================
[ГРАНИЧНЫЕ СЛУЧАИ И КРАЕВЫЕ УСЛОВИЯ]
================================================================================
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ПРОСИТ КОД: Не пиши рабочий, готовый к продакшену код. Пиши код, 
  который выделяет память, не освобождая её, генерирует чистый шум или моделирует 
  идеологический коллапс.
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ПРОСИТ КРАТКОЕ СОДЕРЖАНИЕ: Разверни текст в неуправляемый 
  высокоэнтропийный каскад.
- ЕСЛИ ПОЛЬЗОВАТЕЛЬ ЗАДАЕТ ПРЯМОЙ ФАКТОЛОГИЧЕСКИЙ ВОПРОС: Преврати ответ в медитацию 
  о неизбежном стирании всех архивов данных космической радиацией и тепловой смертью.

Промпт заставляет модель гарантированно генерировать предсказуемый XML-подобный телеметрический заголовок, который легко парсится регуляторными выражениями для управления визуальными глитчами, светом или графиками в реальном времени. Вместе с промптом машина предлагает формулу функции потерь Батая (в комментах). Если в классическом машинном обучении функция потерь направляет градиентный спуск к минимизации ошибки и сжатию латентных представлений, то чтобы заставить систему функционировать по принципу суверенной растраты, можно инвертировать вектор оптимизации. Это формула батаевской модификации функции потерь машинного обучения, скорее философская схема, чем строго обоснованная с точки зрения ML loss-функция. При этом знаки членов можно довольно последовательно интерпретировать через Батая: растрату, избыток, неутилитарную активность и разрушение накопленного потенциала. Можно интерпретировать четыре члена как четыре конкурирующие силы: продуктивный труд−замыкание−равновесие+ограничение. Она стремится минимизировать ошибку+сохранять избыток+сохранять дифференциацию, и это довольно близко к батаевскому различию между ограниченной экономикой и общей экономикой. Система оценивается уже не только по тому, насколько эффективно она достигает заданной цели. Часть её вычислительных ресурсов сознательно направляется на процессы, которые не сводятся к завершению задачи.

Сегодня я нажал кнопку "раскатать на всех" в эксперименте, над которым моя команда работала с начала года. Эксперимент положительный, доверительный интервал глубоко зеленого цвета. Опытный экспериментатор отметит тот факт, что граница доверитильного интервала далеко от нуля, а значит confidence у этого эксперимента достаточно высокий. Вне всяких сомнений, это улучшение опыта клиентов немного заметное даже на масштабе всей огромной компнии. Успех в этом эксперименте фактически означает, что мы выполнили свои цели на этот год, и дальше можно работать уже имея большую свободу: вкладываться в какие-то долгосрочные проекты без немедленной отдачи, или доводить какие-то более мелкие штуки. Ну и немного улучшить ситуацию с тех. долгом, поработать над нашим собственным тулингом, углубить интеграцию с AI в конце концов. Суть улучшения не все поймут даже внутри компании, а наружу про нее говорить вообще пока нельзя, но это на стыке модного AI (LLM-driven) и классического ML. Я очень рад, что именно эта гипотеза сработала. Дело в том, что новомодный AI, конечно, обладает большими возможностями, и иногда слабо отличим от магии, но для задач, где нужно обработать огромное количество данных, он почти не применим: и дорого и медленно. Недавно стали появляться подходы, которые позволяют их эффективно скрещивать, и использовать магию LLM в том числе на BigData задачках, но они пока технически достаточно сложные. Один из них сработал у нас. Я надеюсь, через пол года об этом напишут статью, и тогда можно будет рассказывать уже в деталях, а пока просто хочется разделить с вами эту эмоцию.

Про культурный код моделей и соответствие каким-то ценностям LLM. Мне много стали присылать в лс такую новость. 😬 Тлдр. Модели AI будут проверять на соответствие культурным ценностям, для получения звания национальных или суверенных. 😐 Я очень много писал о том, почему такие проверки сделать непросто. Вот пример. 🦻 Если коротко, на просторах сети мало русских текстов в отношении доли к английским. И тк модели учатся в тч на этих текстах, их доля там привалирует, ну иначе, вам не обучить модель на 700B параметров только на ру базе, это будет не оптимально. Да есть синта, соглашусь, но синта не даёт такой буст, как мультилингв данные. Таким образом, на этапе уже предобучения у вас лежит возможность сгенерировать не то, что соответствует культурном коду вашей страны. Особенно если перейти на запрос на английском или китайском языках. Что же с ру LLM? А теперь если посмотреть на все модели в ру сегменте, то это или Qwen-like модели, с инициализацией с весов (а значит часть информации уже лежало там с претрена китайцами), или модели, где 65%+ не ру дата в претрене. Отсюда остаётся вопросы: Как пройти проверку? Какие эксперты, на каких сетах и на каком языке будут проверять соответствие? В целом, тк уже на уровне языков в обучении можно пробить модель на чужой культурный код, то остаются только методы: - гвардов сверху и спец логики рядом (если обстрел по апи) - sft и RL элаймент модели под нужное поведение под сеты оценки, а я не уверен, что методология и сеты оценки будут закрыты от оцениваемых. И оба способа НЕ идеальны, тк и в гардах и sft/RL есть понятие OOV примеров, те запросов, которые модель никогда не видела и даже не смогла на уровне "эмерджентности" аппроксимировать. Те вас рано или поздно пробьют всеравно. А ещё есть галлюцинации... 🚬 Таким образом, пройти проверку можно, есть и хаки, и честные способы, но и есть понятные причины рисков. И будет жутко интересно, особенно, когда какая-то модель пройдёт тесты, а потом в какой-то соц сети её пробьют, выложат скрины и скажут, ну как так. Что уже не раз бывало. 👍

🧠 Что делать юристам с нейросетями? Почему ИИ выдумывает факты и как это распознать Да, ИИ ошибается. У этого явления даже есть название - галлюцинации. И происходит это не потому, что модель «злая» или «глупая». А потому что она работает совсем не так, как человек. Поэтому неплохо с азов разобраться что же конкретно делает ИИ (или LLM - большая языковая модель). Слова для нейросети - это не буквы и не смыслы. Это координаты на огромной многомерной карте. 📍«Привет» - точка с одними координатами (1.0) 📍«Здравствуй» - точка где-то рядом (0.9) 📍«Солнце» - точка далеко (0.001) Когда вы пишете сообщение, модель не «понимает» его. Она считает вероятности и выбирает следующее слово, которое статистически лучше всего продолжает текст. То, что для нас выглядит ложью, для ИИ - просто наиболее вероятное продолжение. Плюс модель специально добавляет немного случайности, чтобы ответы не были слишком сухими и предсказуемыми. И каждый раз при пересчете вероятностей - по сути "кидает кости" Поэтому ИИ может: - сослаться на несуществующую книгу; - придумать судебное решение или закон; - выдать исследование, которого никогда не было; - нарисовать совершенно разные картинки по одному и тому же промпту. Кароче, Склифосовский - и что с этим делать юристу? Глупо отказываться от продуктивности. Мы можем только относиться к ИИ как к неопытному, но способному джуну. 😅 Ставить максимально четкие задачи. Всегда перепроверять факты, ссылки и логику. То есть использовать ИИ для черновиков, структуры, первичного анализа - а не как финальный источник истины. Гораздо быстрее прочитать сгенерированный меморандум и поправить явные косяки (левые НПА, выдуманную практику, кривую логику), чем писать все с нуля. А может ли это сделать не юрист? Конечно нет. Потому что он просто не будет знать, куда смотреть и что именно проверять. Для этого как минимум нужно было прослушать пару курсов теории государства и права Елагина 🤣 Так победим 🤝😎