Метод отжига от зацикливания вашего агент 😗 Сижу я тут в одном чатике. И вижу сабж от @asboltenko:

К слову хотел поделиться лайфхак, на случай если пропустили, если и когда агенты начинают тупить и топтаться на месте в решении какой-то задачи, им нужно сказать "проведи исследование", "поищи информацию", тогда у них включается режим исследования и они выходят за рамки своих знаний и начинают искать и изучать информацию и результат резко улучшается.

И тут я думаю, так это же похоже на метод отжига в мат.оптимизации. Если только немножко его доделать под LLM и агентов. 🧠 Ну действительно, представьте, вы уже знакомы с self refining и OPRO/GEPA методами самоулучшения рассуждений и промптов. В них мысль проста, ваша среда - политика это и есть модель, она порождает на контекст генерации, значит её можно bbox оптимизировать направленно при помощи управления промптами и/ или параметрами генерации. Таким образом, мы живём в пространстве возможных генераций от входа. Теперь идём дальше, вот цитата выше - агент застрял в решении,те сошёлся в локальном минимуме возможных исходов генераций. Как его оттуда сдвинуть? 1. Смена температуры. Когда вы говорите "проведи исследование", вы переключаете агента из режима greedy decoding в режим исследования - аналог поиска в глубину против поиска в ширину. Чтобы усилить эффект, можно явно попросить: "Сгенерируй 3 самых диких/неочевидных гипотезы, даже если они ошибочные" - это тот самый "шаг назад в менее выгодное решение", который выбивает из локальной колеи рассуждений. Кстати, мы люди, также делаем порой. Говорим себе стоп, давай начнём сначала или сделаем шаг назад. 2. Декомпозиция шага назад. Метод отжига требует времени на "остывание". Поэтому после команды" "исследовать" обязательно нужно дать лимит:" ..выдели на это 5 итераций размышлений, а затем вернись к исходной задаче и предложи финальный план". Иначе агент может улететь в бесконечный поиск и перерасход токенов. 3. Критическая разница с мат. оптимизацией. В математике отжиг принимает плохое решение на основе функции вероятности. В LLM мы не можем доверить случайность - вместо этого просим сменить перспективу. Это и дает тот же эффект перепрыгивания ямы, но детерминированно и осмысленно. Лайфхак вдогонку. Если агент топчется, скажите не просто исследуй, а "составь карту неопределённости" – перечисли, чего именно тебе не хватает для решения. Это принудительно расширяет границы знаний перед тем, как начать гуглить, и резко сокращает галлюцинации во время этого отжига. Однако правило, как понять, что агент застрял всеравно придётся написать. 👍 И да, что метод из цитаты. Что улучшение отжига требует больше токенов, но может спасти вас от траты того же числа токенов не тупик и зацикливания. 🧠

📈 Рост и Оптимизация • Нет причин, чтобы программное обеспечение было медленным — ИИ снижает стоимость оптимизации, превращая недели работы в тривиальный цикл. • Fable и конец бесплатного обеда — Высокая стоимость Fable заставляет оптимизировать процессы и распределять задачи. • Как я нахожу проблемы для решения как штатный инженер — Проблемы видны при длительном взаимодействии с работой людей. • Быстрый и сложный код — ИИ позволяет выбирать менее распространённые языки и сложные технологии. • Agent.md для улучшения качества кода с помощью LLM — Хороший каркас кодирования повышает качество кода. • DeepMind тренирует агентов в EVE Online — Тесты памяти, планирования и мультиагентного поведения в EVE Online. • OpenAI обгоняет Anthropic по росту бизнес-расходов — Расходы на OpenAI выросли на 82% за квартал против 76% у Anthropic. • Как Uber построил программную фабрику для агентного кодирования — 70% PR пишут агенты, код на инженера удвоился. • Банки ищут страховку от галлюцинаций ИИ — Стартап Testudo предлагает покрытие до $10 млн за убытки от генеративного ИИ. • Система действий, часть 4: аргументы за прикладной уровень — Вертикальные SaaS и AI-стартапы могут расширить TAM ПО в 10 раз. • Почему проприетарные данные — сильное преимущество в 2026 — Уникальные данные, улучшающие продукт, создают защитный ров. • Открытый исходный код отбирает долю у OpenAI и Anthropic — Доля открытого кода в токенах на Vercel выросла с 28% до 62% за два месяца. • Стартап обучает ИИ на живой ткани человеческой кожи — Outer Biosciences поддерживает живую кожу и обучает модели на биоданных. • Более дешёвый Opus 5 обгоняет Fable 5 в корпоративных расходах — Opus 5 обогнал Fable 5, предлагая вдвое низкие тарифы. • Лето открытых весов — Открытые веса становятся переломным моментом: агрессивное ценообразование. • Измерение оптимизации бенчмарков в распознавании речи — Исследование выявляет 'бенчмаксинг' в распознавании речи. • Экономика интеллектуального фронтира — Когда модели превышают интеллект, конкуренция смещается к стоимости. • Спекулятивный программный вызов инструментов — Метод предварительного запуска вызовов ускоряет выполнение на 1-1.2x.

Накопилось по #MinimaxH3 - часть 5 reddit.com/r/StableDiffusion/comments/1vtv0qs/psa_in_h3_you_can_set_custom_soundtracks_without - кастомный саундтрек в H3 через латентные маски шума в FL2VA. Работает с липсинком huggingface.co/datasets/malcolmrey/various/blob/main/h3-center/known-characters/INDEX.md - список персонажей известных H3 с видео-примерами huggingface.co/LBH-123-AI/Minimax_h3_latent_Upscaler - латентный апскейл в стиле LTX 2.5: проход на 0.2–0.5 масштаба, быстрый нейроапскейл. Рендер за 3–4 мин, детали лиц и движение чистые github.com/PlagueKind/ComfyUI-PlagueKind-Nodes - нода sparse attention SLA для H3 - ускорение до 2.5x. Работает с любым турбо, не требует SLA LoRA. В паре с ComfyKitch attention еще 5–10%. Ставить после лора лоудера github.com/eedali/LM_Connect - подключение LLM к ComfyUI: LM Studio через API или GGUF локально. Есть фича писать промпты MiniMax H3 #comfyUI #upscale #optimization

Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

Я не очень люблю использовать готовые библиотеки для решения специфичных задач [1], т.к. они обычно представляют из себя комбайны с кучей ненужных фич и странных нюансов. А подстраивать их под себя бывает сложнее, чем написать нужный минимум. То ли дело stack flattening - убираем лишний слой абстракции и прямо в коде проекта реализуем ровно те 5% функциональности, которые нам нужны. Без сторонних зависимостей и уязвимостей. А потом, если что-то нужно поправить - поправляем. Особенно это удобно стало с современными coding агентами. Скажем, мне не нравилось, что у меня BDD спеки проекта запускаются последовательно, используя только одно ядро ноутбука. Это же не эффективно. Но “запускатор” - это всего несколько файлов внутри проекта, поэтому я просто попросил Codex распараллелить выполнение. И он реализовал это в режиме piecemeal growth за счет добавления 55 строчек кода. Скорость сразу подросла до более приятных глазу значений:

specs:  77 passed, 26 failed at 2532.9/sec
checks: 451 at 11090.7/sec

На таком объёме экономия десятков миллисекунд погоды пока не делает. Зато теперь тот же паттерн перенести без изменений в другие проектах, где спеков может быть намного больше. Ваш, @llm_under_hood 🤗 — [1] речь не о том, чтобы заменить все зависимости, а только хвост мелких второстепенных.

Пользователь Reddit под ником No-1nternet напомнил про встроенную в Windows 10/11 функцию Compact OS, которая одной командой compact /compactos:always сжимает системную папку. Коэффициент сжатия примерно 1,8 к 1, влияние на производительность около 1%. Сам автор держит её на рабочем и игровом ПК уже 6 месяцев и разницы не почувствовал. Работает это не через старое NTFS-сжатие с синими именами файлов и алгоритмом LZNT1. Compact OS цепляется к отдельному драйверу фильтра WOF, ставит Reparse Points с тегом IO_REPARSE_TAG_WOF и жмёт современными XPRESS и LZX. Режим тянет что UEFI, что BIOS. Цифры Microsoft показывают счёт на Windows 10 x64 с 4 ГБ памяти. Без Compact OS папка весит 15,06 ГБ, с ним падает до 11,3 ГБ, а с включённым single-instancing уходит до 10,09 ГБ. Почти 5 ГБ системного диска отыгрываются строчкой в CMD.

Наконец появился первый пример "хитропопой" математики, где в разных пространствах / отображениях можно сокращаться вычислительную мощность на порядок. 🏆 Итог: Мы ускорили поиск в 2.4 раза (Speedup: 2.4x) и математически гарантировали 100% стабильность на любых глубинах графа. + еще один апдейт который коренным образом решает проблемы "шаров пуанкаре" и то что Float Drift в Лоренце появляется. Чуть позже расскажу и аналогии нарисую про Hyperbolic Voronoi Cells (Оптимизация). 🤔🧠 Гиперболические ячейки Вороного (Hyperbolic Voronoi Cells) в задачах оптимизации и машинного обучения используют для эффективного представления и кластеризации иерархических данных (например, сложных графов и сетей), так как геометрия Лобачевского позволяет размещать экспоненциально растущие объемы данных без искажений.

Токен максинг и два клода Друзья, надо поговорить об этом. Иногда мне кажется нам антропик раздает разные лимиты на одной и той же подписке клода за 200, но у меня лимит не кончается, а у многих кончается. Почитав чатик, я пока склоняюсь к одной концепции: слишком зря вы часть лимитов расходуете. Если вы любите Fable, используйте его ТОЛЬКО для анализа и планирования. Сам код писать Opus 4.8-5 отлично умеет, поверьте. Не надо Fable тратить зря на кодинг сам. Тогда у вас хватит лимитов. Я вообще редко на Fable сижу, чисто на одном Опусе работаю. Я заранее примерно понимаю как должен выглядеть проект/исполнение и именно это набираю в Опус. Я planning mode месяца 3 не использую и сижу на auto-mode и этого отлично хватает. То есть как всегда knowledge is power. Любые проблемы решаются либо бабками либо головой. Поэтому если хочется поменьше денег тратить, чутка поботайте базу как устроено то, что вы просите клода сделать (маркетинг/продажи/архитектура фреймворка на котором кодите). Ну а на крайняк, держите вторую подписку но не клода, а чего-то другого. У меня на бекапе кодекс за 100. Есть эффект для существующих проектов, где клод уже делал че-то там нормальная теор-база лежит и кодекс это одуплит и неплохо закодит в тот редкий день, когда лимит "завтра ресетнется". Напоследок повторю - представьте есть конус внимания. Лимиты кончаются быстро, если конус слишком широкий. Его надо сузить. Либо фейблом на стадии планирования (хотя честно говоря опус не хуже делает), либо знаниями сразу направить AI в нужное русло

📌Scale AI измерила, насколько хорошо модели переписывают других агентов HarnessOpt-Bench - бенчмарк, который проверяет, умеет ли модель улучшать харнесс чужого ИИ-агента. 🟡Механика Модель-оптимизатор получает исходную обвязку целевого агента, размеченную обратную связь по результатам прогонов и фиксированный бюджет. Она переписывает код, а в конце собирает финальную версию, которую оценивают на отложенном наборе задач - его оптимизатор во время работы не видит. Тесты выполняются в доверенной среде исполнения на базе VeRO - она следит за бюджетом, прячет отложенные данные, считает потраченные токены и сохраняет каждую версию для аудита.

Так сделали для того, чтобы защита от накрутки была свойством песочницы, а не инструкцией, которую модель может обойти.

🟡Результаты Прогнали пять топовых моделей на четырех наборах - OfficeQA, BrowseComp-Plus, Terminal-Bench и GAIA, - всего 111 запусков. Модели четко разошлись по уровням, причем выбор самой модели влияет на результат примерно в 1,8 раза сильнее, чем то, в каком кодинг-агенте она работает. Впереди Opus-5, она выбрала около двух третей доступного запаса улучшений на OfficeQA и половину на BrowseComp-Plus, а всего выиграла три задачи из четырех. Родная среда для модели (Сodex для GPT, Сlaude Сode для Claude, Kimi Cli для Kimi) устойчивого преимущества не дает. Отдельно Scale AI посмотрела динамику по поколениям. У пяти релизов GPT прирост рос монотонно, с +0,03 до +0,49, у пяти релизов Claude Opus - с +0,37 до +0,59.

Важно понимать, что настоящим самоулучшением это назвать пока нельзя, так как одна модель переписывает среду другого агента, исходный тестовый харнесс которого специально был сделан с большим запасом для оптимизации.

@ai_machinelearning_big_data #news #ai #ml

Наблюдаю и у клиентов и по обратной связи от маркетологов на собеседованиях, что команды маркетинга в небольшом бизнесе становятся меньше. Бизнес порезал косты на брендэвернес и подобное, плюс автоматизация таки кого-то да заменила. Из восьми условных человек в маркетинге остаётся три. При этом руководители дешевле не становятся. Как же так, подчинённых-то меньше?

Очень жаль, но все же на трёх сотрудников нужен такой же хороший руководитель, что и на восьмерых

Gallup сделал анализ > 200 000 команд. Размер команды сам по себе эффективность не определяет, определяет качество руководителя. Плохо управляемые команды буксуют, даже когда они маленькие. Подчинённых стало меньше, а решений нет. В какие каналы идти, что резать и где найти дешевые продажи, что делать, когда основной канал отвалился. Этих решений не стало меньше после сокращений Сократилась функция менеджмента, а функция принятия решений = ответственность осталась той же, с чего вдруг руководителю дешеветь Какие у бизнеса есть варианты сэкономить на руководителях: 1 — загрузить руководителя исполнительскими задачами. По данным Gallup, так живёт почти весь рынок: руководители тратят медианно 40% времени на работу рядового специалиста. Правда, не каждый захочет это делать долгосрочно, особенно топ. 2 — взять человека на парттайм. Платить не за присутствие сорок часов в неделю, а за те решения и их внедрение, ради которых он нужен. Российских данных по fractional модели мало. Однако опираюсь на свою практику: за последние полтора года запросов ко мне на fractional стало заметно больше