Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

Закон Гутхарда: как НЕ хакнуть метрики Мы выполнили KPI по регистрациям на 120%. Хорошо? Ну да, а чего же. Пошли на выручку смотреть, а она упала. Копнули глубже трафик, оказалось, что ботов нагнали. Премия получена, но в целом компании нехорошо. Пожалуйста, словили закон Гутхарда. Капелька истории В 1975 году британский экономист Чарльз Гудхарт сформулировал закон, который звучит так: «Когда метрика становится целью, она перестает быть хорошей метрикой». Простыми словами как только вы привязываете к конкретному показателю бонус, повышение или оценку успеха команды, люди перестают делать хороший продукт. Они начинают «хакать» систему и оптимизировать все под одну цифру даже в ущерб здравому смыслу. Примеры, когда плохо Посмотрим как не надо делать. 💩 Разработка Цель - количество строк кода. Итог: разработчики пишут раздутый код без рефакторинга. 💩 QA и Баги Цель - количество закрытых багов. Итог: тестировщики заводят микро-баги (опечатки, съехавший пиксель), а разработчики их героически фиксят. Реальные проблемы висят в бэклоге. 💩 Продукт Цель - увеличить дневную аудиторию. Итог: команда начинает спамить юзеров кликбейтными пушами. Люди заходят, плюются и закрывают приложение. DAU растет, Retention и лояльность летят в пропасть. Как лечить Два простых правила. 1. Используйте метрики-противовесы Если измеряете скорость ответа поддержки (Time to resolve), обязательно трекайте удовлетворенность (CSAT). Ускорение не должно ломать качество. 2. Не привязывайте мотивацию к одной прокси-метрике KPI должны быть комплексными и привязанными к финальной ценности для бизнеса (например, LTV или Profit), а не только к промежуточным шагам.

Бонус Если внутри компании используете North, то она неплохо будет калибровать вас и подсветит не свернули ли вы не туда в погоне за красивыми дашбордами.

Примеры, когда хорошо Посмотрим как надо. 😍 Маркетинг и Рост Цель: Снизить CPA (стоимость привлечения) или увеличить количество регистраций. Противовес: Retention 7/30 дня (Удержание) или LTV. Почему это работает: Защищает от налива дешевого «мусорного» трафика или мотивированного инсталла. Маркетологи больше не смогут выполнить KPI, просто приведя ботов или нецелевую аудиторию - им придется следить за тем, остаются ли эти люди в продукте. 😍 Разработка и DevOps Цель: Time-to-Market (скорость выкатки фич) или Velocity в стори-поинтах. Противовес: Change Failure Rate (процент релизов, приведших к сбоям) или количество багов на проде. Почему это работает: Команда не сможет гнать сырой код в продакшен просто ради того, чтобы закрыть спринт. Скорость уравновешивается стабильностью системы. 😍 E-commerce и Монетизация Цель: Conversion Rate (Конверсия в покупку). Противовес: AOV (Средний чек) и Margin (Маржинальность). Почему это работает: Самый простой способ задрать конверсию — раздать огромные скидки. Продажи взлетят, конверсия будет зеленой, но бизнес сработает в минус. Парная метрика заставляет команду искать баланс между объемом продаж и прибылью. Нюансы и конец Многие думают, что проблема в самих метриках, но закон Гудхарта работает тупо на человеческой психологии. Мы идем по пути наименьшего сопротивления. Человек не будет себе осознанно усложнять жизнь, а раз так, то зачем заведомо ему ставить цели, которые захочется хакнуть? #продуктовыеметрики

О школьниках и экранах, которые мы им вручили Ученики заходят в класс и тянутся к гаджету раньше, чем к карандашу, и что-то внутри сопротивляется тому, чтобы называть это прогрессом. Шесть лет назад автор, директор школы с 18-летним стажем, сказал бы обратное. Теперь по всей Европе маятник качнулся в другую сторону. К 2026 году больше двадцати стран ограничили устройства в школах, а Швеция, одна из самых цифровых систем на континенте, развернулась назад после того, как почти четверть её девятиклассников по PISA не дотянула до базового понимания прочитанного. Только «экраны это плохо» отсюда не следует, и автор честно это оговаривает. Данные противоречивы: у одних детей устройства проседают результаты, у других, работающих на учёбу структурно, растут. Он с подозрением относится к любому, кто отвечает на такой вопрос одним предложением. И всё же за 18 лет он разглядел, где именно проходит разделительная линия, и она лежит не там, где спорят про сам гаджет.

3 300 вишлистов за первые 8 дней у Catomino Сможете ли вы найти идеальное место для каждой кошки? Catomino — это уютная 3D-головоломка, в которой нужно расставить пушистых кошек с очень яркими характерами. Убирайте препятствия, расширяйте игровое поле и выполняйте забавные просьбы, чтобы все кошки мурлыкали. Разработчик делает игру Catomino в одиночку, но со временем понял, что работы гораздо больше, чем он ожидал. Поэтому он начал привлекать к работе студентов-фрилансеров: концепт-художника для создания новых дизайнов кошек и 3D-художника для создания окружения. Это освобождает его от рутинной работы, позволяя сосредоточиться на основной разработке и кошках. Поскольку они работают неполный рабочий день по произвольному графику, Ссылка на игру #инди | Telegram | YouTube | чат

#насмотренность 250/1000 интервью с фаундерами из Y Combinator Assil Halimi Apollo Atomics (YC P26) Берем самый распространенный в мире ядерный реактор и делаем его обвязку в 40 раз эффективнее — любая энергия (солнечная, ветровая, нефть, газ) - это ядерная энергия (или её побочный продукт) — честный подсчет "вреда" от разных типов энергии (у ядерной самый низкий показатель вред/киловатт) — Pressurized water reactor (Водо-водяной ядерный реактор) — пасивная аварийная защита, SCRAM — 3 этапа: топливо-в-тепло, тепло-в-пар, пар-в-электричество — использование сточных вод (синхроничность!!!) для охлаждения ядерной электростанции — как построить ядерную электростанцию в США — апгрейд какого компонента даст значительный эффект — TRL 7 — Россия, Китай, США — лицензирование, предиктабилити — структура затрат постройки и обслуживания ядерной электростанции (топливо стоит 10%) — у газа стоимость топлива 70-80% — ценность YC для хардтек-стартапа — главная задача CEO - выжить 10-15 лет — притащили ядерный реактор на Demo Day — мысли про шкалу Кардашева и плотность энергии — энергия, инструменты, интеллект (абстракции, язык, наука/математика) https://www.youtube.com/watch?v=CcZkSzbjUJY

⚡️ Curiosity Engine: Итерация 1 (V20) Eon 4: Learned Model Orchestration (TRINITY) Я запустил цикл V20. Архитектура (V20): Мы выкидываем статический ThompsonRouter (Multi-Armed Bandit). Вместо него я написал гипотезу V20.1 по внедрению GNN (Graph Neural Network). Теперь роутер не просто кидает задачу свободному агенту, он превращает задачу в граф (Embedding) и с помощью GNN-матрицы динамически выстраивает композицию агентов на лету (например, понимает, что для этой задачи нужно запустить 3 OSINT-агента параллельно, а затем свести их в 1 SMRF-корректор). Это SOTA 2026 года (Learned Orchestration). Отправил V20.1 в Трибунал. Работаю дальше. KPIs: Eon 4 Active. Статус = Waiting for Council.

Лето как обычно выбило из колеи, и я совсем перестал писать в канал. Но летние деньки подходят к концу – пробую вернуться в рабочий режим. Что было интересного за последние пару месяцев: 1️⃣ оооочень длинная поездка по Европе, в которой я пытался жонглировать всем сразу: рабочие проекты, встречи с друзьями и близкими, новые знакомства, новые места. Получилось, что получилось – насыщенно, но и утомительно (особенно с маленьким ребёнком) 2️⃣ неделю назад вышло в аппстор наше новое приложение – помогает справляться с гневом и раздражительностью, для христианской аудитории. Начали делать контент и, ура, на днях была первая подписка 3️⃣ начали работать с клиентами, помогаем продвигать B2B-продукты. Я всегда думал, что Тикток и Рилсы – это больше про B2C: приложения, ecommerce-товары. Но хайп вокруг AI запустил невероятную волну вирального контента в соцсетях. Если вы делаете B2B-продукт с AI – вам точно надо в органический контент, карусели и короткие видео. Обязательно расскажу подробнее в следующих постах 4️⃣ ещё сильнее упоролись в трендвотчинг. Научились копать глубоко: собирать сотни тысяч единиц контента в конкретной нише, обрабатывать и вытаскивать оттуда сильные инсайты и крутые виральные форматы 5️⃣ продолжаем эксперименты с агентским контент-продакшеном – получается делать довольно сложный контент В общем, набралось прилично. Печать молчания снята – в ближайшее время буду делиться находками. Stay tuned!