Прочитал отличную заметку Shopify про gisting — сжатие системного промпта в обучаемые токены. По сути, это компиляция промпта. У GraphQL-агента Sidekick системный промпт занимал около 6 000 токенов, которые постоянно приходилось обрабатывать снова и снова. Prefix caching решает проблему лишь частично. Модели не нужно повторно вычислять KV cache для промпта, но при генерации каждый новый токен всё равно работает со всем контекстом. Чем длиннее промпт, тем больше памяти и времени требуется на каждый шаг декодирования. Придумали логичную штуку применить: gisting Как работает gisting. Сначала Shopify выбрали коэффициент сжатия 4:1(это гиперпараметр) и создали 1 500 новых специальных токенов вместо 6 000 исходных. Эти токены не были выбраны из системного промпта и не являлись его текстовым summary. Это просто новые ID вроде <GIST_1>, <GIST_2> и так далее. Дальше: * Все веса модели замораживаются. Обучаются только эмбединги новых gist-токенов. * Teacher-версия модели получает полный системный промпт, запрос пользователя и начало правильного ответа. На каждой позиции она выдаёт распределение вероятностей следующего токена. * Student-версия той же самой модели получает тот же запрос и ответ, но вместо 6 000 токенов системного промпта видит 1 500 gist-токенов; * Распределения teacher и student сравниваются через KL divergence. * Градиент меняет только эмбединги gist-токенов, пока student не начинает выдавать практически те же распределения ответов, что и teacher. * Изначально новые эмбединги можно было бы задать случайно. Но Shopify нашли более эффективную инициализацию: исходный промпт разделили на группы по четыре токена, а каждый gist-embedding инициализировали средним значением эмбедингов соответствующей четвёрки. Это снизило начальный loss в семь раз. При этом <GIST_1> не становится сокращённым обозначением первых четырёх токенов. Все 1 500 embeddings обучаются совместно и в итоге кодируют не текст промпта, а его влияние на поведение модели. Получаем сжатие поведения: модель учат реагировать на короткую последовательность обучаемых векторов так же, как на длинную текстовую инструкцию. В результате примерно 6 000 обычных токенов превратились в 1 500 обученных токенов. Модель ведёт себя так, будто прочитала полный промпт, хотя фактически получает его сжатое представление. После обучения никакой отдельной архитектуры не требуется. Эмбединги записываются в embedding matrix, токены регистрируются в tokenizer, а длинный промпт при запросе просто заменяется их последовательностью. Нет дополнительного encoder, специального attention mask или отдельного serving path. Результаты при нагрузке 350 запросов в минуту: — time to first token: с 438 до 354 мс, −19%; — полная задержка: с 6,8 до 4,2 секунды, −38%; — throughput: с 20,2 до 23,4 запроса в секунду, +16%; — требуемое количество GPU: −14%. Качество при этом не ухудшилось. Как они подбирали рецепт: Autoresearch-цикл сам менял гиперпараметры, запускал обучение и оценивал результат. Так нашли оптимальное сжатие 4:1. При дальнейшем уменьшении количества gist-токенов качество начинало падать. Для другой модели, промпта и предметной области граница будет другой. Предварительный расчёт teacher logits и токенизация сократили один обучающий прогон с 30 до 6 часов. Оказалось также, что усреднение функции потерь по токенам ответа приводило к галлюцинациям, а усреднение по batch сохраняло больше сигнала от длинных ответов. Хорошее напоминание, что даже в относительно простой оптимизации детали функции потерь могут полностью изменить поведение системы. Prompt engineering постепенно превращается в обычный ML engineering. Системный промпт можно рассматривать как исходный код, а gist-токены — как его скомпилированную версию. Здесь всё знакомо: датасет, distillation, loss, evaluation, нагрузочное тестирование, мониторинг качества и стоимости. #ArticleReview

Оч. няшное интервью CEO Shopify - Toby Lütke, на 2,5 часа. Немец в Канаде 20 лет строит компанию на $200 млрд (1/7ая SpaceX, но не такой буйный как Маск): Бизнес - Фирмам уже лет 500. Этот социальный конструкт (пусть и меняющийся) позволяет тысячам людей по 14 часов/день идти к общей цели. Но да, сегодняшние фирмы ужасны - через 20 лет это будет видно. И в целом прогресс - это способность оглянуться назад и понять, а как можно было сделать лучше? - Конкуренты важны: Агасси не стал бы собой без Сампраса - тк вдохновляющее соперничество и позволяет не просто копировать других, а инновировать. Крутые художники влияют на работы друг друга, в бизнесе - аналогично - Биографии фаундеров - это чит-коды из тысяч лет опыта, сжатого в часы. Larry Ellison чуть не угробил бизнес не понимая мотивации отделов продаж, но почитал биографии и понял, что ошибка типичная. А просто бизнес-книги не ОК: они слишком упрощают реальные проблемы Развитие - Аффирмации работают т.к. они перезаписывают наш кортекс, и мозг подтянет нас под желаемое - Биографии людей по всея миру показали мне схожие паттерны + добавило мне стоицизма + позволило переизобретать с опорой на уникальность. Успех требует отличаться, не как все, не имитировать - Я кайфую, когда нахожу проблему. И тут важны первые 5 слов: а что и как ты формулируешь? В тч когда потом несешь инженерам решать "what about this, guys?" - чтобы они не ушли в защитный режим. Инструмент - топчик.. High agency - Бизнес-интуция не есть внутренняя данность: она меняется от декады к декаде и от одной технологической эпохи к другой - У фаундеров есть раздражение про что-то недостаточно хорошее когда многим людям и ОК. И фаундеры не скрывают истины из-за статус-кво или политики. Рокфеллер еще 150 лет назад строил свои команды топов из фаундеров Лучшие практики - Вкус и предвзятость крайне важны. А иначе не будет убежденной позиции. Но в бизнесе есть гигантский заговор против этого: тк типа это не формализовать, не квантифицировать - Людей не надо, как в корпорациях любят - держать за ручку как детей. Дайте сотрудникам свободу: их воображение шире вашего. Просто все итерационно, с фазами - тогда и будут эти life changing инсайты. Da Vinci не работал по OKR )) Идеал это когда вся фирма - поле для креативности - У нас офисы не open space, а блоки по 5 чел. - для уюта как в маленькой компании. И цена офиса не влияет на успех бизнеса Silicon Valley - Ортодоксия - это ужасно. Мы вот специально вдали от Silicon Valley свою культуру строили: нам важнее не быть правыми, а общее строить. И мы же просто инструмент для кучи фаундеров в e-com в их самоактуализации - А еще с Гугл сложно конкурировать по з/п. Но зато вот на East Coast мы, может, здесь и самые лучшие.. И еще бывшие клиенты (!) шли к нам работать - мы пронизаны импульсами предпринимательства Пандемия - Covid спустя 5 лет после IPO помог вглядеться в хаос в компании и за год я порезал 60% проектов - это ненужные фичи, пусть и от талантливых команд. В софте же нет издержек как в физическом мире - вот инженеры и не ощущают косты этого для бизнеса.. - Все же да, Shopify - это фаундеры для 4 млн других фаундеров - торговцев в e-com'е. И ряд мерчантов росли быстрее, чем мы - огонь! Крах наших акций в 2021 - После короны упали на 80% - рынки акций похожи на рынки ставок и Polymarket, а не на real value creation. Мы запилили а-ля Shopify OS и увидели: на 8 тыс штата у нас 5 тыс разных должностей. Стали упрощать, найм сэйлзов требует сперва уволить инженеров итд. Крч, как Bezos: строили great company - У нас individual contributors получают $ не меньше менеджеров. Еще даем людям выбор в бонусах какой % акциями, а какой кэшом Предпринимательство - Мне кажется, что желание, если что - пойти и начать строить свою компанию - оно должно стать "планом Б" для каждого. Ведь это то, что люди хотели бы, но: у них страхи.. А сейчас ведь проще, чем раньше: есть 3d printing, пластмассы, роботы, on-demand manufacturing итп - И в этом плане моя миссия уже 20 лет как: помощь предпринимателям, купцам - в их самоактуализации. И пока у меня это получалось

За что я очень люблю Нью-Йорк 🗽 Помимо того, что сейчас в целом тут активностей итак миллион (финал fifa, премьеры фильмов, nba). Сегодня вечером у меня целых три проф мероприятия, и на все три планирую пойти. Во-первых, Snowflake!! Сами меня пригласили, написали в LinkedIn и позвали в Aman, один из самых лакшери отелей города. Будет панель про женщин в data и AI. Во-вторых, Shopify в их флагманском сторе в Сохо. Будет вечер без презентаций, просто живые разговоры, food, летние напитки, charm bar. И в между ними по зуму - graduation в Clay. Очень интенсивный день получается, но именно за такую плотность возможностей я и люблю этот город. Лето в Нью-Йорке - one love ❤️