Метод Сам метод донельзя прост: - 📝 Не сжимаем промпт. - 🎲 В каждом слое и голове случайно выбираем токены для выбрасывания. И все! Почему это работает? Увидим ниже. Эксперименты 🧪 Эксперименты гоняют на семействе Qwen3 / Phi-4 (новые модели сжимать не так интересно, у них гребаные GDN-ы и SWA). 📊 Замеряют на бенчах по математике / STEM — где промпт короткий, а генерация довольно длинная. 🔍 Сравниваются с SnapKV, R-KV, Vase, TriAttention. Первое, что замечают: на разных бюджетах ничто из эвристик явно не побеждает случайный выбор. А что-то прямо себя плохо показывает. Анализируя токены, которые были выбраны, замечают, что лучше всего себя показывает то, что сохраняет как можно больше промпта. Если явно наложить требование не прунить промпт, то некоторым методам становится заметно лучше. Почему так? Промпт подается однажды и важен на протяжении всей генерации. В ризонинге же модель часто повторяет одно и то же, потому там больше избыточности. Кроме того, если попрунить информацию о токене даже в одной голове, то она может сохраниться в другой. Потом проводят синтетический эксперимент со вставкой простого факта (число = тому-то) и делают его ретривал. По отдельности головы плохо предсказывают факт, но в совокупности, как оказывается, уже 2–3, а чем больше, тем лучше. Кроме того, оказывается, что каждой голове не нужно держать непрерывный факт: если он разбросан по головам, качество ретривала почти не меняется. Токены можно прунить не поодиночке, а группами по несколько токенов. Казалось бы, более грубый выбор должен отрицательно сказаться на точности, но до поры до времени, пока размер блока не доходит до 256, результат почти не меняется. Это говорит о том, что модели достаточно иметь довольно неполную информацию, как-то разнесенную по головам, чтобы все еще успешно решать задачу. Где эвристики оказываются важны — это в задаче доставания passkey: если факт указывается в начале и не повторяется в процессе. Тогда случайный прунинг и все бейзлайны, кроме R-KV, лажают. 🚀 По throughput при сервинге (1k токенов на вход, 32k токенов на выход) на H200 через vLLM они оказываются быстрее TriAttention на 30–40%. Ускорение за счет того, что скоринг не требуется. Выводы Довольно интересный результат про сжимаемость KV-кэшей: как будто attention-based и прочие эвристики все равно не угадывают ничего лучшего, чем случайный выбор. Да и про размазывание информации по головам тоже интересное наблюдение, было бы интересно связать это как-то с interpretability. Однако у подхода есть серьезное ограничение — он не очень полезен, если сам промпт длинный.

Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning 📄 Статья С увеличением характерной длины контекстов в LLM все острее стал вставать вопрос о сжатии KV-кэша. Длинный KV-кэш занимает много места в памяти, а еще и замедляет инференс. Исследователи за последние несколько лет придумали много эвристик по прунингу / слиянию токенов разной степени безумия — одна якобы лучше другой. А тут вот ребята из Salesforce Research заметили, что рандомный прунинг работает, вообще говоря, не хуже всех этих хитроумных идей, а кроме того, предлагает более быстрый инференс ввиду отсутствия необходимости оценивать важность токенов.

Немного мыслей и заметок прошедшей недели. Делюсь с вами. Раньше расстраивали отказы. Сейчас больше раздражает, когда человек вроде сказал «да» и просто исчез. Отказ хотя бы даёт информацию, понимаешь, что не сработало, и можно вернуться позже. А вялое «да» незаметно съедает недели: ты уже заложил сделку в план, подключил команду, начал делать, и только потом понимаешь, что согласились скорее из вежливости. Поэтому теперь стараюсь проверять «да» сразу: не спрашивать ещё раз, интересно ли, а предлагать маленький шаг, дать доступ, выделить полчаса, подключить коллегу. Если на маленький шаг не находится времени, большого «да», скорее всего, тоже не будет. Похожая история с ценой. Клиент говорит, что дорого, и первая мысль, снизить цену. А потом смотришь на экономику и понимаешь: ты просто отдал часть маржи, а клиент всё ещё не уверен, что продукт ему нужен. Мне кажется, тут правильнее снижать не цену, а риск: короткая первая фаза, понятный результат, возможность остановиться. Потому что чаще клиент боится не суммы, а заплатить и не получить результат. И ещё одно: недавно вместо привычного «раз похожий продукт, значит конкурент» просто попросила показать, что они делают. Через двадцать минут стало понятно: мы работаем с одной аудиторией, но на разных этапах, они до нас, мы после. В итоге вместо разговора о конкуренции начали обсуждать, как передавать друг другу клиентов. Один звонок иногда экономит больше времени, чем попытки заранее угадать, конкурент перед тобой или нет. А самое важное решение за последнюю неделю выглядело максимально скучно: признать, что часть наших цифр сейчас недостижима, и поставить план ниже. В моменте это ощущалось как слабость. На деле команда просто выдохнула и стала спокойнее работать. Наверное, это тоже часть взросления, не всегда ставить цель выше предыдущей, а вовремя сказать: она была нереалистичной, пересобираем. Что думаете по этому поводу?👇🏼

Самый уникальный x86 процессор из 90-х — Cyrix MediaGX. Как инженерам Cyrix удалось уместить целый компьютер в два чипа? В 1997 году обычному ПК нужны были процессор плюс два-три чипа обвязки, северный и южный мосты, отдельная видеокарта, отдельный звук. А Cyrix выпустила MediaGX, которому хватало двух чипов на всё. Контроллер памяти, VGA-видеоядро, PCI-контроллер уехали прямо внутрь процессора, а чип-компаньон добрал звук с эмуляцией SoundBlaster, ISA, IDE, два USB и аппаратное декодирование DVD в придачу. И собрано это было на техпроцессе 350нм, за годы до того, как контроллер памяти в процессор начали встраивать Intel и AMD. Ядро тянуло на уровне Pentium MMX, а чип стоил в закупке 60-100 долларов, роняя цену готовой машины ниже полутора тысяч. История платформы на этом не кончается, позже её выкупает AMD, и автор считает MediaGX ранним прообразом идеи, которую индустрия назовёт своим термином только через 14 лет.

Рынок после закрытия - Мосбиржа: 2 266 пунктов (+0,5%); - РТС: 828,1 пункта (+1%); - RGBI: 113,79 пункта (-0,01%). ➡️ Индексы в реальном времени 📌 Главное к этому часу 🔶 Елисейский дворец сообщил, что американские переговорщики увидели готовность России возобновить переговоры после выборов в Госдуму в середине сентября. Официального подтверждения Москвы пока нет. • Эмиссар Штатов Стив Уиткофф заявил о значительном прогрессе и подготовке дополнительных трехсторонних переговоров России, США и Украины. Сроки встреч он не назвал. 🔶 Совет директоров ПИК проголосовал за делистинг акций, цена выкупа у несогласных миноритариев — ₽537,9 за акцию. Это ниже, чем цена, по которой мажоритарий — АО "Недвижимые активы" — реализует право требования выкупа еще не принадлежащих ему бумаг (менее 2% капитала). Она составляет ₽551,4 акция. 🔶 Евротранс ушел в фактический дефолт по всему массиву публичного долга. Причиной неисполнения обязательств эмитент называет "временную нехватку свободных денежных средств на счетах из-за неравномерного поступления выручки". • Также троих топ-менеджеров Евротранса заключили под стражу по делу о хищении моторного топлива, принадлежащего подмосковному главку МВД. Кроме того, задержан председатель СД компании Игорь Мартышов. 🔶 Йеменские хуситы нанесли удары по нефтяной инфраструктуре Saudi Aramco в саудовском Джизане. Причиненный ущерб пока оценивается, поэтому влияние атаки на поставки неизвестно. Brent подорожала и превысила $98 за баррель впервые с 24 июля. 🔶 Goldman Sachs предупредил о возможном росте Brent до $120 за баррель, если атаки на суда на Ближнем Востоке участятся. 🔶 ЦБ Китая приобрел в августе 650 тыс. тройских унций золота и увеличил резервы до 76,7 млн унций. Запасы достигли максимума с октября 2023 года, а закупки регулятора поддерживают спрос на металл. 🔶 ЦБ установил официальный курс доллара на 8 сентября на уровне ₽86,2 (-₽0,4). Евро подешевел до ₽100,2, юань упал до ₽12,9. 📍 Подписаться на канал | Мы в MAX

Новый вирус от клещей вычислили по «лишним» пациентам История началась со странной статистики (и, конечно, в Китае). Китайские медики проверяли 3163 человека с симптомами лихорадки, которую вызывает вирус Дабие (DBV) — его тоже переносят клещи. И у части пациентов анализ упрямо давал отрицательный результат: укус был, симптомы были, а известного возбудителя — нет. Таких необъяснимых случаев набралось 10,4%. Дальше учёные из пекинской Государственной ключевой лаборатории патогенов и биобезопасности пошли искать виновника. И нашли новый вирус — назвали ALTNV, по переносчику: азиатскому длиннорогому клещу Haemaphysalis longicornis. Сам по себе ALTNV выглядит не страшно: температура, слабость, расстройство желудка — типичное «что-то вирусное». Тревожно другое. У 38 пациентов нашли сразу два вируса, ALTNV и DBV. У этих людей болезнь шла заметно тяжелее — страдали лёгкие и почки, семеро умерли. Коинфекция, судя по всему, утяжеляет течение. Оба вируса живут в одном и том же клеще, специфического лечения нет ни от одного, ни от другого, а значит врачам в тех районах придётся научиться их различать. Пока такие случаи слишком легко списать один на другой. @vselennayaplus

❌ Что случилось с Wonder Family — исповедь коммерческого директора Про закрытие громкого проекта Wonder Family, сооснователями которого были Артем Голдман и Максим Спиридонов, стало известно в июле. Идея была в том, чтобы помогать франчайзи торговать на Amazon. Но не сложилось. И вот коммерческий директор проекта Дмитрий Нуянзин написал свою версию краха. Прежде, чем отправить вас читать этот текст, хочу напомнить про свой. Тогда в июле я поговорил с несколькими инвесторами, с сооснователями, чтобы понять причину стремительного закрытия Wonder Family. Ну, чтобы вы освежили в памяти. ➡️ Мой текст про Wonder Family А потом можете почитать и версию Дмитрия Нуянзина (надеюсь, я правильно транслитеровал Nuyanzin). Судя по его LinkedIn, он пришел в Wonder Family директором по маркетингу, а потом стал коммерческим директором и отвечал за выручку компании. ➡️ Текст Дмитрия Нуянзина (и архив — ну, мало ли) Там есть забавные детали. Например, про то, как основатель Артем Голдман спал под столом во время первого кризиса, а команда спорила, нормально это или нет. Или про то, как топ-менеджер увольнял сотрудника по голосовому сообщению. Текст большой. И я не знаю, как вам его кратко пересказать. Давайте я выделю несколько моментов, которые мне были интересны. 🔵 Роль основателя «Нетологии» Максима Спиридонова. Инвесторы-франчайзи, с которыми я разговаривал, говорили о том, что для них одним из решающих факторов было то, что Спиридонов там сооснователь. Но после краха проекта Спиридонов называл себя вовлеченным инвестором и говорил, что для него это «как снег на голову». Нуянзин пишет, что Спиридонов действительно в определенный момент стал кофаундером Wonder Family. И у него с ним были созвоны каждый четверг.

«Присоединившись теперь уже не только в роли инвестора, но и в роли играющего тренера / ко-фаундера – компания получила бешеный импульс. Просто представьте: компанию помогает строить человек, который построил Нетологию Групп и продал ее за миллиарды. Казалось бы, теперь у нас просто нет шансов, чтобы не получилось», — пишет Нуянзин.

Ну, и в LinkedIn у него указано, что Wonder Family была «founded by Maxim Spiridonov, Netology Group, and Artem Goldman, Forbes 30u30, 500 Startups» Получается, что Спиридонов сооснователем все-таки был, если уж команда так считает. Правда, Нуянзин отмечает, что после очередного пивота тот все-таки пошел заниматься другим проектом. 🔵 Причины краха Wonder Family В разговоре со мной Голдман и Спиридонов среди причин краха называли повышение тарифов Дональдом Трампом, что съело маржинальность, и затягивание гаек маркетплейсами.

«В совокупности это схлопнуло бизнес-модель, которая до этого выглядела вполне себе симпатично и неплохо себя показывала», — говорил мне Спиридонов.

После прочтения текста Нуянзина у меня сложилось несколько другое впечатление. У компании было несколько кризисов из-за нехватки денег. Они сокращали сотрудников, Нуянзин с Голдманом клялись на крови, что добудут деньги. И компания несколько раз меняла бизнес-модель, пытаясь исправить ситуацию. Перестали вовлекать франчайзи в процесс, а просто брали их деньги, занялись образованием, пытались делать свой AI.

«Если бизнес требует подвигов каждый день, то значит, что бизнес-модель сломана. Но тогда мы этого не знали», — пишет Нуянзин.

Выходит, что бизнес-модель работала как-то не так. Разве нет? 🔵 Насколько все плохо… А еще меня зацепила вот эта цитата почти в самом конце текста:

«Проблемы бывают у всех. Мы просто не знали, насколько все плохо»

Несколько странно читать от коммерческого директора про то, что он не знал, насколько все плохо в компании. Или я как-то не понял его мысль. В общем, советую потратить время на чтение текста. А интересные находки можете кидать в комментарии. P.S. Жалко, конечно, что не раскрыли, зачем компания оплачивала Голдману покупки в Farfetch, Balenciaga, Timissimi Online и Massimo Dutti. P.P.S. Картинку взял из статьи @TheEdinorogBlog — тот самый канал про стартапы🦄

Кради как художник, выкатывай быстро как Anthropic, прорабатывай детали как Apple. В одном моем сервисе слабый ретеншен. Около 15% доживает до конца третьего месяца. Это плохо, хочется больше раза в 3. Приток трафика сравнялся с оттоком. Поэтому выручка вышла на плато ~$4k Начал ресерчить, как удержать людей еще дольше, если они уже 2-3 месяца попользовались. Сделал ресерч. Искал решения, у которых самых долгий LTV и супер высокий ретеншен. Хотя бы 60% на горизонте 6 месяцев. Причем в список брал сервисы не AI-powered, а только Data-driven. Собрал списочек из 14. Разложил их на самые ценные фичи, за которые платят. Отобрал 3 опции, которые легко вшиваются ко мне в сервис и вполне релевантны по тематике. Взял самое «липкое». То, на что если подсел, потом не слезть из-за FOMO или удобства. Сделали ручную рассылку по старым юзерам, кто отвалился или просто пользуется без постоянной подписки. 5 из 15 сразу же купило. Остальные 10 не поняли прикола. Задавали вопросы по которым ясно, что не понимают ценность. Пошли дорабатывать выгоду на лэндосе и демку. Посмотрим что из этого выйдет через пару месяцев. И почему я раньше так глубоко не задумывался над фичами в разрезе их миссии?! За какие-то опции покупаются, а за какие-то продлевают подписку.

Нейромаркетинг в действии Нейромаркетинг помогает понять неосознанные реакции потребителей и повысить эффективность на всех уровнях бизнеса: 🔹 Упаковка: яркая и глянцевая вызывает больший эмоциональный отклик, чем матовая. 🔹 Реклама: ролики с эмоциональным сюжетом активируют мозг сильнее, чем сухие факты. 🔹 Цифровой контент: письма с интригующими заголовками («У нас подарок для тебя») повышают открываемость. 🔹 Интерфейс: короткие тексты и визуальные акценты увеличивают вовлечённость. 🔹 Офлайн-среда: медленная музыка и запах выпечки продлевают пребывание и стимулируют покупки. 🔹 Сообщения: дефицит и социальное доказательство усиливают мотивацию. 🔹 Прогнозирование: фМРТ и ЭЭГ точнее опросов предсказывают успех новинок. 💡 Наука помогает продавать — этично, точно и эффективно. Фаундер | Бизнес и Стартапы