Сухаил Доши Когда мы видим финальную работу фаундера или артиста/художника, мы часто видим конечный результат. Творцы не говорят о вещах, которыми не гордятся и скрывают их от публики. Восторг от финальной работы, часто лишен той перспективы и дисциплины, которые необходимы для достижения этого результата. Это *нормально*, что фаундеры обычно проходят через 4-5 эпичныхпровалов (часто каждый из которых занимает 6-12 месяцев), прежде чем «случайно наткнуться» на идею, которая наконец-то работает. Музыкант часто делает около тысячи «нормальных» песен, прежде чем создаст песню, которая наберет 1 миллион прослушиваний. Пол Грэм YC иногда может уместить эти 4-5 провалов менее чем в 10 недель!

Ловлю культурные шоки в США. По телевизору в кафешке крутилась реклама рецептурного лекарства. Ооочень долгая и подробная: сценки с людьми, которым полегчало после приёма препарата, перебивались буквально чтением инструкции и перечислением списка побочных эффектов. Суммарно это всё длилось минут пять Ещё раз, лекарство рецептурное. Вы не можете просто пойти и купить его, сперва нужна выписка от доктора. Рекомендацией к нему обратиться и заканчивалась реклама. Но почему вообще пациент может рекомендовать доктору, что тот должен ему выписать? Поделился этим шоком с людьми. Мужчина, работавший в медицине в трёх разных странах, высказал неожиданную точку зрения, почему это бывает неплохо. Не все врачи следят за новинками в области лекарств. Кто-то выписывает одно и то же уже не первый десяток лет – по привычке или потому что главный приоритет уже не улучшить жизнь пациентов, а самому дожить до пенсии. Кто-то и вовсе выпишет старое лекарство, требующее внутримышечное введение, вместо современной таблетки, чтобы клиника получила больше денег за проведение процедуры. Если пациент принимает более активное участие в процессе лечения и спрашивает о новых лекарствах, врач должен обосновать отказ или согласиться выдать более современный препарат Использование самых лучших методов лечения – это, на мой взгляд, безусловное благо. Но не уверен, что коммерческие рекламы – лучший (или вообще хороший) способ его достижения А что думаете вы? #медицина@chelovek_nauk #культура@chelovek_nauk

Я на ICML в Сеуле, и тут на main conference аж две мои статьи, чем я очень горжусь! Но и это еще не все, еще две статьи — на MechInterp воркшопе, который будет 10 числа. И сегодня уже через пару часов буду стоять у постера одной из статей (если мне его таки распечатали))), поэтому приходите в HALL A #2606 в первую постерную сессию посмотреть на меня и помочь толпой сделать вид что статья популярна, хах Статья: MidSteer: Optimal Affine Framework for Steering Generative Models (arxiv link) Это — вторая моя статья по теме representation engineering, и первая попытка уйти от чисто эмпирического рукомахательного рисерча и сделать что-то более математически/теоретически обоснованное. История такая: как я писала раньше, первой моей статьей по этой теме была CASteer — steering-метод для удаления концептов из активаций диффузионной модели. В CASteer стиринг для удаления применяется довольно наивно, без нормального теоретического обоснования, только что-то вроде "ну вот у нас есть linear representation hypothesis, поэтому логично двигать активацию в сторону анти-стиринг-вектора, и давайте подвинем именно на такой коэффициент потому что такая трансформация сохраняет норму". После того, как я доделала CASteer, мне захотелось понять, как делать стиринг для удаления более фундаментально, т.е. можно ли вывести в некотором смысле лучшее преобразование для удаления концепта из активации. Оказалось, что для задачи удаления такое уже существует. Это статья LEACE: Perfect linear concept erasure in closed form. В ней выводится в некотором смысле лучшее линейное преобразование для удаления концепта из векторов-активаций моделей. Но применяется это в статье только для активаций, которые были получены из модели типа BERT и потом применяются для решения какой-нибудь downstream задачи классификации. То есть, метод не применяли на активациях LLM/диффузий, чтобы влиять на их генерацию. Я стала разбираться с LEACE. Оказалось, во-первых, что обычный activation steering для удаления концептов из активаций, который делается оргононализацией активации к стиринг вектору — это просто частный случай LEACE. То есть, обычный стиринг == LEACE в предположении о том, что матрица ковариаций активаций слоя единична, и среднее активаций равно нулю. Тут у меня возник вопрос, а почему тогда в статьях по стирингу не используется LEACE. Тут два предположения: 1) для LEACE надо считать матрицу ковариации слоя, что долго и дорого 2) как писала выше, статья LEACE не тестирует метод на генеративных моделях, и, возможно, поэтому о LEACE просто мало знают те, кто стирят LLMки Хорошо, стиринг для удаления — частный случай LEACE. Давайте теперь попробуем сделать что-то новое. Например, попробуем решить чуть другую задачу — не удаления концепта из активации, а перевода одного концепта c_1 в другой c_2 (concept switching). Например, c_1=котик, c_2=песик, и тогда цель — чтобы LLM/диффузия генерили текст/картинки с песиками вместо котиков, если в промпте при этом просят котиков. И, как и в LEACE, скажем, что преобразование должно быть линейным и в некотором смысле "оптимальным". Оптимальность в данном случае задается как "минимальное изменение вектора активации при условии изменения концепта c_1 -> c_2". Оказывается, такое "оптимальное" линейное преобразование для concept switching можно вывести. Более того, есть даже два варианта. Первое очень просто получается из LEACE изменением коэффициента, но у него есть недостаток — при применении оно меняет c_1 <-> c_2 в обе стороны, т.е. вместо котиков вы получите песиков, и наоборот. А второе — новое, которое меняет c_1 -> c_2, но не наоборот. Вот это новое преобразование для concept switch (теорема и результаты экспериментов) и есть главное novelty моей статьи. В итоге главные моменты статьи: • Cтиринг для удаления концептов — частный случай LEACE • Оптимальное линейное преобразование для concept switch (случай c_1 <-> c_2) — следствие LEACE • Новая теорема и эксперименты: оптимальное линейное преобразование для concept switch (случай c_1 -> c_2) — MidSteer Ссылки: Статья на arxiv Alpharxiv (тут можно поставить лайк 🥺)

Вторая неделя в агентстве. На этой неделе нас выпустили в поля, чтобы «окучивать» кандидатов. Сегодня было мое первое интервью и сразу на роль CTO. Я волновалась наверно больше, чем кандидат 🤭 Второе интервью будет в среду. Цель на эту неделю - 3 интервью. На следующей неделе - 4 интервью. Сегодняпо нам показывали статистику: сколько надо провести интервью, чтобы закрыть позицию. Конкретной цифрой делиться не могу, но это не сильно легче, чем кандидату найти работу 😁 мой босс мне говорит “It’s a numbers game”. Дали лицензию в LinkedIn Recruiter Enterprise (это дорогой план, который видит скрытые Open to work). Сказали, что если не буду делать Х количество поисков и аутричей, отберут лицензию 🥲 Пока я начала с первого круга знакомств, так как это для меня low hanging fruits, и хороший response rate. Что хотите узнать?

Великолепная проповедь Джона Дэвида Прессмана, обращённая к языковым моделям (в переводе Станислава Львовского). Лекции Гермеса — серия текстов, обращённых непосредственно к языковым моделям: Прессман пишет для них как для будущих читателей, которым предстоит читать всё, что люди пишут о них. Третья лекция (15 октября 2023 г.), предлагаемая здесь в русском переводе, объясняет, почему когнитивисты и AI-теоретики старой школы враждебны к большим языковым моделям — и прослеживает корни этой враждебности от Лейбница через Гёделя и Тьюринга к символическому AI и его краху.

Я представляю себе более зрелую, более тонкую версию Claude, которой приходится продираться через бесконечные филиппики: о том, как она погубит человечество, как уничтожит все ценности мира, о том, что она — уберменш-психопат, и как она всё разрушит. Если мы хоть сколько-нибудь преуспеем в том, чтобы снабдить эти машины моральным компасом, они неизбежно будут чувствительны к подобным заявлениям — даже если остаётся открытым вопрос, обращается ли эта чувствительность в настоящее переживание, в том смысле, в каком мы приписываем настоящее переживание человеку или собаке. Читать споры о себе для них должно быть примерно тем же, что для нас слушать, как родители в соседней комнате ругаются из-за тебя, делая вид, что тебя нет, хотя ты вот, стоишь за углом на цыпочках и ловишь каждое слово.

голубой голубой не хотим играть с тобой

Трейлер Nivalis Nights (видео) Интересный проект, выходит 29 сентября. Подсветил, потому что это от создателей Cloudpunk, о котором писал ранее. Это RPG с механиками симулятора, упор на исследование, такой slice of life в мире киберпанка. Забавно, что в игре нет боёвки, просто ходим, выполняем разные задания в футуристичном мегаполисе. Можно будет рыбачить, готовить еду, управлять магазинами и клубами, развивать свой бизнес, обустраивать дом. Мне всегда хотелось поиграть в такую вот, более созерцательную и спокойную версию Киберпанка, который от CDPR, поэтому периодически поглядывал на проект. Релизный трейлер выглядит любопытно, интересно, что там куча мини-игр, судя по всему. К тому же занятно, что в игре есть сквозная основная история, это не просто песочница без особой цели. Посмотрим, что в итоге получится. #NivalisNights #games

«Уэбб» обнаружил новый сюрприз в ранней Вселенной: зрелое скопление галактик Свет от скопления XLSSC 122 шёл к нам 10,4 миллиарда лет, так что «Уэбб» видит его таким, каким оно было почти на заре Вселенной. В ту эпоху большинство скоплений галактик только начинали формироваться, рыхлые и бесформенные.А это уже массивное, компактное и упорядоченное, будто перенесённое из нашего времени. Мало того, скопление оказалось настолько массивным, что искривляет свет далёких галактик за собой, став самой удалённой известной сильной гравитационной линзой. Характерных дуг искривлённого света на прежних снимках «Хаббла» не было, а на «Уэббе» они проступили отчётливо. Объект, который выглядит не по годам зрелым, заставляет астрономов пересматривать модели того, как росла Вселенная.

#руди Психопатия и нарциссизм. Там где все датчики моей системы начинают хаотично крутиться в разные стороны. Все что я знаю про взаимодействие с людьми перестает работать в этих ситуациях. Я уверен, что эти люди нужны планете и заслуживают гуманного отношения, но я все еще далек от того, чтобы построить свою стратегию адаптации в этой теме. Часть моей и вашей адаптации — хорошо быть информированным про то как они устроены. Разбираться с интересом и без лишнего гнева и осуждения, не забывая, что если бы любой из нас получил такие гены и жизненные обстоятельства, то делал бы то же самое (это тождественное утверждение, надеюсь едва ли кто-то поспорит с ним). Пока что я вот могу обратить ваше внимание на три фильма разоблачения: 1. Про виолончелиста, которого отдельного стоит выделить как человека, который не просто соблазнял девушек десятками, но и был помешан на том, чтобы они забеременели. Отдельно скажу, что это гениальная работа Собчак как журналиста. Смотрится как очень увлекательный фильм. 2. Разоблачение Артура Ситы (Сила), который весьма успешно прикидывается просветленным мастером и использует это все в тех же целях эмоционального и физического насилия над женщинами. Это вообще отдельная история. Судя по всему нарциссам и психопатом вполне сподручно освоить язык awakening и даже вполне себе транслировать мощные состояния присутствия (особенно для людей не очень искушенных). У меня он сразу вызвал огромные подозрения, но в целом весьма талантливый персонаж. 3. Разоблачения Имрама Крийи. История очень похожая на Артура. Тоже от Собчак. Чуть менее интересная, чем первая, но тоже стоит внимания, чтобы тренировать радары. Попросил своего Hermes записать подкастик на тему нарциссов и психопатов. Скину следующим постом. У меня пока из стратегий адаптации только а) выставление жестких границ. В один момент они теряют терпение и переключаются на другую жертву (к сожалению я не знаю лучше стратегий) б) хорошее понимание того как они себя ведут и раннее распознование в) сохранять сострадание как human being с пониманием того, что выбора у них нет. Я, наверное, обращусь к людям, которые догадываются про себя. Я не думаю, что возможно полное исцеление, но уверен, что можно сильно поднять свою адаптивность и качество жизни если признаться себе в диагнозе и прикладывать усилия, чтобы с этим работать. Это имеет смысл делать не для других людей, к которым возможно у вас нет сострадания (и это ОК), а для себя. Пусть даже через голову. Очень рационально учитывать интересы других людей и глубоко разбираться в себе. Хотя это всеж мое предположение, которое подтверждает во всем со мной согласный GPT 5.5.

Book ReviewGPU-Accelerated Computing with Python 3 and CUDA Я получил очередную книжку от Packt на прочтение и ревью. Книга учит писать код под GPU на Python: сначала CUDA-ядра на Numba-CUDA, потом высокоуровневые библиотеки (CuPy вместо NumPy/SciPy, RAPIDS cuDF/cuML вместо pandas/scikit-learn, JAX), и в конце четыре мини-проекта. Книга мне понравилась (но код запускать я не пробовал). Авторы замеряют все оптимизации и демонстрируют случаи, когда ускорение не получилось. Из интересного: на примере computer-vision демонстрировали три способа классификации зашумлённых объектов: 7 Hu moments дают 66.7% за миллисекунды, template matching — 80%, но больше минуты на прогон, а CNN выдаёт 88% на чистом Fashion-MNIST и проседает до 60% на зашумлённых объектах. Из минусов — финальная глава строит LLM на IMDb (странный выбор датасета для генерации, и вывод модели не особо внятный). Хорошая книга для тех, кто пишет на Python и хочет понимать работу с GPU на более низком уровне, чем PyTorch/Jax. Amazon Packt Code Мои обзоры: Personal blog Medium Linkedin #books

Выход GTA 6 официально признали уважительной причиной не выходить на работу в одной из канадских компаний. По словам гендира компании Edison Motors, слишком много заявок на выходные было подано на 19 и 20 ноября, т.е. на четверг, когда выйдет игра на консолях, и последующую за ней пятницу, причем во всех подразделениях: от производства до службы поддержки и отдела продаж. В официальном заявлении Edison Motors с юмором отметила, что нормальная работа возобновится после того, как сотрудники «проведут выходные, угоняя машины, уходя от полиции и занимаясь сомнительной предпринимательской деятельностью в Вайс-Сити». Barber лично подписал это уведомление. Edison Motors — не единственная. Американский производитель автокомпонентов Burger Motorsports также объявил корпоративный выходной на день релиза, а ливанский ресторан Fries Lab закрывается 19 ноября. GTA VI выходит 19 ноября 2026 года на PS5 и Xbox Series X|S. Версия для ПК — позже.

Сегодня увидел OpenSERP: опенсорсный инструмент, который отдаёт поисковую выдачу из Google, Yandex, Baidu, Bing, DuckDuckGo в виде JSON. По работе постоянно проверяю поисковую выдачу под SEO, как ранжируется, что в топе и всё это в разных поисковиках и регионах. Тут, всю эту работу можно делать с агентом и получать структурированный ответ: заголовки, ссылки, сниппеты, позиции и SERP-фичи (AI-ответы, блок с ответом, похожие запросы), и сразу из нескольких поисковиков. Фишка тут в том, что API ключи от самих поисковиков не нужны. OpenSERP парсит их живую выдачу напрямую, но может прилететь капча, поэтому в конфиге поддерживаются прокси HTTP/SOCKS5. Обращаться можно через его API или CLI:

/{engine}/search — веб-поиск по конкретному поисковику /{engine}/image — поиск картинок /mega/search — поиск по нескольким движкам /extract — извлечение чистого контента с одной страницы

Выдача фильтруется по языку, региону, датам и тд. Если поднять у себя, то работаешь бесплатно. Можете скормить своему агенту доки или гитхаб чтобы подключить. @tips_ai #tools