ИИ

ICML 2026 — личные впечатления Конференция закончилась, но говорить о ней можно ещё долго. Сегодня личными впечатлениями с нашим каналом поделился старший разработчик команды инфраструктуры обучения YandexGPT Владислав Тыцкий.

Конференция ощущалась очень масштабной: много людей, огромные залы для докладов, плотное расписание и буквально бесконечное количество постеров. Иногда возникало ощущение, что между интересными работами нужно не ходить, а почти бегать. Для себя я в основном смотрел темы вокруг pretraining, scaling, MoE, efficient training и разных попыток лучше понять динамику обучения LLM. В этом смысле конференция оказалась очень насыщенной: почти в каждой постерной сессии находилось несколько работ, которые хотелось разобрать подробнее. Постерный формат показался мне самым полезным. На докладах — особенно в больших залах — немного теряется камерность: масштаб впечатляет, но вовлечённость аудитории ощущается слабее. У постера проще быстро понять основную идею, задать автору вопрос и уйти либо с хорошим инсайтом, либо с пониманием, что работа тебе не очень релевантна. Отдельно понравилась инфраструктура конференции. У ICML очень удобные сайт и приложение: можно собирать расписание, смотреть материалы онлайн, возвращаться к записям и в целом не чувствовать, что ты полностью пропустил материал, если не успел попасть на доклад. Плюс Gangnam оказался приятным районом для такой конференции: вокруг много кофеен, мест для еды и просто красивый бизнес-квартал, по которому интересно гулять между сессиями. ICML большая, шумная и местами немного перегруженная, но при этом очень полезная. Особенно если заранее понимать, какие темы тебе интересны, и не пытаться посмотреть вообще всё.

Владислав также рассказал о некоторых запомнившихся постерах. Variational Routing: A Scalable Bayesian Framework for Calibrated Mixture-of-Experts Transformers Статья об uncertainty-aware routing в MoE. Идея в том, чтобы добавить неопределённость именно в router — место, где MoE и так принимает важное и довольно хрупкое решение. Практически интересно, что такой слой можно дообучать уже поверх обученных моделей. В экспериментах это улучшает калибровку и устойчивость роутера к шуму при небольшом дополнительном компьюте. Decoupling the “What” and “Where” With Polar Coordinate Positional Embeddings Работа о позиционных эмбеддингах и RoPE. Авторы обсуждают, что в RoPE могут смешиваться content- и position-информация, и предлагают PoPE — способ лучше развести «что» и «где». Не уверен, что это прямо новый дефолт вместо RoPE, но сама идея про content phase и positional phase показалась интересной. BAS: Bridging Adam and SignSGD for Memory-Efficient LLM Training Постер о memory-efficient-оптимизации. Авторы пытаются приблизиться к Adam-like динамике, но снизить память за счёт block-wise статистик. Плюс используют трюк с sign update, что делает работу интересной не только с точки зрения оптимизации, но и с точки зрения практических ограничений больших обучений. Revisiting Efficiency–Accuracy Scaling in Mixture-of-Experts Architectures Hardware-aware-работа о трейд-оффе между качеством и стоимостью MoE. Авторы предлагают LatentMoE: скоры роутера считаются в исходном пространстве, после чего токены — перед отправкой к экспертам — проецируются в пространство меньшей размерности. Это уменьшает объём all-to-all и стоимость вычисления экспертов. Сэкономленный бюджет можно вложить в большее число экспертов и больший top-k. #YaICML2026 Душный NLP

🤯 Если вы тоже надеялись отдохнуть этим летом от LLM релизов, не судьба. Может быть в следуещем году... Июль нас уже порадовал такими релизами: - GPT-5.6 – лучшая модель EVER. По словам Альтмана - Fable 5 – Сами все знаете - Meta Spark 1.1 – Конкурентная модель от пересобранной лабы Цукера - Grok 4.5 от SpaceX. Модель уровня Opus 4.8 - GLM-5.2 - "wow"-момент для опенсорса. Догнал западные закрытые модели как минимум в ключевых задачах А вот слухи на предстоящие пару недель: - Opus 5 – уже виден в Vertex, значит релиз скоро. Видимо, заменит Fable 5 в подписке - Kimi K3 – по слухам, выходит уже завтра. Контекстное окно – 1 миллион токенов. K2.6 ещё недавно был самой популярной open-source моделью, пока GLM-5.2 не перехватил - GLM-5.3 или GLM-6 - основатель компании уже намекнул, что следующая модель скоро - ChatGPT 6 - по слухам, через пару недель Кого ждете больше всего? @how2ai | Забустить канал 💗

🔝 Кто в топе токенмаксинга – и на чем они сидят? Ну что, запрыгиваем в последний вагон? Про токенмаксинг говорить уже в какой-то степени моветон, умные головы уже теперь не так измеряют работу с AI, но чтобы закрыть эту тему посмотрим на один leaderboard. Тема токенмаксинга, как вы знаете, родилась из внутреннего лидерборда Meta (признана в РФ экстремистской организацией и запрещена), который слили в прессу и очень скоро снесли. Потом тему подхватили другие компании и стали измерять, сколько же токенов жгут программисты. Чем больше прожигаешь, тем ты круче. Так вот, один фаундер взял и сделал аналогичную публичную версию лидерборда для HN-тусовки. Это был Sam Odio (2х фаундер: Divvyshot → Facebook, Freshplum → TellApart/Twitter, потом Fivestars и Dropbox AI incubator, сейчас в South Park Commons). Как туда попасть? Нужно просто подключить свой GitHub аккаунт. Чего там интересного есть? 1/ Топ-5 девелоперов прямо сейчас (7 дней): ▪️wesm (создатель pandas, Wes McKinney) – 18.4B токенов, команда kenn.io. ▪️drew (arittr) – 9.3B, команда prime-radiant. ▪️jesse (obrajesse) – 7.7B, тоже prime-radiant. ▪️naveen (naveenspark, YC-фаундер и ангел в 50+ компаниях) – 7.5B, команда skywillow. ▪️aashig (aashig1) – 7.1B, без команды. 🔹Эта часть по классике показывает, кто сколько токенов тратит. Но портал дает другие, более интересные разрезы. 2/ Портал позволяет понять не только то, насколько много токенов тратится, но и на что. Портал позволяет понять не только то, насколько много токенов тратится, но и на что. Короче, какой стек используется. Посмотрим на наших топ-5 девелоперов: ▪️Superpowers (скилл-сет для Claude Code) стоит у 4 из 5 – wesm, drew, jesse, aashig. Кстати, jesse – это, похоже, и есть автор Superpowers. ▪️drew и jesse вообще сидят в одной команде prime-radiant – не просто случайное совпадение инструментов, а буквально одна команда. ▪️naveen – единственный, кто не в этой тусовке, у него свой инструмент "the-matrix". 🔹Забавный момент: у всех пятерых в model breakdown уже светится Fable 5 – модель, которую Anthropic выпустила и на пару недель приостанавливала меньше месяца назад. Топ-девелоперы ее и в хвост и в гриву юзают, пока доступна. 🔹Еще более забавный момент: wesm не только на первом месте, но и сам автор agentsview – локального вьюера сессий, на котором построен весь клиент этого лидерборда. Удобно, когда меряешь линейкой, которую сам и сделал. 3/ Сам сайт также дает понять, кто впереди в паре Claude Code vs Codex: ответ – никто, но есть нюансы. ▪️В сумме топ-5 – 52% Claude vs 48% Codex, почти пополам. ▪️Но wesm явно codex-heavy (доминируют gpt-5.5 и gpt-5.6-sol), а drew, jesse, naveen и aashig смещены в сторону Claude (примерно 55/45). ▪️Итого топ-5 прожигают токенов на ~$2.2M в год – это не опечатка. 🔹Кстати, если прощелкать bottom-5 из этого рейтинга, то у 3 из 5 вообще нет Codex, только Claude Code. Еще у одного Claude Code занимает 90%+. Можно предположить, что у более средней массы есть реактивность – на Codex перключаются топчики типа wesm (у него до 9 июля вообще не было Codex, а потом он переключился, и Codex стал доминировать). 2/ А какой топ-5 проектов на всей площадке? ▪️Superpowers – 13 юзеров, TDD/planning/debugging-скиллы для Claude Code. ▪️claude-code – 11 юзеров, родной CLI от Anthropic. ▪️codex – 4 юзера, CLI от OpenAI. ▪️agentsview – 2 юзера, тот самый вьюер сессий от wesm. ▪️arsenal – 2 юзера, расширенный skill-набор для Claude Code. Любопытно, что весь топ по сути крутится вокруг одной библиотеки скиллов (Superpowers) и пары знакомых команд. Токенмаксинг – это, конечно, спорная метрика продуктивности, как и этот лидерборд, но как карта "кто с кем и на чем" выглядит прикольно и любопытно. 👉 Ссылка на лидерборд: https://tkmx.odio.dev @proVenture #ai #benchmarks #howtovc

Доверие нейросетям Все больше и больше доверяю моделям в плане разработки. Особенно если это разработка не для клиента, а какой-нибудь внутренний продукт. Вчера у меня ии-агент на glm-5.2 делал мне достаточно емкий и большой сервис с нуля около часа. Делал полностью автономно: писал тесты, запускал тесты, писал докуметацию, проверял сам в браузере, фиксил баги. Все согласно правилам из моего сетапа вайбкодера. Все это без моего участия. С первого раза сделал то, что мне было нужно. Потом мы уже с ним вместе допиливали и наполняли новым функционалом этот проект. Я про него даже пару раз забывал, а он там работал в фоне и пилил нужный мне функционал. И такое происходит в моей практике регулярно. Многие личные автоматизации или мелкие автоматизации нашей компании кодятся почти без нашего ведома. И в проектах для личных нужд я даже не смотрел в то как именно он реализовал нужную мне задачу — работает и ок. Цена ошибки минимальная, цена разработки минимальная, а ценность результата огромная! Сейчас даже сложно представить, что всего год назад я прогал все только с открытым рядом окном нейросети, консультируясь с ней по тем или иным вопросам. Кажется, что я всегда кодил с агентами, а все мои 17 лет карьеры до этого — страшный сон!

✔️ OpenAI создала модель для поиска уязвимостей в своих LLM Внутренняя разработка под названием GPT-Red автоматизирует редтиминг собственной продукции компании. Инструмент симулирует промпт-инъекции и скрытые атаки через письма, файлы и веб-страницы. Система обучалась с помощью RL и self-play - непрерывное соревнование атакующей и защитной моделей довело успешность поиска уязвимостей до 84% в тестовых сценариях (против 13% у людей-специалистов). По словам OpenAI, благодаря GPT-Red уязвимость GPT-5.6 Sol к прямым промпт-инъекциям снизилась в 6 раз по сравнению с моделями четырехмесячной давности, но около 3,8% сложных атак по-прежнему достигают цели (сопоставимо с показателями Claude Opus 4.5). Инструмент остается внутренним, OpenAI планирует выпустить статью с описанием архитектуры и процесса обучения в ближайшее время. openai.com ✔️ SpaceXAI открыла исходный код Grok Build В репозиторий вошли цикл управления агентом, механизмы сборки контекста, парсинг ответов модели, консольный интерфейс с просмотром diff-изменений и инструменты выполнения команд. Код демонстрирует механизмы интеграции фреймворка с серверами MCP, субагентами и кастомными плагинами. Grok Build поддерживает локальное развертывание и позволяет перенаправить запросы на любые локальные LLM, полностью исключив передачу данных на сторонние серверы. x.ai ✔️ Apple Intelligence официально выходит на китайский рынок Сервис будет работать в Китае на базе локальных ИИ-моделей после получения официального одобрения от профильного ведомства КНР. Из-за жестких региональных требований к регистрации генеративных сервисов компания отказалась от адаптации собственных алгоритмов. Базовой LLM для китайских версий iOS и macOS выбрана Qwen от Alibaba. Модель будет отвечать за анализ контекста, генерацию текста и изображений. Параллельно Apple сотрудничает с Baidu для разработки дополнительных функций под региональный рынок. На ранних этапах компания также рассматривала решения от DeepSeek и ByteDance, но выбрала Alibaba и Baidu. reuters.com ✔️ Spotify запустил бету диалогового ИИ-ассистента Музыкальный сервис добавил ассистента на основе ИИ в управление воспроизведением через текстовые и голосовые команды. Функция запущена в режиме беты для Premium-пользователей старше 18 лет в США, Ирландии и Швеции. Модель обрабатывает контекстные запросы, а в интерфейсе плеера можно запрашивать информацию об артистах, песнях и подкастах, узнавать историю собственных прослушиваний и задавать вопросы на общую эрудицию. Запуск ассистента дополняет предыдущие ИИ-функции платформы - генерацию плейлистов по промптам и интеграцию технологий ElevenLabs для озвучки аудиокниг. spotify.com ✔️ На Meta* подали в суд за использование алгоритмов при сокращении персонала Бывшие сотрудники подали иск в федеральный суд Калифорнии, обвинив компанию в использовании ИИ в ходе майского сокращения 8000 человек. По версии истцов, внутренние системы генерировали списки на увольнение с системной предвзятостью. Под сокращение непропорционально часто попадали сотрудники с инвалидностью, а также находящиеся в медицинском или декретном отпуске. В иске указано, что алгоритм формировал списки на основе оценок эффективности, объемов выполненной работы и метрик использования корпоративных ИИ-инструментов. Meta отвергает обвинения и настаивает, что финальные кадровые решения принимают люди. Сейчас истцы добиваются судебного запрета, чтобы сохранить рабочие места до окончания разбирательства. wsj.com

*организация признана экстремистской, её деятельность на территории РФ запрещена.

@ai_machinelearning_big_data #news #ai #ml

Raft 1.0 Платформа от RC - автора Kimi CLI - для работы с ИИ-агентами в формате командной среды. Решает проблему разрозненных сессий и потери контекста при управлении множеством агентов. • агенты действуют как члены команды - берут задачи, проверяют работу друг друга, хранят историю • единый workspace вместо множества терминалов и сессий • интеграция внешних агентов (Hermes и др.), каналы, поиск сообщений, превью вложений Компания работает внутри Raft: 10+ человек и 100+ агентов закрывают 99% задач. Модель: несколько людей, много агентов, одно пространство. Новый принцип: не дергать человека, обращаться к его агентам - они держат контекст. В основе распределенная работа агентов с индивидуальной памятью и кросс-канальным обменом знаниями Чтобы попробовать, после настройки среды онлайн нужно будет подсоединить свой комп - не у всех получается #orchestrator #agent #team