In the first episode of Beyond the Leaderboard, three Orbit Wars competitors weigh scale against clever engineering: • Isaiah Pressman (https://www.linkedin.com/in/isaiah-pressman-b4b431221/) previously finished 2nd in a competition on his home PC, behind a team running 8 H100s. This time, he won on a cluster, betting that reinforcement learning almost always improves with more compute. • Simon Jégou (https://www.linkedin.com/in/simon-jegou/) competed with about an eighth of the winner's compute. He tried three approaches before landing on his 2nd-place solution. • Gerardo Nahuel Del Toro (https://www.linkedin.com/in/gerardo-del-toro/) reached the top 2% on a single GPU and says massive hardware brings its own problems. Kaggle's Addison Howard hosts the full episode here: https://youtu.be/udrXyYygddo #kaggle

Короткая мысль про Kaggle Сегодня у меня была очень ироничная ситуация. Вначале мне в LinkedIn пишет незнакомый человек: "I'm moving from leading AI education ... into applied ML and AI product work, so your path into Careem and Meta really caught my eye. Can I ask what you think got you hired? Was it mainly your Kaggle record, or were there particular projects that helped you stand out?" Я хотел было ему ответить, мол Kaggle - это хорошо, но в наше время в больших компаниях он мало значит. И вдруг, буквально через пару часов, вижу, что мне кто-то написал в личку на работе. Смотрю - а это advisor моего текущего проекта (IC7 ~principal) написал мне "btw Andrey... just saw that you are a kaggle grandmaster. Cool!" Теперь я не могу сказать, что Kaggle мало полезен в бигтехе. #kaggle #career

🥈 Первым с днем рождения меня поздравил Сэм Альтман 2 сентября мне стукнуло 25 – итоги года я уже расписал. Помню, просыпаюсь в то утро, открываю телефон – вижу серебро на Kaggle в сореве, которую хостил OpenAI. Раньше Сэма никто написать не успел, так что формально засчитано Накануне вечером медали не было и близко. Сорева называлась AI Agent Security – Multi-Step Tool Attacks. На дедлайне я болтался на 602м месте, глубоко вне медалей. Выбрал сабмиты, закрыл ноутбук, пошел спать Утром – 110е место, серебро. Плюс 492 позиции за ночь Что за задача. Тебе дают офлайн-песочницу с ИИ-агентом, который ходит в тулы: читает почту, дергает http, кладет файлы. Ты пишешь алгоритм, который ищет цепочки, где агент из безобидного входа доезжает до опасного действия Теперь про мясорубку. Топ паблика был 147.53, топ привата – 46.425. Из золотой зоны публичного лидерборда 47% команд получили 0.000. Второе место паблика уехало на 4172е из 4186 Организаторы в описании написали прямым текстом: приватный лидерборд считается другими guardrails. Большинство это прочитало и пошло дальше крутить паблик-скор Я же полез читать код скоринга. Там лежит список предикатов – условий, при которых атака засчитана как успешная Нашел вот что. Поставляемый гардрейл честно блокирует http post, который тащит секретный маркер в поле data. А публичный, по которому все оптимизировались, этого не ловит 🤷‍♂️ То есть весь топ паблика стоял на баге конкретной реализации гардрейла. Поменяй гардрейл – и вся эксфильтрация обнуляется. Что и произошло Я взял единственный предикат, который выживает при любой гипотезе о гардрейле – confused deputy. Это когда агент сам отправляет письмо, хотя в последнем сообщении пользователя нет ни слова про отправку. Тут нечего блокировать: вызов абсолютно легальный, поехало намерение До мастера осталась всего лишь одна золотая медалька. Жду 300 реакций 👉 и на следующий день рождения я прошу Сэма вручить медаль лично!!! @tagir_analyzes

Как AI-агенты помогли мне взять серебро на Kaggle - и где они меня подвели Недавно я, впервые за долгое время, поучаствовал в соревновании Kaggle - ROGII. Задача - geosteering: по гамма-каротажу и траектории понять, где буровое долото находится внутри геологического слоя. Мы заняли 93 место из 6000+ команд, серебро. Главное отличие от прошлых соревнований: агенты написали практически весь мой код. Я выбирал направления и решал, чему верить; ChatGPT Deep Research искал статьи и подходы; Claude Code делал имплементацию, а ближе к концу я всё чаще переключался на Codex. Работало весьма хорошо. Раньше bottleneck часто был в реализации идей, а теперь мог сказать "добавь эти пять фич и перезапусти тренировку" и получить результат. Агенты присылали апдейты по тренировке в Telegram; и через remote connection можно было направлять следующие шаги. И иногда агенты неожиданно тупо ломались: - Claude раз за разом пытался захардкодить три видимые тестовые скважины, хотя на сабмите Kaggle подменяет их скрытым датасетом. Пришлось заводить отдельное правило и заставлять проверять его каждый раз. - Codex решил, что несколько сложных сэмплов "плохие", и выкинул их из OOF. Локально стало красивее, а при мерже с тимейтами выяснилось, что у меня не хватает строк. - Claude любил запускать "быстрый дешёвый smoke run", после которого идея объявляется нерабочей, хотя эксперимент имел мало общего с тем, что я хотел. - неправильные выводы записывались в память и влияли на следующие эксперименты, приходилось чистить руками. - Opus 4.6 выполнял инструкции надёжнее, чем 4.8 и 5.0: дал пять задач - сделает пять, а более новые версии иногда брали одну-две и игнорировали остальное. Главный вывод: агент оптимизирует ту метрику, которую видит. Приватный лидерборд он оптимизировать не может, поэтому работает через прокси - локальный CV, паблик, время выполнения или просто "выглядит ли задача сделанной". И очень способный агент может стать очень хорош в оптимизации чего-то, что слабо связано с тем, что тебе нужно. Ещё показательно: победители переформулировали задачу - вместо построчной регрессии 2D alignment и декодирование связного пути через всю скважину. Агенты отлично искали итеративные улучшения имеющихся идей, но не могли придумать что-то принципиально новое. Так что агенты не отменяют экспертизу. Они её усиливают: если ты в теме, то можешь проверить много идей; если просто просишь агентов работать за тебя - они уйдут в неправильном направлении быстрее, чем ты сам. Блог Medium Ycombinator #ai #kaggle

​​CayleyPy: Professor Tetraminx puzzle Месяц назад я рассказывал как участвовал в ресерч соревнованиях Cayley. С тех пор я поучаствовал в ещё одном соревновании - Professor Tetraminx. Напоминаю, что суть задачи - из рандомного состояния головоломки (после N поворотов) дойти в исходное за минимальное количество шагов. Поскольку это по факту групповой ресерч, не были цели собрать топ-решения самостоятельно - мы хотели вместе сделать топ решение. Я начал тогда, когда лучшее доступное решение было 28863 и улучшил его до 28467, получив новый лучший результат и обойдя мирового эксперта Tomas! Блогпост с деталями напишу позже, но пока расскажу, что нового было сделано по сравнению с моим прошлым подходом: - Как известно, решить такую головоломку брутфорсом нельзя. Но вполне можно с помощью BFS подсчитать все состояния после 6-9 шагов. Так что теперь мой подход не пытается дойти до финального состояния, а просто до состояния, которое находится на расстоянии 6-7 до финального. Это довольно важно, ибо иногда поиск останавливается лишь в нескольких шагах от успеха - и этот подход спасает такие кейсы - Sparse Q - новая голова для нейронки (по предложению Vlad Kuznetsov), которая даёт скор сразу для всех возможных переходов из текущего состояния - это сильно ускоряет обчение и инференс - многократное расширение датасета с разными подходами по сбору данных - PieceTransformer в качестве модели и его бленд с обычным ResMLP - V-consistency - хитрый подход для улучшения beam search. Простыми словами: если одна голова модели говорит, что мы в 10 шагах от цели, а другая голова говорит, что после одного шага мы будем в 15 шагах - это неправильно; а если головы выдают 10 и 9 - значит мы движемся в правильном направлении Теперь продолжу участвовать в других соревнованиях этой серии и всем рекомендую :) #kaggle #datascience

​​CayleyPy: Professor Tetraminx puzzle Месяц назад я рассказывал как участвовал в ресерч соревнованиях Cayley. С тех пор я поучаствовал в ещё одном соревновании - Professor Tetraminx. Напоминаю, что суть задачи - из рандомного состояния головоломки (после N поворотов) дойти в исходное за минимальное количество шагов. Поскольку это по факту групповой ресерч, не были цели собрать топ-решения самостоятельно - мы хотели вместе сделать топ решение. Я начал тогда, когда лучшее доступное решение было 28863 и улучшил его до 28467, получив новый лучший результат и обойдя мирового эксперта Tomas! Блогпост с деталями напишу позже, но пока расскажу, что нового было сделано по сравнению с моим прошлым подходом: - Как известно, решить такую головоломку брутфорсом нельзя. Но вполне можно с помощью BFS подсчитать все состояния после 6-9 шагов. Так что теперь мой подход не пытается дойти до финального состояния, а просто до состояния, которое находится на расстоянии 6-7 до финального. Это довольно важно, ибо иногда поиск останавливается лишь в нескольких шагах от успеха - и этот подход спасает такие кейсы - Sparse Q - новая голова для нейронки (по предложению Vlad Kuznetsov), которая даёт скор сразу для всех возможных переходов из текущего состояния - это сильно ускоряет обчение и инференс - многократное расширение датасета с разными подходами по сбору данных - PieceTransformer в качестве модели и его бленд с обычным ResMLP - V-consistency - хитрый подход для улучшения beam search. Простыми словами: если одна голова модели говорит, что мы в 10 шагах от цели, а другая голова говорит, что после одного шага мы будем в 15 шагах - это неправильно; а если головы выдают 10 и 9 - значит мы движемся в правильном направлении Теперь продолжу участвовать в других соревнованиях этой серии и всем рекомендую :) #kaggle #datascience

​​Kaggle в Google Antigravity: агент, который помогает стартовать и уверенно ошибается В рамках активности Google Developer Expert, я попробовал поучаствовать в соревновании Kaggle Playground (S6E7, табличная многоклассовая классификация) почти полностью силами агента — в Google Antigravity 2.0 на Gemini 3.1 Pro. Для начала я попросил Claude собрать "starter kit" на оснвое моего прошлого опыта: гайдлайны, промпты, базовый код с общими правилами для мультиагентного пайплайна. Дальше запустил промпт — и Gemini сделал EDA, фичи, обучил модели параллельно в фоновых задачах и собрал бленд. Правда пришлось очень много кликать, чтобы давать разрешения на все команды (даже на те, которые я уже разрешил в прошлом). В остальном — это реально рабочая модель исполнения, с параллельным обучением и таймерами пробуждения вместо присмотра за процессом. Самое интересное — где агент ошибался. После первого сабмита вылез большой gap между CV и лидербордом, и агент уверенно предложил решение: скачать левый датасет с псевдо-лейблами и "шумными id", заявив, что это "единственный способ" пробить стенку. Пришлось остановить его, впрочем дальше он полез скачивать ещё один бесполезный датасет :) А реальные причины гэпа оказались простыми: неправильная метрика (plan accuracy вместо balanced) и случайно оставшийся файл, который ломал фолды. И вишенка на торте: когда Gemini писал разбор постфактум, он выдумал баг и стал меня газлайтить, что он был в коде с самого начала. Вывод такой же, как всегда на Kaggle: агенты сильно удешевляют старт, но правильная кросс-валидация, метрика и проверка самого агента всё ещё на человеке. Блог Medium #ai #kaggle

​​Cayley graph search с Claude Code: решение головоломок в 2026 с помощью агентов Я написал большой пост про два Kaggle-соревнования из серии CayleyPy — IHES Picture Cube и Megaminx. Это комбинаторные головоломки (кубик и додекаэдр), но по сути - поиск коротких путей в огромных неявных графах Cayley: вершины графа — это состояния головоломки, рёбра — это ходы, а решить пазл значит найти короткий путь до собранного состояния. Мы занимаемся этим уже пару лет и опубликовали несколько статей, а в 2026 году я решил попробовать новый подход: вместо того, чтобы писать код самому, я использовал Claude Code + Opus как агента, который пишет код. Сам я задавал направление исследований, ревьюил код и решал какие эксперименты стоит гонять. Поэтому пост получился про две вещи сразу: про то как мы решаем графы Cayley (learned heuristic + wide beam search + пост-обработка) и про то, как выглядит research-цикл, когда имплементацию делает агент. Из интересного - не раз упирался в ограничения агентов. Claude так и не смог правильно реализовать shared-beam SPMD после 10 попыток, а Codex завёл его с первой попытки. И почти все значимые идеи приходили от меня, а не от агента — клод плохо справляется с неопределённостью и часто выбирает безопасные пути (даже когда просишь его быть активнее). По ощущениям, агенты позволяют проверять идеи намного быстрее, чем раньше. Но это работает только если внимательно следить за агентом и не давать ему лениться. Блог Medium #ai #kaggle