Итоги бранча ODS Moscow × Нескучный Data Science

🔥 Как прошёл офлайн-бранч ODS Moscow × Нескучный Data Science 🧠 Начали с доклада Альберта про то, как в Avito обучают собственную LLM. Это не история про «взяли открытую модель и немного дообучили», а полноценный процесс: выбор базовой модели, собственный токенизатор, адаптация на данных Avito, SFT и дальнейшее обучение с помощью RL. Для SFT собрали больше 800 тысяч примеров: открытые датасеты, синтетические данные, олимпиадные задачи, внутренние бизнес-кейсы и диалоги пользователей с большими моделями. На этапе RL отдельно развивают несколько навыков модели: решение математических задач, следование сложным инструкциям и корректный вызов инструментов. Причём для каждого навыка нужен свой автоматически проверяемый reward. В математике система извлекает финальный ответ и проверяет его эквивалентность правильному. В instruction following — смотрит, выполнила ли модель все заданные ограничения. В function calling — проверяет название инструмента, аргументы и их значения. Отдельно поговорили про инфраструктуру. Для моделей на 8B параметров можно относительно быстро запускать эксперименты и проверять гипотезы. Но при переходе к большим MoE-моделям главным вызовом становятся масштабирование, распределение модели по GPU, батчинг, инференс и offloading. 👨‍🔬 После продуктовых LLM резко переключились на химию. Константин начал с важной мысли: химическая информация — это не один универсальный тип данных. Одну и ту же молекулу можно представить текстом, строкой SMILES, двумерным графом, трёхмерной структурой или структурой, которая изменяется во времени. И под каждое представление нужны свои методы и модели. Поговорили о том, почему даже на фоне сложных нейросетевых архитектур связка Morgan fingerprints + XGBoost всё ещё остаётся очень сильным базовым решением для многих задач с химическими данными. Затем перешли к геометрическим графовым нейронным сетям. Они учитывают расположение атомов и позволяют предсказывать свойства молекул в десятки раз быстрее традиционных DFT-расчётов. Отдельно разобрали нейронные потенциалы и delta-ML. Идея в том, чтобы не выполнять каждый раз дорогой квантово-химический расчёт полностью: часть свойства можно посчитать более дешёвым методом, а нейросети поручить предсказать необходимую поправку. Дошли и до LLM с агентами. Здесь пока всё не так магически, как иногда выглядит в заголовках: модели могут по-разному отвечать на один и тот же вопрос в зависимости от того, передали им обычное название соединения, IUPAC или SMILES. А некоторые агенты, которые должны самостоятельно запускать вычислительные эксперименты, пока скорее напоминают roadmap, чем полностью автономного исследователя. Зато роботизация лабораторий уже вполне реальна: специализированные платформы, роборуки, автоматическое проведение серий экспериментов и превращение обычного оборудования в high-throughput-системы. 🎬 После двух технических докладов разговор с Денисом про ИИ в кино оказался очень кстати 😅 Обсудили, где новые инструменты уже помогают при работе с контентом, какие процессы способны ускорить, где вызывают сопротивление и в каких задачах пока остаются скорее экспериментом. Но, как обычно, самое ценное происходило не только во время выступлений. После докладов продолжили обсуждать услышанное за завтраком, задавать вопросы, спорить, знакомиться и делиться своими кейсами. Спасибо Альберту, Константину и Денису за содержательные выступления, ODS Moscow — за очередную совместную встречу, МИРА бистро — за пространство, а всем, кто пришёл, — за вопросы и атмосферу. Формат «бранч + несколько докладов» точно будем повторять. Поэтому уже начинаем собирать темы для следующего бранч-митапа. Если вам есть о чём рассказать — про рабочий кейс, исследование, неожиданный эксперимент, применение ИИ в своей индустрии или даже неудачу, из которой можно сделать полезные выводы, — присылайте тему доклада и пару предложений о себе в комментарии или личные сообщения. P.S. Будем учиться фотографироваться до того, как все разошлись 😅