еще из новостей: пробили верх в независимом бенчмарке провайдеров и GTM-агентов. правда, пока только на lookalikes. почему-то авторы бенчмарка решили нас на остальных задачах не тестить. зато обошли разных мощных конкурентов, забитых венчурными деньгами, типа Parallel, Exa и Ocean. short list, precision@10: PredictLeads: 89.8% Exa: 80.8% Extruct: 75.0% long list, precision@100: Extruct: 61.1% Ocean: 59.5% Parallel: 56.9% то есть даем лучшее качество, когда нужен большой список похожих компаний намайнить. вообще мы уже пару месяцев собирались сделать свой бенчмарк, на котором мы, естественно, всех уделаем. но хорошо, что подвернулся YC-стартап, который решил эту задачу за нас. в coding space бенчмарки моделей уже давно стали нормой, а в GTM этого пока почти нет. думаю, это быстро поменяется. во многом из-за роста cli-native GTM tools. когда подключить нового провайдера это один API call и строчка в конфиге, выбор все меньше зависит от хайпа в LinkedIn и все больше от реального performance. я думаю, что это в каком-то смысле g2 для агентов. и дальше таких бенчмарков будет еще больше: под разные индустрии, рынки и конкретные задачи. и вообще думаю, что компании будут делать свои собственные, в рамках прокьюрмента

Рассказываю, как прошел ивент от @Snowflake, и до сих пор нахожусь под впечатлением. Локация - это отдельная история. AMAN на 5th Avenue, номер в котором стоит около $4000 за ночь, живое пианино, вид на Манхэттен, каждой на входе — букет цветов, который ты сама собираешь. На секунду реально почувствовала себя инфлюенсером, а не продактом на очередном networking-ивенте. Из забавного: CDO Newrez рассказала, что ещё недавно все данные компании жили в Excel. Но именно из-за этого у них не было легаси BI-системы, которую нужно было бы ломать и переучивать всех работать по-новому. Они перепрыгнули сразу в AI-агентов на Snowflake Cortex, минуя весь этап дашбордов и отчётов. И отсутствие зрелой инфраструктуры оказалось не долгом, а преимуществом. Так что если ваша дата-инфраструктура - это до сих пор Excel, возможно, вы ближе к AI, чем компании с идеальным легаси-стеком. Сразу вспомнила про свой опыт аналитиком в Адидасе, где просто все на эксель. И помню эту боль. Поэтому история очень зацепила. Еще очень обрадовалась, что в панели были только девушки, что здесь редкость. Познакомилась с очень молодой и обаятельной девушкой, которая уже руководит командой дата-инженеров. Она рассказывала, что пришла в компанию с узкой задачей на финансовую отчётность, а дальше просто взяла на себя гораздо больше, изучила всю внутреннюю операционку компании и постепенно выросла в лидера направления. Так что в США даже в крупных компаниях, как snowflake, можно быстро вырасти и молодым, если очень захотеть. Это очень порадовало.

Вышла полезная работа про то, почему reasoning-модели становятся сильнее после обучения. Авторы пишут, что дело не только в размере датасета. Для reasoning важнее другое: есть ли у модели понятная проверка, где она справилась, где ошиблась и почему. Обычная пара «вопрос → ответ» даёт мало сигнала. Она показывает результат, но не показывает процесс: какой шаг был неверным, какой вызов инструмента помог, где модель восстановилась после ошибки, какой judge подтвердил решение. Поэтому хороший обучающий пример для reasoning должен хранить больше контекста: саму задачу, действия модели, проверку результата и метаданные о том, откуда взялся пример. Проверка бывает разной. В математике и коде можно использовать точные тесты. У агентов можно смотреть, справился ли он в окружении. В более размытых задачах приходится подключать людей или model-judge. Отдельно авторы предупреждают о популярных ошибках. Длинная цепочка рассуждений не всегда полезна. Сложные задачи не всегда улучшают конкретную модель. Большой датасет может выглядеть внушительно, но всё равно плохо покрывать нужные навыки. Для agent data особенно важно сохранять всю «грязную» траекторию: неудачные действия, повторные попытки, исправления, изменения состояния и финальную проверку. Часто именно там лежит самый ценный обучающий сигнал. Итоговый подход такой- обучать reasoning-модель не на красивых ответах, а на проверяемых попытках, где видно, что сработало, что сломалось и почему это можно использовать для обучения. Paper: A Primer in Post-Training Reasoning Data: What They Know About How It Works https://arxiv.org/abs/2606.02113

🌟 TabFM: модель для работы с табличными данными от Google Google Research опубликовала модель машинного обучения для классификации и регрессии на табличных данных. TabFM делает прогнозы на ранее не встречавшихся таблицах без отдельной тренировки под каждый набор данных.

Табличные данные лежат в основе множества прикладных задач - от прогноза оттока клиентов до выявления финансового мошенничества. Десятилетиями здесь доминировали алгоритмы на основе деревьев решений, которые требуют долгого подбора параметров и выстраивания признаков под каждую новую задачу.

TabFM использует подход, заимствованный у LLM - обучение в контексте. Модель получает всю таблицу целиком как единый запрос и определяет связи между столбцами и строками прямо в момент прогноза, не меняя своих внутренних параметров. Эту архитектуру Гугл описывает как гибрид двух ранее опубликованных решений TabPFN и TabICL. TabFM обучалась на сотнях миллионов сгенерированных таблиц, построенных с помощью структурных причинных моделей. Разработку проверили на бенчмарке TabArena, который ранжирует системы по итогам прямых сравнений между собой. Тестирование включало 38 наборов для классификации и 13 для регрессии, размером от 700 до 150 000 строк. По результатам TabFM обошла тщательно настроенные отраслевые решения TabPFN-3, AutoGluon и RealMLP. В ближайшие недели TabFM будет встроена в сервис Google BigQuery, там классификацию и регрессию можно будет запускать одной SQL-командой, без специальных знаний в области ML. 📌Лицензирование: Tabfm Non-commercial 🟡Блогпост 🟡Модель 🖥GitHub @ai_machinelearning_big_data #AI #ML #TabFM #Google