Как мы с дружбаном сэкономили $1800/мес на google cloud В посте про followthrough я показывал, как мы оценивали результаты оптимизации в google cloud —> это была часть работы, которая шла несколько недель. Результат - на 40% снизили затраты на google cloud (см аттач) Собственно, по мотивам сделал скилл - вдруг и вам такое надо :) Главный урок:

Мерить расходы в облаке сложнее, чем их резать o__O.

Идеи-то все известные: выключить простаивающее, уменьшить раздутое, удалить забытое. А вот, к примеру: 1) настроить выгрузку в bigquery, чтобы видеть нормальную детализацию, 2) адекватно замерять простаивающее и неиспользуемое, когда у вас работающая инфрастурктура (тест, стейдж, прод) с вариативной нагрузкой 3) аккуратно накатывать эти изменения, при этом ничего не сломав, и откатывать, если не помогло (см followthrough как раз) В общем, пользуйтесь + скилл предусматривает настройку регулярных чеков - я себе поставил раз в 2 недели: https://github.com/BayramAnnakov/gcp-cost-review

🌟 TabFM: модель для работы с табличными данными от Google Google Research опубликовала модель машинного обучения для классификации и регрессии на табличных данных. TabFM делает прогнозы на ранее не встречавшихся таблицах без отдельной тренировки под каждый набор данных.

Табличные данные лежат в основе множества прикладных задач - от прогноза оттока клиентов до выявления финансового мошенничества. Десятилетиями здесь доминировали алгоритмы на основе деревьев решений, которые требуют долгого подбора параметров и выстраивания признаков под каждую новую задачу.

TabFM использует подход, заимствованный у LLM - обучение в контексте. Модель получает всю таблицу целиком как единый запрос и определяет связи между столбцами и строками прямо в момент прогноза, не меняя своих внутренних параметров. Эту архитектуру Гугл описывает как гибрид двух ранее опубликованных решений TabPFN и TabICL. TabFM обучалась на сотнях миллионов сгенерированных таблиц, построенных с помощью структурных причинных моделей. Разработку проверили на бенчмарке TabArena, который ранжирует системы по итогам прямых сравнений между собой. Тестирование включало 38 наборов для классификации и 13 для регрессии, размером от 700 до 150 000 строк. По результатам TabFM обошла тщательно настроенные отраслевые решения TabPFN-3, AutoGluon и RealMLP. В ближайшие недели TabFM будет встроена в сервис Google BigQuery, там классификацию и регрессию можно будет запускать одной SQL-командой, без специальных знаний в области ML. 📌Лицензирование: Tabfm Non-commercial 🟡Блогпост 🟡Модель 🖥GitHub @ai_machinelearning_big_data #AI #ML #TabFM #Google