Попался анонс новой базы данных - SereneDB, по словам создателей - "the fastest search & analytics database in the world". Как пишут, начался проект в корпорации, потом его свернули, но создатели - Alexander Malandin и Andrey Abramov - продолжили работу и довели до прода. Умеет полнотекстовый, векторный и гибридный поиск. Поддерживает OLAP и озёра данных. Подходит для ИИ-агентов и RAG. Бенчмарки вдохновляющие. Причем, проект опенсорсный. Вот, кстати, они запустились на ProductHunt. Поддержите, если есть аккаунт. Я обычно для аналитики использовал Clickhouse. Но думаю, что надо попробовать и этот вариант. Работает при наличии PostrgeSQL-коннектора. #database #tools

Статистика участия в опенсорсе Активно разрабатывая я регулярно наыткаюсь на баги и не доработки в используемых либах. Мне всегда было интересно помогать авторам улучшать их либы, но не всегда была возможность это делать, хотя я так или иначе это делал. А тут иишка конечно развязала руки. После очередной сессии дебага и понимании, что бага в либе, я взял за правило помимо локального фикса отправлять пулреквест в саму либу. И вот какая у меня накопилась статистика за 30 дней: За последние 30 дней отправил в чужие проекты 31 пулреквест. Из них 17 влиты (55%), 12 ещё ждут ревью, 2 закрыты без мержа. Куда влиты (17): - stathis-alexander/boba: 9 (из 10, один закрыт без мержа) - Shopify/rbi-central: 5 (из 6, один ещё открыт) - Shopify/tapioca: 1 - ElMassimo/vite_ruby: 1 - lostisland/faraday: 1 Ещё открыты (12): - hougesen/mdsf: 2 - jedrzejboczar/devcontainers.nvim: 2 - Shopify/rbi-central: 1 - brianhuster/live-preview.nvim: 1 - RubyMoney/money-rails: 1 - WeAreFarmGeek/diplomat: 1 - bkeepers/dotenv: 1 - kjvarga/sitemap_generator: 1 - rudderlabs/rudder-sdk-ruby: 1 Как видите тут все подряд от типизации (очень много про тулинг для типов в ruby) и http либы до работы с докером вимом и генератором сайтмапов. Причем не всегда я слал сразу пулреквест, если это фича, то обычно сначала спрашивал в ишьюсе как на это смотрит автор. Ну и везде очень позитивная реакция. Иногда, кстати, пулреквест уже есть от другого человека и я просто докидывал туда контекст. Был один кейс, где мое предложенное решение в комменте понравилась ментейнеру больше и он попросил автора пулреквеста поправить его код (inertia.js). А какая стата у вас? Telegram | YouTube | AI Клуб | Внедрение AI

Halo: почти год моей работы в White Circle теперь в опенсорсе Почти год я веду в White Circle разработку Halo - фреймворка для тренировки LLM, на котором мы учим все свои модели. Внутри он работал давно как замена Мегатрона, но до публичного релиза пришлось догнать transformers, TRL и vLLM, добавить модели и упростить адопшен - образы, CLI, документация. Подробный блогпост - на сайте White Circle (https://whitecircle.com/research/halo). Если вы файнтюните открытые модели, то наверняка упирались в: модель уже не лезет в TRL и обычный FSDP, но связываться с Megatron и конвертацией чекпоинтов еще рано или просто не хочется. С MoE все еще хуже, без Expert Parallelism их по большому счету не потренировать. Halo добавляет EP, Context, Tensor и Expert-Tensor Parallelism прямо поверх обычных классов HuggingFace: на вход HF модель, на выходе HF модель. Новое MoE семейство подключается оберткой меньше 140 строк (у Megatron-Bridge на то же самое уходит 600-1900), сейчас их 15. Немного цифр, все на B300, воспроизводимы из репо: - 2.3-2.8x throughput относительно стокового TRL на gpt-oss-20b при тех же кернелах, loss совпадает в пределах ~1%. - Gemma 4 26B-A4B на 2 GPU: 7.2k tok/s против 3.2-5.0k у NeMo AutoModel, Axolotl, Megatron Bridge, MS-SWIFT и Unsloth. - Оптимизатор целиком в bf16 со стохастическим округлением: 120 GB состояния вместо 240 для 20B. Все это првоерялось на реальных кластерах B300/B200/H200/H100 а топология заложена вплоть до NVL72: невалидные раскладки отбрасываются еще на этапе конфига. Запускается через torchrun, accelerate или halo CLI, в репо есть рецепты под SLURM, SkyPilot, RunPod и Nomad. Большая часть года ушла на то, чтобы все это не разваливалось на всех комбинациях моделей и параллелизмов - тестов в репозитории больше, чем кода. При этом работать будет также и на современных консьюмерских GPU. Отдельная моя гордость - Async RL. vLLM или SGLang живут в отдельном контейнере, роллауты идут асинхронно через Ray, веса уезжают по NCCL (по EFA 53-80 GB/s, gpt-oss-120b обновляется за 3-4 секунды), а генерации во время синка не обрываются. Внутри routing replay, importance sampling с масками, обучение на токенах, которые насэмплил движок, и 11 встроенных сред - от code contests и SWE до тулов через MCP. По механикам это сопоставимо с verl и Miles, только на HF-моделях и без Megatron. Для студентов и тех, кто только начинает, Halo, мне кажется, хорошая точка входа. Все запускается из одного docker-образа: halo launch sft config.yaml, а QLoRA Qwen3-4B занимает 7.9 GB и должна работать на 3090/4090. Документации больше 170 страниц, отдельно советую прочитать лекцию GPU Training Theory: база того как работают такие фреймворки, почему эксперты в MoE упираются в память, а не в compute, и почему в EP-шаге 88% времени - это all-to-all. Там же честно написано, что не помогает и что тихо ломает, например TF32 по умолчанию в NGC-образе, портящий RoPE после 2048 токенов. Выложили и модель - GLM-4.7-Flash-Coder, 30B MoE под агентские скаффолды: SFT на 7.8k успешных траекторий GLM-5.1, на SWE-rebench-V2 pass@1 вырос с 33.2% до 41.7%, а модель сама научилась вызывать тулы параллельно. Она уже слегка устарела, но как гайд по агентскому SFT актуальна. Код мы пишем с агентными скаффолдами и сильными моделями вроде Claude Fable и Opus, репозиторий под это спроектирован. Контрибьт приветствуется, но через фильтр: сначала issue и approve мейнтейнера, потом PR. Главное правило - понимать свой код: с AI писать можно, но это нужно раскрыть, а тесты должны падать, когда ломается поведение. Дальше больше: Pipeline Parallelism (все уже в коде, но докатим после полных тестов) и серия блогов про тренировку, например про async RL для code contests. Лицензия Apache 2.0. P.S. Если помните такую вещь как SMPO из времен Vikhr, то он теперь тоже живет там, но уже с EP и CP и улучшениями.

Occamy-1.0 от Accio Lab Агентная модель 35B для длительных задач совместной работы. База - Qwen3.6-35B-A3B, обучение добивало надежное исполнение, трекинг состояния и доведение дел до конца. Находится у низкого колена Pareto-фронтира по цене за задачу • долгие workflows - поиск, код, инструменты, файлы и API в одном прогоне • устойчивость к перезаписи истории - работает после context compaction • сильный tool calling, терминальный кодинг и следование инструкциям • держит состояние между вызовами инструментов и делегированными запусками • мультимодальность - база с vision-энкодером на борту • 35B всего, 3B активных параметров (MoE) • контекст 262K токенов • лидирует среди 35B на Claw-Eval, WildClawBench и AutomationBench • GGUF, FP8 и NVFP4 квантизации под разные железки Сублинейная экономика: на четырех co-work бенчмарках обходит Qwen3.6-35B-A3B с почти тем же per-task расходом. Тренировочный стек Dressage открыт. Лицензия Apache 2.0 HF #agent

На этой неделе Яндекс опенсорснул Alice AI‑T5-35B‑A0.6B. Это обученная с нуля претрейн модель, которая отвечает за быстрые ответы на Поиске. Только что на Practical ML Conf мы слушали про этот релиз из первых рук: Артур Петросян, CTO Alice AI Search, рассказал о том, как команда обучила систему, которая дала +0.34% к продуктовой метрике Sessions Per User и в 56.7% случаев выигрывает в попарных сравнениях против Google AI Overview. — Одна из главных интересных особенностей этой модели – ее архитектура. Это Encoder‑Decoder + MoE. Последние такие модели выходили в 2021–2023 годах (не считая недавнего DeepSeek-V4.1-Flash, который вышел почти в один день с Alice AI‑T5), так что выбирать такую архитектуру было довольно необычным и рискованным решением. Не обошлось без сложностей при разработке: например, на претрейне сколлапсировал роутинг в энкодере, и пришлось сменить схему балансировки экспертов. Зато архитектура себя оправдала. Энкодер один раз читает длинный контекст из документов, а легкий декодер быстро пишет короткий ответ, что идеально для задачи «много на входе, мало на выходе». MoE при этом дает знания уровня 35B параметров при вычислениях как у 0.6B. — После претрейна с моделью также колдовали с помощью SFT и RLHF. На этих этапах модель училась писать ответ так, чтобы он был максимально полезен для живого пользователя. Интересно, что при этом команда обошлась без эталонных ответов, написанных людьми: на запрос генерировалось много ответов от разных систем, лучший отбирался автоматически по набору сигналов качества, а на этапе RL модель дополнительно училась на сигналах реального поведения пользователей Поиска. — Еще одна интересная деталь пайплайна – сжатие контекста. Чтобы не гонять через LLM огромные пачки документов, команда с нуля обучила маленькую BERT‑подобную модель на 80 млн параметров, которая занимается тем, что определяет релевантность каждого токена запросу. Далее поверх этого накладывается метод под названием Cross‑Entropy RL, и в итоге получается экстрактор, который понимает, какую именно информацию модель уже знает из весов, и какой минимальный контекст ей нужен для хорошего ответа. И да, все это – только некоторые детали работы. Про остальные нюансы обучения и строения системы можно почитать вот в этой статье на Хабр. Поздравляем команду с релизом!

🚨 Google обвинили в том, что она взяла open-source код мобильного AI-агента, убрала имена авторов и выпустила его как Artemis. Команда mobile-use нашла очень странные совпадения: - из 229 файлов 228 были идентичны - внутри остался агент с случайным именем hopper и тем же prompt - в раннем pyproject.toml сохранились имена трёх разработчиков mobile-use - в следующем коммите эти имена заменили на другого автора, а остальные 228 файлов не изменились Команда не возражает против использования их Apache 2.0-кода, претензия именно к отсутствию attribution. После публичной жалобы в репозитории Google уже появился PR с исправлением attribution. Очень неловкая история для компании, которая сама построила огромную часть своей репутации вокруг open source. https://github.com/google/artemis/issues/40

🤖 Всё никак не добирался написать, но новость интересная и точно заслуживает вашего внимания. Недавно мы выложили в открытый доступ Kandinsky WM 1.0 — линейку генеративных моделей для Physical AI Один из больших трендов сейчас — развитие Physical AI Foundational Models (FM), которые способны полноценно моделировать физический мир. И многие сильные команды приходят к Physical AI FM именно через видеогенерацию. Это довольно естественный путь: обучаясь на видео, модель получает представление о движении, динамике и взаимодействии объектов. Следующий шаг — связать эту модель с действиями агента. Отсюда, в частности, вырастает направление World Action Models: моделей, которые связывают действия робота с тем, как вследствие этих действий изменится наблюдаемый мир (и, наоборот, как выбрать оптимальное действие робота в соответствии с наблюдаемым / предсказанным поведением мира, среды). При этом сама видеогенерация постепенно становится частью более широких omni-моделей. Например, Cosmos 3 от NVIDIA умеет работать с текстом, изображениями, видео, звуком, действиями на вход и на выход и может использоваться для разных robotics задач. Atlas от World Labs работает с текстом, изображениями, видео и 3D и позволяет восстанавливать реальные сцены и строить на их основе симуляции. Мы развиваем Kandinsky в том же направлении: используем накопленный опыт в видеогенерации, чтобы строить модели для роботов и беспилотников. Kandinsky WM 1.0 — наш первый открытый релиз в этом треке. Мы выложили open source три специализированные модели: 🚗 K5-AV (Autonomous Vehicle) для генерации автомобильных сцен, 🦾 K5-RO (Robotics) для генерации различных сцен манипуляции с предметами, 🌍 K5-PH (Physics) для генерации сцен со сложной физикой в целом: движением людей, протеканием процессов и взаимодействием объектов. Все модели получены дообучением нашей базовой модели генерации видео Kandinsky-5 Video Lite (2B). Модели умеют генерировать 5 секунд видео по первому кадру и текстовому описанию (то есть работают в режиме I2V). Разрабатывали эти модели мы в первую очередь для генерации синтетических данных для обучения других моделей — в основном VLA — которые управляют роботами и беспилотными авто. Особенно важны тут редкие сценарии: сцены ДТП, видео экстремальной погоды или кейсы с отказом оборудования. Собирать такие данные в реальности дорого, очень сложно, а иногда и просто небезопасно. С помощью генеративной модели такие данные можно получасть практически неограниченно. Но у такого подхода есть и обратная сторона: если VideoGen модель неправильно воспроизводит физику, то в обучающие данные для VLA попадут ошибки. К сожалению, такого рода галлюцинации характеры для всех современных VideoGen моделей, потому что при их обучении больше фокусируются на эстетическом (визуальном) качестве, чем на физической достоверности. Улучшить физичность по сути можно 2 способами: добавляя больше данных со сложной динамикой в претрейн и используя различные приёмы на этапе alignment (например, RL с физическими reward-моделями). Претрейн у нас уже был фиксирован (Lite), поэтому мы фокусировались на alignment: cначала делали SFT на качественных данных каждого домена (AV, RO, PH). Затем — RL с хитрыми reward-моделями за физическую достоверность (подробности можно почитать в статье на хабр) ⚡️По бенчмаркам: на Physics-IQ Verified для модели K5-PH получили рост общего score 16,0 (Lite) → 25,8 (Lite SFT PH) → 30,8 (K5-PH). Бенчмарк проверяет, как модели в режиме генерации видео продолжают реальный физический эксперимент по первому кадру. Домены экспериментов: механика твёрдых тел, динамика жидкостей, оптика, термодинамика и магнетизм. Модели сейчас тестим с коллегами из Центра робототехники (ребята в том числе помогали с обучающими данными для K5-RO) и с AIRI в рамках развития симулятора XSIM World. Веса и код моделей выложены под открытой лицензией MIT. Полезные ссылки: 👉 Хабр 👉 GitHub 👉 HuggingFace @dendi_math_ai

Новость: Линус Торвальдс катнул новый релиз ядра, но он оказался очень раздутым Торвальдс в шутку обвинил в этом ии а все сгорели потому что это нихуя не шутка: скандинавский ублюдок заполоняет ядро нейрослопом и не видит проблемы Ладно, всё-таки шутка: на деле там всё ещё очень высокие стандарты, сложное ревью, и много разговоров о том, что человек несёт полную ответственность за каждую строку кода Вызов серьёзный — ведь теперь буквально любой дурак может нагенерить "полезный" патч, десять "полезных" патчей, десять тысяч "полезных" патчей, и кто-то ведь должен их все смотреть, и ведь среди "полезных" есть полезные, а особенно пикантной ситуацию делает тот факт, что часть "полезных" патчей касаются уязвимостей, дыр в безопасности, а положить болт на такие вот дыры серьёзный инженер не может Позиция Торвальдса — мы не анти эй ай проект, эй ай это полезный инструмент, не нравится, как водится — уёбывайте в свои форки В противовес они ввели правило, что теперь надо указывать что твой код был сделан с аи ассистом. Дурь, коллеги, ведь сейчас, пожалуй, ни один инженер не пишет код СОВСЕМ без аи Ещё из интересного, если бы меня спросили, кто из известных трушных инженеров был бы главным врагом нейрослопа в коде, я бы назвал старину Линуса не раздумывая, а он взял и всё наоборот сделал Это всё важно в первую очередь по тому, что сам по себе опенсорс, его культура и традиция — всё формируется здесь Так что запасаемся поп-корном, и следим за ситуацией