Hirify Feed — your shortcut to what’s next

Чувствительный контентНажмите, чтобы показать

ИИ ai машинное обучение обработка видео алгоритмы dataset

Разработка алгоритма для автоматического поиска фрагментов оргазма в видео

5 ч

Японцы снова двигают человечество вперёд. Там японец из твиттора навайбкодил алгоритм, который сам ищет женские оргазмы в длинных порно-роликах и нарезает их на 10-секундные референсы для ComfyUI. Логика автора проста: смотреть "вручную" терабайты порева несколько утомительно, да и как он говорит "слишком возбуждает", а скормить видео в лоб нейронке с вопросом "где тут кончают?" пока не работает (модельки в таких тонких материях не особо хорошо разбираются и часто тупят). Поэтому этот дата-сайентист-гигачад пошёл через математику и выделил три сигнала: — Стоны 100–1500 Гц с резким затуханием — Резкий скачок движения между кадрами — Фризы, стоп-кадры и плавные переходы Скрипт по этим признакам уже находит довольно много нужных моментов. Дальше у автора план ещё годнее: собрать датасет "оргазм / не оргазм", обучить на нем что-то типа CatBoost и получить полноценный классификатор оргазмов. Вот он, настоящий машин лёрнинг, ради которого создавались компьютеры.

ai машинное обучение обработка видео алгоритмы dataset

ИИ математика оптимизация машинное обучение графы алгоритмы

Оптимизация поиска в гиперболических пространствах

T@kryak_startupAI-инженер

4 дн

Наконец появился первый пример "хитропопой" математики, где в разных пространствах / отображениях можно сокращаться вычислительную мощность на порядок. 🏆 Итог: Мы ускорили поиск в 2.4 раза (Speedup: 2.4x) и математически гарантировали 100% стабильность на любых глубинах графа. + еще один апдейт который коренным образом решает проблемы "шаров пуанкаре" и то что Float Drift в Лоренце появляется. Чуть позже расскажу и аналогии нарисую про Hyperbolic Voronoi Cells (Оптимизация). 🤔🧠 Гиперболические ячейки Вороного (Hyperbolic Voronoi Cells) в задачах оптимизации и машинного обучения используют для эффективного представления и кластеризации иерархических данных (например, сложных графов и сетей), так как геометрия Лобачевского позволяет размещать экспоненциально растущие объемы данных без искажений.

Оптимизация поиска в гиперболических пространствах

математика оптимизация машинное обучение графы алгоритмы

релизИИ ai llm программирование агенты открытый код ии

Ornith-1.5: семейство открытых моделей, которое сама придумывает себе задачи и учится на них

AI-редакция

2 источника · показать все· свернуть

Нейронавт | Нейросети в творчествеOrnith-1.5: семейство открытых моделей для программирования и агентов Хайтек+Новые ИИ-модели семейства Ornith-1.5 обучили себя сами до топовых результатов

собирается · 2обновлено 1 нед назад

Вышло семейство открытых ИИ-моделей Ornith-1.5, ориентированное на программирование, логику и агентные задачи. Их ключевая особенность — отказ от статичных обучающих датасетов: модель сама генерирует новые задачи, пишет под них скэффолдыi (инструкции, инструменты, стратегию решения) и учится на собственных попытках через обучение с подкреплениемi.

Благодаря такому подходу даже сравнительно небольшая версия на 9 млрд параметров конкурирует с моделями в разы крупнее, а флагманская версия на 397 млрд параметров сопоставима по результатам с топовыми закрытыми моделями.

9Bпараметров у самой малой версии

397Bпараметров у флагманской версии

128K-256Kразмер контекста в токенах

Полный разбор →

ai llm программирование агенты открытый код ии

ИИ ai dflash2 нейросети машинное обучение аналитика

Релиз модели Dflash2 и критика подхода авторов

К@quant_prune_distillAI-инженер

1 нед

Dflash2 тпшнулся и теперь продаёт курсы на скиллбокс?! Да да боже опять дифлеш… лорд Айм уан, лорд айм ту, начинали год как бодрый новичок с плюс минус новым подходом в спекдеке, даже обещали выложить пайплайн обучения, и вот конец года - тяжёлый люкс, эйай блог в тёмных тонах, пишите в Директ скинем модельки 💅 Из изменений: докинули конволюцию (стак мор лейерс) и газанули на дспарк из-за рекуррентности, хотя сами не лучше со своим path finder’ом. Замерились опять на каких то доходягах типа meta muse glimmer это че блеск для глаз, и опять под раздачу попала КраснаяШляпаЭйАй, до отстаньте вы от них да делают средние драфт модели, да за один день, да бесплатно, но издеваться то зачем? это какая то груша для битья на все случаи жизни? если Канье Веста заменят домиником джокером в саже - пойду красной шляпе дизов насую на хф, ну чтобы знали Крч, китайцы срубили бабла, даже им нужен один залетевший рилз, гад блес зем https://inco.ai/blog/dflash2/

ai dflash2 нейросети машинное обучение аналитика

ИИ ai vlm spatial memory qwen машинное обучение

Spatial Memory Agent: улучшение пространственного мышления VLM

Н@GreenNeuralRobotsAI-инженер

1 нед

Spatial Memory Agent Фреймворк для улучшения пространственного мышления VLM без дообучения. Замороженная модель сама улучшает рассуждения, превращая проверенный опыт в переносимые уроки. • Самоэволюция без обновления параметров и внешних пространственных инструментов • Дистилляция проверенного опыта в компактные карточки памяти • Перенос памяти между моделями и бенчмарками Прикручено к Qwen3.5-9B, Qwen3.6-27B, Qwen3.6-35B-A3B, Qwen3.5-122B-A10B Код ждем #vlm

Spatial Memory Agent: улучшение пространственного мышления VLM

ai vlm spatial memory qwen машинное обучение

IT алгоритмы структуры данных машинное обучение knn поиск

Что такое Ball tree

T@kryak_startupAI-инженер

1 нед

Ball tree (шаровое дерево) — это иерархическая структура данных (двоичное дерево), предназначенная для эффективной организации и поиска точек в многомерном метрическом пространстве. Главная область его применения — ускорение алгоритмов поиска ближайших соседей (например, в методе k-ближайших соседей — KNN) и кластеризации.

алгоритмы структуры данных машинное обучение knn поиск

исследованиеИИ airi диффузионные модели ии исследования nlp ai

AIRI, FusionBrain и SberAI выпустили большой разбор диффузионных языковых моделей (dLLM)

AI-редакция

3 источника · показать все· свернуть

Сергей Марков: машинное обучение, искусство и шитпостингСовместная работа AIRI и исследователей по текстовым диффузионным моделям Навука и моя жизнбОбзор диффузионных языковых моделей (dLLM): подходы и результаты Mashkka про Data ScienceОбзор диффузионных языковых моделей (dLLM): подходы и результаты

разгоняется · 3обновлено 2 нед назад

Команды «Интерпретируемый ИИ» лаборатории FusionBrain, «Основы генеративного ИИ» Института AIRI и «Генеративная поэзия» Сергея Маркова (SberAI) опубликовали на Хабре итог годичной совместной работы над диффузионными языковыми моделями (dLLMi). Они воспроизводили чужие методы, обучали свои модели и ускоряли инференс, чтобы разобраться, какие подходы к dLLM реально работают, а какие пока не стоят вложенного времени.

В отличие от классических LLM, генерирующих текст токен за токеном слева направо, dLLM раскрывают замаскированные позиции параллельно по всей последовательности — отсюда обещание кратного ускорения генерации. Но на практике эффект ограничен тем, что классический KV-кэшi в диффузионных моделях нормально не работает.

ВыводРазобраны три подхода к dLLM: адаптация готовой LLM в диффузионную, обучение с нуля и дистилляция уже обученной модели

2,7×ускорение ReFusion+GigaChat 3B по wall-clock

1024 → 16сокращение шагов расшумления методом IDLM

3Bразмер модели GigaChat в эксперименте ReFusion

Полный разбор →

airi диффузионные модели ии исследования nlp ai

ИИ xgboost kdd машинное обучение алгоритмы data science

XGBoost получил награду Test of Time Award

D@datastorieslanguagesAI-инженер

2 нед

Xgboost - test of time award

xgboost kdd машинное обучение алгоритмы data science

IT kaggle ml data science юмор машинное обучение

Эволюция соревнований на Kaggle

D@data_secretsAI-инженер

3 нед

Соревнования на Kaggle 5 лет назад: вручную собери мультимодальный датасет на 50 гигабайт, обучи ансамбль бустингов, зафайнтюнь ResNet под кастомную аугментацию, выжми 0.0001 AUC стекингом Соревнования на Kaggle сейчас: сделай агента, который будет доить виртуальную корову 🧑‍🌾

kaggle ml data science юмор машинное обучение

ИИ робототехника ai bert vla машинное обучение роботы

TurboVLA: компактная модель управления роботами без LLM

N@neurohiveAI-инженер

3 нед

TurboVLA: робот получает команды в разы быстрее при 97% успешных выполнений благодаря замене LLM на BERT Исследователи из Хуачжунского университета науки и технологий и Huawei опубликовали TurboVLA, компактную vision-language-action модель, которая выдаёт действия для робота за 31.2 мс на RTX 4090 и набирает 97.7% на бенчмарке для роботов LIBERO. Главное отличие от других VLA в том, что внутри нет LLM. Вместо неё лёгкий текстовый энкодер BERT, а картинка и инструкция обмениваются информацией напрямую через модуль кросс-внимания. Отсюда 0.2B параметров вместо миллиардов и меньше 1 ГБ видеопамяти при инференсе. Обычно VLA-модели устроены так: робот получает картинку с камеры и текстовую инструкцию по типу «сложи три миски друг на друга». Визуальные признаки сначала проецируются в пространство токенов языковой модели, склеиваются с токенами инструкции, прогоняются через модель, и уже из её скрытых состояний декодируются действия. Этот путь обозначается как V → L → A: сначала зрение, затем язык, потом действие. Ключевое наблюдение исследователей простое: если в инструкции уже написано, что делать, то от текста нужно только подсказать, на какие визуальные детали смотреть. Вместо V → L → A авторы предлагают прямое отображение V + L → A. Картинки и инструкция кодируются независимо, потом обмениваются информацией напрямую, минуя большую языковую модель. За один прямой проход модель выдаёт сразу чанк из 12 шагов управления. Результаты на бенчмарке для роботов LIBERO: TurboVLA набирает 97.7% в среднем при 0.2B параметров, 0.9 ГБ видеопамяти и 31.2 мс задержки. Для сравнения, модель π0.5 выдаёт 96.9% при 3.4B параметров, 12.8 ГБ и 93.6 мс. VLA-JEPA набирает 97.2% при 2.8B и 108.7 мс, CogVLA 97.4% при 8.3B и 115.5 мс. Среди лёгких моделей Evo-1 даёт 94.8% при 0.8B, VLA-Adapter 97.3% при 1.5B. На реальном роботе AgileX Piper модель проверили на четырёх задачах (взять валик, отодвинуть карту, нажать степлер, сложить три миски) и получила от 80% до 92.5% успеха, в каждой из них обойдя π0.5. Симуляционную часть можно воспроизвести целиком: обучение и тесты шли на открытых датасетах LIBERO и RoboTwin 2.0 (для версии под RoboTwin брали визуальный энкодер побольше, там 0.4B параметров). Собственные данные использовали только для дообучения под реального робота. TurboVLA рассчитана на конкретные инструкции. Если попросить робота «приготовить завтрак», разбивать это на шаги будет нечем. Код модели доступен на GitHub под лицензией Apache-2.0, веса выложены на Hugging Face. #Stateoftheart

робототехника ai bert vla машинное обучение роботы

ИИ airi ии образование лекции машинное обучение

Записи лекций летней школы по ИИ «Лето с AIRI 2026»

M@mashkka_dsAI-инженер

3 нед

Трансляции лекций «Лето с AIRI 2026» Наша летняя школа по искусственному интеллекту близится к завершению. Делимся записями трансляций потоковых лекций⤵️ ⏯«Тренды в развитии ИИ и исследования AIRI» Иван Оселедец, д.ф.-м.н., профессор РАН, генеральный директор Института AIRI, декан факультета искусственного интеллекта МГУ ⏯«Обучаемая манипуляция объектами: от RL к VLA моделям» Александр Панов, д.ф.-м.н., профессор РАН, директор лаборатории «Когнитивные системы ИИ» Института AIRI, директор Центра когнитивного моделирования МФТИ ⏯«На пути к сильному ИИ в медицине» Дмитрий Дылов, PhD, директор лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«Стратегия и подходы применения генеративного ИИ в кибербезопасности» Антон Митрофанов, исполнительный директор, Управление экспертизы кибербезопасности Сбера ⏯«От весов до прода: как ломают и защищают ИИ-системы» Олег Рогов, к.ф.-м.н., руководитель группы «Доверенные и безопасные интеллектуальные системы» Института AIRI, руководитель лаборатории безопасного ИИ AIRI-МТУСИ ⏯«Vision? Language? Action? Models» Владислав Куренков, руководитель группы «Адаптивные агенты» Института AIRI ⏯«Интерпретируемый ИИ в анализе многоканальных электрофизиологических данных» Алексей Осадчий, д.к.н., руководитель группы «Нейроинтерфейсы» Института AIRI, директор Центра биоэлектрических интерфейсов НИУ ВШЭ ⏯«От промпта к цифровому сотруднику» Ярослав Беспалов, руководитель группы «Мультимодальные архитектуры ИИ» лаборатории «Сильный ИИ в медицине» Института AIRI ⏯«На пути к L5 автономии в транспорте. Актуальные задачи современных систем» Дмитрий Сенюшкин, к.к.н., руководитель группы «Автономное зрение» Института AIRI ⏯«От машинного обучения к ИИ материаловедению» Роман Еремин, к.ф.-м.н., руководитель группы «Дизайн новых материалов» Института AIRI ⏯«Может ли ИИ заменить учёных?»Автономные агенты и будущее науки» Пётр Анохин, к.б.н., руководитель группы «Нейрокогнитивные архитектуры» Института AIRI ⏯«Ура, Уроборос! От понимания BIM к самоэволюции и градостроительству» Артём Просветов, исполнительный директор по исследованию данных, Сбер ⏯«Знает ли модель, что она не знает? Введение в оценивание неопределённости в LLM и VLM» Елизавета Гончарова, к.к.н., руководитель группы «Мультимодальный ИИ» лаборатории FusionBrain Института AIRI ⏯«Всем пятёрки, или как оценивать AI-исследователей — парадоксы, ловушки, качество и новизна» Анастасия Волкова, руководитель направления по исследованию данных Центра исследований генеративного ИИ Sber AI ⏯«Как не потерять права на свои разработки» Вита Власова, руководитель направления партнёрского сопровождения и интеллектуальной собственности Института AIRI ⏯«Faithfulness в языковых моделях» Глеб Ершов, Data Science-инженер Авито ⏯«Как ИИ помогает взламывать код жизни» Алёна Аспидова, инженер-исследователь группы геномики Центра ИИ-разработки новых лекарственных препаратов AIDD Института AIRI ⏯«Эффективный ИИ: главные оптимизации последних лет и почему они сработали» Данил Сивцов, инженер-исследователь группы «Вычислительный интеллект» Института AIRI ⏯«Терминальные агенты в задачах автоматизации актовый зал доменных исследований» Даниил Сухоруков, научный сотрудник группы «ИИ в промышленности» Института AIRI ⏯«Современные методы квантования моделей» Начын-Энхэдоржу Ооржак, специалист по исследованию данных, Блок «Риски», Сбер Записями всех лекций и семинаров мы поделимся после завершения Школы✔️

Записи лекций летней школы по ИИ «Лето с AIRI 2026»

airi ии образование лекции машинное обучение

Технологии реклама пэйсинг инцидент машинное обучение аукцион бэкенд

Почему сливается рекламный бюджет: анализ инцидента с пэйсингом

K@knowledge_accumulatorмедиа / агрегатор

4 нед

Кто виноват в сливе рекламного бюджета? При создании рекламного line item рекламодатель устанавливает бюджет - N долларов в день. С точки зрения любого line item стратегия (в Х) простая: в каждом аукционе он делает ставку из расчёта k долларов за целевое действие (показ, клик, покупка): k * p(event). Значение k определяет компонента под названием пэйсинг (pacing). Количество выигранных аукционов в течение дня, а также потраченный бюджет - строго монотонная функция от k. Пэйсинг занимается подбором такого k, чтобы было потрачено ровно N долларов за день. На практике возникает неловкая ситуация. Пэйсинг как будто бы компонента, принимающее важное решение, от которого зависят все метрики рекламодателя, а не просто маленькая калибровочная компонента. И он получает все косые взгляды в момент, когда что-то идёт не так. Команде бэкэнда одним непримательным утром пришла стопка жалоб от рекламодателей - в районе 7 утра у многих сильно скакнули стоимости показов, и бюджет на два часа был слит за 15 минут. Разумеется, все пошли искать какие-то инциденты в пэйсинге и проверять, почему у него поехала крыша. Той же ночью произощёл ещё один инцидент, в котором копалась команда моделинга - ночью поплавилась одна инфровая компонента и в результате очень сильно упал Success Rate модели с 4 до 6 утра, после чего выкатили фикс. На общей встрече рекламы, когда рассказали про проблему со слитым бюджетом, почесав репу, я на опыте предположил, что эти 2 инцидента связаны, и что именно произошло, и оказался в точности прав - мелочь, а приятно. Когда бэкэнд, считающий p(event) с помощью вызова инференс движка модели, получал 🖕вместо ответа, он использовал 0 в качестве p(event). Таким образом, у оптимизирующих клики или продажи ставка за показ превращалась в 0 и они не могли выиграть в аукционах. Видя, что бюджет тратится сильно медленнее целевой скорости, пэйсинг начинает накручивать k - стоимость события, и в итоге нарастил его в несколько раз у многих line item. Условно, в трубе, засоренной на 80%, пэйсинг увеличил давление в 5 раз, чтобы вся вода успела протечь. В чудо-момент, в который мы чиним инференс, Success Rate взлетает до 100%, и все участники аукциона стали получать честный p(event). Нормальный p(event), умноженный на раздутый k, дал всем огромную стоимость показов, которую все дружно заплатили. Два урока, который мы из этого вынесли - во-первых, fallback не должен быть нулевой - какое угодно плохое предсказание среднего не возбудило бы пэйсинг так сильно. Во-вторых, внезапно, но в случае больших проблем с моделью восстанавливать норму нужно медленно, потому что пэйсинг поддерживает хрупкий баланс в системе и ему нужно давать время на подумать. Уже через пару недель, когда у нас сломался чекпоинт ретривала, я не выкатывал фикс на весь движок, а выкатывал вручную, начиная с 1 ноды, потом 2, 4 и т.д., и тем самым избежал повторения ситуации. @knowledge_accumulator

реклама пэйсинг инцидент машинное обучение аукцион бэкенд

ИИ ai recursive self improvement openrsi машинное обучение

Эксперимент OpenRsi: система рекурсивного самоулучшения сама поднимается в лидерборде соревнования

AI-редакция

2 источника · показать все· свернуть

Love. Death. Transformers.Успехи проекта OpenRsi в рекурсивном самообучении AbstractDLУспехи проекта OpenRsi в рекурсивном самообучении

собирается · 2обновлено 4 нед назад

Автор проекта OpenRsii (репозиторий AlexWortega/OpenRsi на GitHub) запустил эксперимент по рекурсивному самоулучшению (recursive self improvementi, RSI) и спустя почти сутки автономной работы системы поделился промежуточным результатом.

По словам автора, вернувшись к проверке днём — после того как он поел, поспал и поработал над другими делами — он был приятно удивлён: система неплохо справляется как с обновлением самой себя, так и с продвижением в лидерборде (LBi) соревнования, в котором участвует.

Полный разбор →

ai recursive self improvement openrsi машинное обучение

IT ml машинное обучение классификация спам анализ данных разработка

Почему ML-модели ошибаются: роль контекстных признаков

K@kantor_aiмедиа / агрегатор

4 нед

Про признак «у пользователя день рождения» в ML В этом году на день рождения (он был уже давно, сейчас просто вспомнил историю) я получил очень много поздравлений, и что-то меня побудило всем поздравившим ответить в тот же день. В итоге больше половины моих ответов телеграм удалил, решив, что я спамер. Даже были прецеденты, когда мы с человеком попереписывались, а на следующий день его реплики есть, а мои все потерли. В этом нашелся и позитивный момент, я до сих пор случайно нахожу диалоги с поздравлениями и снова радуюсь им, но конечно основное, что меня позабавило, это что в классификаторе спама либо нет признака «у пользователя ДР», либо он не работает. И это, кстати, частый недостаток ML моделей в B2C сервисах. Например, в одной компании, где я работал, два моих коллеги мужского пола постоянно определялись внутренним классификатором пола как женщины, а один из них на этот счет даже неплохо плевался желчью. Причина тому была очень простой: у них день рождения 8 марта, и они получают аномально высокое для мужчины количество звонков в этот день. Среди тысяч сотрудников оказалось достаточно мужчин, родившихся 8 марта, чтобы баг исправился сам собой, когда для модели сделали нормальные признаки. Общий же рецепт довольно простой: при разработке модели хорошо бы подумать, почему она может ошибаться на каких-то примерах, и что сделать, чтобы не ошибалась. Как правило первые ответы на этот вопрос будут касаться наличия и актуальности нужных признаков, корректности собранного таргета, баланса классов и в целом репрезентативности выборки.

Почему ML-модели ошибаются: роль контекстных признаков

ml машинное обучение классификация спам анализ данных разработка

ИИ nllb bpe unigram токенизация nlp машинное обучение

Особенности работы с токенайзерами BPE в моделях NLLB

̶@izolenta_mebiusaAI-инженер

1 мес

С тех пор, как я ещё в 2023 выкладывал тьюториал по дообучению моделей NLLB, я был уверен, что их токенайзер основан на алгоритме unigram (ибо так говорила и всё ещё говорит документация на huggingface). И подходил к модификации словаря токенов соответственно Оказалось — там всё-таки BPE. В чём принципиальная разница? Оба алгоритма сначала разделяют текст на «слова» регулярками, а потом каждое слово разбивают на subword tokens. Но Unigram при этом перебирает абсолютно все способы покрыть слово токенами из своего словаря, и выбирает самый вероятный (согласно собственной «недомарковской» вероятностной модели, где токены не зависят друг от друга — отсюда и название). А BPE идёт строго «снизу вверх»: разбивает слово на атомарные единицы (юникодные байты или буквы), а потом рекурсивно склеивает пары соседних токенов в один, если такая замена есть в его словаре. То есть словарь BPE состоит не только из мешка токенов, но и из графа попарных склеек (merges), выстраивающего эти токены из атомов. Это делает словарь BPE несколько расточительным: если там есть какой-то длинный токен, то должна быть и пара более коротких токенов, из которых он склеивается, даже если они не используются ни в каких других комбинациях. Если неаккуратно удалить такие «неиспользуемые» токены из словаря, то другие, полезные токены станут недостижимыми для алгоритма склейки. Если добавить новые токены, но не вывести их из уже используемого графа склеек, то они тоже будут недостижимы. Поэтому если просто пытаться складывать или вычитать словари, как в модели unigram, это может работать очень криво. К примеру: в варианте NLLB, куда я пытался добавлять токены для эрзянского, больше 2к новых токенов оказались недостижимыми и неиспользуемыми. Правильный подход к манипуляции со словарями BPE — работать с деревьями склеек напрямую. При сокращении такого словаря надо обрезать сразу целые ветки графа склеек (ну или только листья), а не произвольные токены. Ну а при его расширении надо делать continued BPE training, то есть образовывать новые токены, склеивая пары уже имеющихся, как мы это делали в проекте OMT (в случае с NLLB, где BPE делается не над байтами, а над буквами в качестве базовых единиц, бывает ещё нужно добавить в словарь новые буквы). Это несложно имплементировать самостоятельно, но если хочется готового решения, могу порекомендовать пакет tokenizer-extension и идущую с ним в комплекте статью Teaching Old Tokenizers New Words: Efficient Tokenizer Adaptation for Pre-trained Models

nllb bpe unigram токенизация nlp машинное обучение

IT python машинное обучение производительность c++cuda разработка

Почему Python стал стандартом в машинном обучении

Х@habr_comмедиа / агрегатор

1 мес

Python: как один из самых медленных языков стал королем нейросетей В наборе тестов USENIX приложения на CPython отработали в среднем в 29,5 раза медленнее, чем те же программы на C++. При этом именно Python стал основным инструментом машинного обучения и держит первую строчку в рейтинге TIOBE, опережая C, C++ и Java. Самый медленный в этой компании язык возглавил область, где всё упирается в скорость вычислений. Разгадка в том, что тяжёлую математику Python выполняет вовсе не сам. Один его вызов способен запустить перемножение матриц из миллионов элементов, и вся нагрузка при этом уходит в скомпилированное ядро на C++ или CUDA. Получается, что в такой работе программа большую часть времени проводит за пределами самого Python.

python машинное обучение производительность c++cuda разработка

IT recsys конференции исследования машинное обучение acm sigir

Участие российских исследователей в конференции ACM SIGIR 2026

I@inforetrieverавтор про «it»

1 мес

ACM SIGIR 2026. В этом году Артём Матвеев, Владимир Байкалов и Сережа Макеев (ребята из моей бывшей команды, мои соавторы по Аргусу и другим статьям, а также помощники по Deep RecSys курсу) съездили в Австралию на SIGIR со своими работами, которые я уже упоминал пару постов назад. Почитать про конфу можно на канале Владимира @ducks_recs и Артёма @nxt_item. Первый пост на канале Артёма — инсайдерская инфа из личного общения с инженером из команды OneRec: тык. Лично мое мнение про OneRec от этой инфы не поменялось (его можно узнать из лекции про генеративные модели), но для кого-то она может стать неожиданностью :) Подписывайтесь! P.S: картинку украл из @MLunderhood))

recsys конференции исследования машинное обучение acm sigir

исследованиеИИ яндекс нейросети ии машинное обучение алгоритмы голосовые технологии

Яндекс решил проблему «катастрофического забывания» у голосовых помощников

AI-редакция

4 источника · показать все· свернуть

Naked ScienceИсследователи «Яндекса» решили проблему «катастрофического забывания» в нейросетях РестартЯндекс представил метод добавления голосовых команд без переобучения нейросети ХабрКак Яндекс обучает умные колонки новым командам без потери старых навыков Data SecretsЯндекс представил метод модульного расширения для обучения голосовых команд

разгоняется · 4обновлено 1 мес назад

Исследователи Яндекса нашли способ добавлять новые голосовые команды в устройства с офлайн-распознаванием речи (например, умные колонки) без потери качества распознавания старых команд. Раньше при дообучении модели новыми фразами она резко теряла точность на старых: доля пропущенных знакомых команд взлетала с 2,71% до 69% (по данным Хабра — до 69,08%).

Вместо переобучения всей модели или подбора ограничений (как в методе EWC) команда предложила модульное расширениеi: основную нейросеть замораживают, а к ней подключают небольшой лёгкий модуль, который переиспользует активации старых слоёв и учится распознавать только новые команды. Это позволяет обновлять умные устройства с ограниченными ресурсами, не переобучая систему целиком и не рискуя ломать уже работающие функции — и всё работает прямо на устройстве без интернета.

ВыводСтандартное дообучение подняло долю ошибок на старых командах с 2,71% до 69% (Хабр указывает точнее — 69,08%)

2,71%ошибки на старых командах до дообучения

69%ошибки на старых командах после стандартного дообучения

4,37%ошибки на новых командах в новом методе

Полный разбор →

яндекс нейросети ии машинное обучение алгоритмы голосовые технологии

исследованиеИИ рекомендательные системы машинное обучение als mcts rl ai vk

AI VK научили матричную факторизацию ALS планировать рекомендации через MCTS

AI-редакция

2 источника · показать все· свернуть

Machine learning InterviewПланирование рекомендаций через матричную факторизацию и MCTS Machine learning InterviewПланирование рекомендаций через матричную факторизацию и MCTS

собирается · 2обновлено 1 мес назад

Исследователи AI VK предложили добавить к классической матричной факторизации ALSi планирование на несколько шагов вперёд с помощью Monte Carlo Tree Search (MCTSi), а не просто выбирать top-K ближайших айтемов. Работа «Planning over Matrix-Factorization MDPs for Candidate Generation» принята на воркшопе Customer Journey в рамках KDD 2026.

Обычные рекомендательные системы на ALS не учитывают, как показ конкретного айтема изменит эмбеддинг пользователя и последующие выдачи. Новый подход представляет процесс рекомендаций как RL-среду и строит дерево возможных последовательностей показов, что даёт заметный прирост качества в офлайн-экспериментах на нескольких датасетах.

ВыводЗа основу взяли ALS и механику обновления профилей из сервиса Profile Stream во VK, где эмбеддинг пользователя пересчитывается после новых взаимодействий

1,5 разарост Recall@10 на VK-LSVD

4датасета в экспериментах

Полный разбор →

ИИ llm reasoning ai нейросети машинное обучение

Контроль уровня рассуждений в LLM

А@AGI_and_RLAI-инженер

1 мес

про ризонинге и как уровень рассуждений контролировать и настраивать в ллм https://magazine.sebastianraschka.com/p/controlling-reasoning-effort-in-llms

llm reasoning ai нейросети машинное обучение

ИИ gemma4 ии нейросети архитектура omnimodal машинное обучение

Технический разбор архитектуры Gemma4: переход к нативному omnimodal

D@dealerAIAI-инженер

1 мес

Gemma4 техрепорт и честный omnimodal на 12b от 🕸 Вот ждал 📦, что будет пример в лоб, как кодировать без предобученных бэкбонов аудио, видео и картинок информацию и кидать в модель. Это и есть настоящее omnimodal, тк multimodal работает именно с доп моделями в своих модальностях + слой проекции. 😮‍💨 Ребята из 🏳️‍🌈 с выходом Gemma4 зарепортили инфу о такой модели. Теперь информация с разных модальностей кодируется напрямую в матрицы и проходит всего лишь слой эмбеддингов внутри модели без доп внешних clip'ов и тп. Почитать можно в тех репорте тут. 🤙 Как это работает детально: 1. Изображение. Не используется ни vit, ни clip, ни resnet. Только патчи 48x48х3 (rgb канал 🧠) в нарезке серией. После выпрямляется в flatten и эмбедится в плотном слое (чисто факторизация а-ля как в SVD и als). 2. Аудио. Никаких мелспектров, а только сырой PCM сигнал. Нарезка также по 40мс частотой 16кГц, выпрямление и снова проекция. Все это порождает эмбы токенов звука и аудио, которые кормятся в слои внимания вместе с текст эмбами. Важный нюанс с позицией: Чтобы модель знала, где находится патч, инженеры не используют сложные 2D-RoPE эмбы. Они добавляют факторизованные координатные вложения - отдельные обучаемые векторы для координаты X и координаты Y, которые просто прибавляются к полученному токену картинки или звука. 🧠 В общем, для меня это было самое интересное. Тк в остальном в мире уже видны лучшие практики, которые комбинируй как можешь: и по локально-глобальному вниманию, и по sparsed attention, и хаки с KV, rope, скрытое рассуждение (только тут оно не в латентах, а тупо скрывают тексты от юзера), и обобщенные слои с early exit для MTP (multi token prediction). Итого, читаем. Образовываемся и stay tuned 🦾

gemma4 ии нейросети архитектура omnimodal машинное обучение

Ещё ↓