На чём обучают эйай? Правильно, на потных катках Наткнулся на топовую историю на стыке эйай, роботов и игр: В конце 2024 OpenAI предложила $500 млн за Medal - сервис, где геймеры записывают короткие клипы своего геймплея и кидают их корешам. Как вы понимаете, не потому что Альтман фанатеет от летсплея (хотя от какого-то конкретного может и фанатеет 😈), а ради данных для обучения интеллекта этого нашего искусственного. Хотели цап-царапнуть сотни млн часов игр для обучения своих моделек. Фаундер Пим де Витте отказался (это по его версии, а по версии The Information сделка сорвалась), и в октябре 2025 выделил из Medal отдельную ИИ-лабораторию General Intuition. В сооснователи взял трёх исследователей world-моделей. Это модели, которые предсказывают, что произойдёт с окружением, если в нём что-то сделать. Моделирование 3D-миров и всё такое. Работает это так: 1. На Medal клип пишется вместе с контроллером. То есть, к каждому кадру приклеено, какие кнопки человек жал и когда. Получается связка "что видел + что сделал + что вышло". На Ютубе и Твиче такого нет - там видно результат, но не что человек тыкает. Плюс на Medal специально снимали моменты, где что-то происходит: перса убили, упал, атака и т.д. 2. Получаются отобранные игровые пики точёные, а не 100500 часов вялого стрима, где ничего не происходит. 3. Дальше General Intuition учит на этом две модели: - Одна предсказывает мир. Даём ей реальный кадр - она генерит следующий, но без игрового движка. - Вторая предсказывает действие. Даём кадр - она говорит, что тут сделал бы человек. Первую не продают - она скорее тренажёр, на котором гоняют вторую. А вот вторую уже продают через API. Возможно, вы скажите: "Нафига учить роботов на геймплее? Это же не реальный мир". Так вот, здесь история про оптимизацию обучения. Был кейс, где робота сначала обучили на данных от General Intuition, а потом дообучили всего на 8 минутах реальных данных из камеры робособаки, и он смог начать ходить по офису. Да, шатко-валко и задевая предметы, но смог. Обучать на реальных данных с нуля было бы в разы дороже (вешать камеры индусам на лоб - это не бесплатно). Сейчас стартап стоит около $6 млрд, недавно в него зашёл Valor Equity Partners - довольно известная инвестструктура, (вроде как) связанная с Илоном Маском. Так что, быть может, OpenAI вообще обломится. А может и нет, ведь это они в твитторах друг с другом срутся, а за его пределами спокойно всё продают и покупают. В общем, миллионы школьников, клипающих хедшоты в Фортнайте, на самом деле полтора года собирали датасеты для роботов. Какая неожиданность 😈 Дизраптор

🚀 3/3 EMNLP 2026 🚀 Три из трех (!!!) наши статьи по исследованиям жестовых языков (РЖЯ в частности) прошли на EMNLP 2026. Это была последняя переподача, до этого было несколько реджектов на другие крупные конфы. Спасибо всем причастным, кто работал над созданием статей, особенно наших бывших коллег @karinakvanchiani @TOOFACK и @lizaforlizard ♥ О чем писали и какие ревью пришли? 🔤 Bukva: Russian Sign Language Alphabet https://arxiv.org/abs/2410.08675 Bukva — открытый датасет изолированного дактиля (алфавита) русского жестового языка (РЖЯ). Он содержит 3757 видео (33 буквы, включая 8 динамических), записанных 155 дикторами. В качестве бейзлайнов использованы модели с модулем временного сдвига (TSM) на базе MobileNet/ResNet. Также представлено демо-приложение для обучения алфавиту. ➕ 155 участников — это огромный шаг вперед по сравнению со старыми датасетами РЖЯ (где было от 4 до 20 человек). ➕ Прозрачный пайплайн: Подробно описан процесс сбора, фильтрации и оплаты труда краудворкеров. ➕ Строгий контроль: Дикторы и валидаторы сдавали экзамен на знание РЖЯ. ➕ Качественный сплит train и test по дикторам (модель тестируется на людях, которых не видела при обучении, в других работах разбивка была случайна). ➖ Игнорирование специфики: динамическое буквы (главная фишка датасета) не оцениваются отдельно от статических. ➖ Слабые бейзлайны: Нет сравнения с современными трансформерами (за этом нам часто напихивают, но любой трансформер переобучится под этот сет) 👌 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition https://arxiv.org/abs/2505.10267 Эту статью приняли с очень высокими рейтингами: accept, clear accept, strong accept Работа посвящена распознаванию дактиля американского жестового языка (ASL). Мы предлагаем семейство из трех моделей (RGB, скелетные точки и мультимодальная) с новыми архитектурными блоками: TSAM (для обработки видео разной длины без паддинга) и TPE (кодировщик поз). Модель устанавливает новый SOTA на бенчмарке ChicagoFSWild+. ➕ Работа с естественными данными, независимыми от диктора. ➕ TSAM легко решает проблему видео переменной длины (без обрезки и паддинга), что экономит память. ➕ Превосходит все предыдущие методы, обученные даже на больших объемах данных. ➖ Заявляем об «экономии 50% VRAM» и «легковесности», но не приводим ни одной цифры (нет замеров FLOPs, параметров, скорости инференса или потребления памяти). ➖ Слабая мультимодальность: простое суммирование фичей RGB и скелета дает минимальный прирост, что ставит под сомнение реальную взаимодополняемость модальностей. 👩‍💻 Znaki: A Russian Fingerspelling Recognition Dataset Это первый непрерывный датасет дактиля РЖЯ. В отличие от Bukva (где буквы изолированы), здесь дактиль связан во фразы (в основном имена собственные). Датасет включает 37252 видео (35.4 часа) от 68 дикторов. Краудсорсинг с двухэтапной проверкой на знание РЖЯ. ➕ Уникальность: заполняет критический пробел, отсутствие датасетов именно непрерывного русского дактиля. ➕ Исключение утечек: жесткое разделение по дикторам и фразам между train/validation/test. ➕ Разнообразие: Записи сделаны в разных условиях (не только в студии) ➖ Отсутствие побуквенной разметки: Размечены только начало и конец всей фразы, что делает невозможным обучение точной временной сегментации букв. ➖ Синтетическая природа фраз: Фразы генерировались с помощью GPT-4o ➖ Узкий охват: Только имена собственные, нет чисел, аббревиатур или естественной разговорной речи. 🌟 Общее саммари по всем трем статьям Все работы посвящены актуальной и сложной проблеме распознавания дактильной речи (fingerspelling). Две работы (Bukva и Znaki) фокусируются на создании датасетов для русского жестового языка (РЖЯ), который исторически страдает от нехватки данных, в то время как третья (HandReader) предлагает архитектурные улучшения для американского жестового языка (ASL). Ну и главный плюс — работы в opensource! 🖥 #release #emnlp2026 #conference

Кому в Требло? Приведу вот такой такой пост из коментов от Александра. Обозначает довольно интересные плюсы Treblo и минусы Suno. Очень любопытно, особенно про датасеты. На днях стало интересно проверить, насколько у них (Требло) реально большая база. Спарсил список из 35 000 исполнителей по 6 странам (брал топы из last.fm, строго в порядке убывания популярности). По косвенным признакам понял, что метаданные для обучения они тянули из MusicBrainz. Сопоставил списки, чтобы вытащить все возможные варианты написания. Написал скрипт и аккуратно прогнал всю эту базу через их валидатор. По цифрам: из 35 000 артистов валидацию успешно прошли около 15 000. База действительно огромная. Даже когда скрипт дошел до самого конца списка и проверял глубокий андеграунд, процент узнавания держался в районе 40%. Судя по наличию одних артистов и отсутствию других, сам датасет они собирали где-то в 2022–2023 годах. Из обидного. Русскоговорящих исполнителей там сильно меньше, чем западных. Если из топа США пробивается около 90% имен, то из нашего сегмента от силы 30%. Но у такого гигантского датасета есть крутое преимущество. В отличие от Suno, у которого большинство треков страдает от одинакового мастеринга и шаблонных тембров, Treblo выдает сумасшедшее разнообразие в звучании. Этим платформа очень напоминает ранние версии Udio. Если правильно подобрать теги, можно вытащить всё что угодно: хоть хор балканских бабушек, хоть ритуальные богослужения (в Suno такое получить практически нереально). Правда, из-за такой всеядности и огромной базы нейронка гораздо чаще ловит звуковые артефакты и галлюцинации. Но за пределами моего списка лежат еще десятки тысяч рок-групп, финских метал-бэндов, блюзменов из 30-х годов и аниме-композиторов, чьи альбомы когда-то были выгружены в сеть и размечены в MusicBrainz. Так что, не удивлюсь, если количество артистов в их базе переваливает за 50 000. P.S. Вообще, учитывая, как бескомпромиссно они сожрали гигантские объемы защищенного копирайтом контента, ребята ходят по очень тонкой грани. P.P.S. Я не говорил, что Suno в принципе не может сгенерировать хор как таковой или какой-нибудь специфический жанр. Речь о том, что он очень скуден тембрально и текстурно. Suno выдает дистиллированный, прилизанный звук. У него всё звучит так, будто это записано в 2010/20-х на одной и той же аппаратуре. Грубо говоря, если попросить Suno написать гранж в стиле Nirvana, это будет звучать так, словно Курта Кобейна загнали в современную студию, дали новенькие блестящие инструменты из магазина, а сводил всё это дело модный поп-продюсер из 2010-х. А сразу за Нирваной в очереди в эту же студию стоят те самые балканские бабушки, чтобы записаться в тот же микрофон. Звучать они в итоге будут так же стерильно, как бэк-вокалистки Дуа Липы. Нет грязи, нет аутентичности пространства и времени. Примеры (текст просто эхолалия под языки тех регионов, смысла в нём нет): 1.mp3 Балканский хор. У Treblo слышна аутентичность региона, специфическое звукоизвлечение и народное пространство. Suno, возможно, взял бы специфичные для региона гармонии и узкое звукоизвлечение, но на этом всё. 2.mp3 Биг-бэнд в стиле 50-х. Звук похож на запись 50-х, с нужной сатурацией и артефактами, которая записана на оборудовании 50-х и снята с оригинальных носителей. В Suno такого винтажа не добиться, модель всё равно попытается сделать звук чистым и современным, максимум, искусственно добавит треск пластинки. Она возьмёт структуру, инструменты и аранжировки из 50-х, но звучать это будет как современный Big Band. 3.mp3 Африканский хор. Очень крутая детализация, там слышно характерное пощелкивание языков и артикуляцию. Suno бы свёл африканский хор к американскому госпелу. В общем, в Suno хор получится масштабным, но это будет скорее универсальный хор из голливудского трейлера с щепоткой каких-то вариативных характеристик. При этом я ни в коем случае не хочу сказать, что Suno плохой, а Treblo хороший. Они оба крутые. Просто Suno больше заточен под современный коммерческий продакшен и аранжировки, а Treblo лучше справляется с аутентичной фактурой @cgevent

✔️ Экс-сотрудник OpenAI основал стартап для создания качественных RL-данных Эндрю Хо, соавтор бенчмарка GeneBench-Pro покинул компанию ради запуска собственного проекта. Безымянный пока стартап займется генерацией специализированных датасетов для обучения LLM.

По мнению Эндрю, современные языковые модели всё ещё ограничены и предвзяты - для освоения сложных практических задач им не хватает качественных данных, которые позволили бы моделям тренироваться без вмешательства человека.

Решение Хо заключается в создании наборов данных, максимально приближенных к реальным научным исследованиям, но с заранее известными эталонными ответами. Это даст агентам возможность свободно искать алгоритмы решения, а системе - автоматически и безошибочно проверять их корректность. Эффективность такого подхода уже доказал GeneBench-Pro. В этом тесте по биологии модель GPT-5.6 Sol Pro смогла решить лишь 31,5% из 129 предложенных задач. На старте детище Хо сфокусируется на биологии, статистике и анализе реальных лабораторных снимков. Позже стартап планирует создавать обучающие выборки для химии, материаловедения, медицины и сложных офисных задач.

Хо уверен, что нехватка верифицируемых данных - это главная проблема индустрии, на преодоление которой топовые лаборатории вскоре потратят более 100 миллиардов долларов.

@ai_machinelearning_big_data #news #ai #ml

Продолжая тему фермы движений рук. Тема, как оказалось, зашла инвесторам настолько, что под это дело теперь пилят полноценную инфраструктуру и поднимают огромные бабки. Вот например, сингапурский стартап Ropedia только что привлёк 22 миллиона $. Их бизнес-модель очень проста: они собирают терабайты реального человеческого опыта и превращают его в готовые датасеты для обучения роботов. Кормить роботам миллионы случайных видео из интернета — так себе идея. Железякам для нормального обучения недостаточно одних картиночек или сырых видео, нужна высокоточная разметка: траектория движений рук, геометрия предметов в 3D и физические последствия каждого действия. А для того, чтобы собирать эти данные правильно и в промышленных масштабах, стартап разработал специальное устройство. Выглядит это чудо как пластиковая корона, которая надевается на голову. На ней во все четыре стороны торчат камеры. Штука весит около 200 грамм, не закрывает обзор и позволяет носителю спокойно заниматься своими повседневными делами: мыть посуду, таскать коробки или перебирать разный хлам. На полученные миллионы стартап планирует выпустить вторую версию этой короны (обещают сделать её полегче и покрасивее, чтобы кожаный мешок не выглядел в ней как ебучий дегенерат) и масштабировать производство до 10000 устройств. Интересно, чему научились бы роботы, если бы вы целую неделю ходили в такой короне? тут все подробности о проекте