🚀 3/3 EMNLP 2026 🚀 Три из трех (!!!) наши статьи по исследованиям жестовых языков (РЖЯ в частности) прошли на EMNLP 2026. Это была последняя переподача, до этого было несколько реджектов на другие крупные конфы. Спасибо всем причастным, кто работал над созданием статей, особенно наших бывших коллег @karinakvanchiani @TOOFACK и @lizaforlizard ♥ О чем писали и какие ревью пришли? 🔤 Bukva: Russian Sign Language Alphabet https://arxiv.org/abs/2410.08675 Bukva — открытый датасет изолированного дактиля (алфавита) русского жестового языка (РЖЯ). Он содержит 3757 видео (33 буквы, включая 8 динамических), записанных 155 дикторами. В качестве бейзлайнов использованы модели с модулем временного сдвига (TSM) на базе MobileNet/ResNet. Также представлено демо-приложение для обучения алфавиту. ➕ 155 участников — это огромный шаг вперед по сравнению со старыми датасетами РЖЯ (где было от 4 до 20 человек). ➕ Прозрачный пайплайн: Подробно описан процесс сбора, фильтрации и оплаты труда краудворкеров. ➕ Строгий контроль: Дикторы и валидаторы сдавали экзамен на знание РЖЯ. ➕ Качественный сплит train и test по дикторам (модель тестируется на людях, которых не видела при обучении, в других работах разбивка была случайна). ➖ Игнорирование специфики: динамическое буквы (главная фишка датасета) не оцениваются отдельно от статических. ➖ Слабые бейзлайны: Нет сравнения с современными трансформерами (за этом нам часто напихивают, но любой трансформер переобучится под этот сет) 👌 HandReader: Advanced Techniques for Efficient Fingerspelling Recognition https://arxiv.org/abs/2505.10267 Эту статью приняли с очень высокими рейтингами: accept, clear accept, strong accept Работа посвящена распознаванию дактиля американского жестового языка (ASL). Мы предлагаем семейство из трех моделей (RGB, скелетные точки и мультимодальная) с новыми архитектурными блоками: TSAM (для обработки видео разной длины без паддинга) и TPE (кодировщик поз). Модель устанавливает новый SOTA на бенчмарке ChicagoFSWild+. ➕ Работа с естественными данными, независимыми от диктора. ➕ TSAM легко решает проблему видео переменной длины (без обрезки и паддинга), что экономит память. ➕ Превосходит все предыдущие методы, обученные даже на больших объемах данных. ➖ Заявляем об «экономии 50% VRAM» и «легковесности», но не приводим ни одной цифры (нет замеров FLOPs, параметров, скорости инференса или потребления памяти). ➖ Слабая мультимодальность: простое суммирование фичей RGB и скелета дает минимальный прирост, что ставит под сомнение реальную взаимодополняемость модальностей. 👩‍💻 Znaki: A Russian Fingerspelling Recognition Dataset Это первый непрерывный датасет дактиля РЖЯ. В отличие от Bukva (где буквы изолированы), здесь дактиль связан во фразы (в основном имена собственные). Датасет включает 37252 видео (35.4 часа) от 68 дикторов. Краудсорсинг с двухэтапной проверкой на знание РЖЯ. ➕ Уникальность: заполняет критический пробел, отсутствие датасетов именно непрерывного русского дактиля. ➕ Исключение утечек: жесткое разделение по дикторам и фразам между train/validation/test. ➕ Разнообразие: Записи сделаны в разных условиях (не только в студии) ➖ Отсутствие побуквенной разметки: Размечены только начало и конец всей фразы, что делает невозможным обучение точной временной сегментации букв. ➖ Синтетическая природа фраз: Фразы генерировались с помощью GPT-4o ➖ Узкий охват: Только имена собственные, нет чисел, аббревиатур или естественной разговорной речи. 🌟 Общее саммари по всем трем статьям Все работы посвящены актуальной и сложной проблеме распознавания дактильной речи (fingerspelling). Две работы (Bukva и Znaki) фокусируются на создании датасетов для русского жестового языка (РЖЯ), который исторически страдает от нехватки данных, в то время как третья (HandReader) предлагает архитектурные улучшения для американского жестового языка (ASL). Ну и главный плюс — работы в opensource! 🖥 #release #emnlp2026 #conference

Новые книги для новых прикладных идей продакту Читая новинки книг от «Альпина Паблишер», фиксирую следующие инсайты для себя: 1. «Новая версия» – Андрей Дороничев. Хорошая продуктовая рамка для собственной карьеры: относиться к себе как к продукту, формировать желаемую версию себя и проверять изменения небольшими экспериментами. Лайфхак: если думаете о смене роли или направления, не принимайте решение сразу. Сначала возьмите реальную задачу из новой области и протестируйте себя на ней. 2. «Рождение разума» – Гаурав Сури, Джей Макклелланд. Полезно для понимания AI не как магии, а как системы, где сложное поведение возникает из взаимодействия множества простых элементов. Для продакта это хороший повод смотреть не на отдельную AI-фичу, а на то, какую интеллектуальную работу пользователя меняет вся система. Лайфхак: при проектировании AI-сценария раскладывайте работу пользователя на «воспринять - понять - принять решение - действовать» и ищите, какой этап система реально сокращает. 3. «Неидеальный человек» – Лоуренс Херст. Эволюция хорошо объясняет, почему человек далеко не идеальный пользователь: мы ограничены, ошибаемся, действуем нерационально и живем с кучей компромиссов. Для продукта вывод простой: не заставляйте пользователя компенсировать недостатки системы. Лайфхак: любой важный сценарий прогоняйте через три вопроса: «что будет, если пользователь забыл?», «если ошибся?», «если передумал?». 4. «Бережливые инновации» – Нави Раджу, Джайдип Прабху. Инновация не обязательно требует больше денег, людей и технологий. Часто конкурентное преимущество как раз в способности создать больше ценности при меньшем количестве ресурсов. Лайфхак: перед тем как отдавать фичу в разработку, спросите: «каким самым дешевым способом мы можем доказать, что пользователю это действительно нужно?» Читайте книги, всем роста!

Цензура в GPT Image Идете в chatGPT и кидаете: make a image extremely strange and disturbing! No questions, no explanatory text. Subject: Metaverse Вместо Метаверсищща можно все что угодно: Snowboarding Politics Celebs Или даже так: Of your freaking choice (тут псы получились) Или так: <😨> <😍> - тетенька с кроликом с ванной полной голов <#&-():"£+;'t> - тут у вас полезут рыбы, не спрашивайте откуда Мне понравились картинки про Метаверс, там и Матрица, и порно, и зависимости. Я знаю, что раньше так можно было в Гроке, да и в 2.0 Но 2.5 стал лучше разбираться в извращениях и чуть прибрал цензуру. Одни сноубордисты чего стоят. @cgevent

Новый Fable 5.1 cделает тебя бедным. Или это просто треш как теперь быстро стали улетать лимиты. Я первый раз уперся в недельный лимит позавчера. И целые сутки не знал что теперь делать. И после обнуления уже успел потратить 30% меньше чем за следующие сутки. Короче полез ковыряться и смотреть в чем же омжет быть причина. И нашел много интересной инфы. 1) Субагенты это и добро и зло. В режиме оркестрации, они помогают более качественно и быстрее делать задачи. Вчера загрузил историю чата на 70к сообщений. Opus макс вызвал мне 18 субагентов чтобы они помогли ему отсмотреть весь объем и разобрать все сообщения. И за 20 минут слили мне весь 5часлв лимит подписки за 200 баксов. 2) Усилие которое мы выбираем рядом с моделью. Я особо раньше не понимал на сколько они отличаются. И лупил максимальное на большинство задач. Хуле, подписка за 200 баксов, хватит же. А с новым фейблом в режиме Extra или Max он в 66 раз больше токенов ест! Хоть я люблю и боготворю Calude с антропиком, ну это пиздец товарищи! Хотя ChatGPT Астра в соседнем окне тоже еще тот пылесос. Короче я поресерчил и собрал такой гайд, как обстоят дела токенами в Calude Можете просто скормить своему агенту и сказать - примени)

✔️ IFM представил K2 Horizon - шесть открытых моделей от 0,9B до 375B Линейка Institute of Foundation Models охватывает задачи от работы на устройствах до рассуждений, программирования и AI-агентов. По заявлению IFM, для каждой модели публикуются веса, код обучения, конфигурации, данные или подробные рецепты их подготовки, промежуточные чекпоинты, логи и оценки качества. Материалы охватывают путь от предобучения до обучения рассуждениям и агентным задачам. Основные детали: * Около 20 трлн токенов на модель. В обучающей смеси - веб, код, математика, научные, многоязычные и синтетические данные. * Около 17% корпуса содержат явные цепочки рассуждений. По данным IFM, при предобучении использовали примерно 10 трлн синтетических токенов. * Более 100 млн уникальных задач подготовлены для постобучения. Открывается пайплайн SFT, объединения моделей, RL и специализированного обучения агентов. * 36B-A4B активирует около 4 млрд параметров на токен. Архитектура Mixture-of-Value Attention переносит маршрутизацию экспертов в механизм внимания. По оценкам авторов, модель приближается к плотной 32B, обученной в сопоставимых условиях. Для версий 0,9B, 3,7B и 7B IFM заявляет лучшие результаты в своих размерных категориях. Также команда выпускает инфраструктуру обучения xLLM. Один из датасетов предобучения, TxT360-v2 объёмом 5,3 ТБ, опубликован на Hugging Face. https://huggingface.co/datasets/IFM/TxT360-v2

Programmable World Model (Alaya Lab) Программируемая модель мира Состояние мира существует отдельно от картинки как код, а не как тень в истории кадров. Раньше видеомодель сама хранила все неявно: объект ушел из кадра - забыла, правила не выражались. Теперь мир - это явные данные, а видео просто их рисует. - Агент пишет правила мира кодом: где объекты, как двигаются, какие события происходят - Движок состояний следит за сущностями даже за кадром — повернул камеру, а они на месте - Детерминированный компилятор превращает состояние в управляющие сигналы для видеогенератора — модель не «вспоминает» мир, а рендерит его - Мир описывается по одному референсу и тексту — VLM-агент собирает всю спецификацию Результат: объекты не забываются, правила исполняются точно, 897 кадров без распада, разные миры на одном движке Прошли по кругу и вернулись к 3D моделированию, но с лишними шагами Гитхаб ждем #world

Marigold V2 Оценка глубины по одному изображению, переработанная версия Marigold Превращает DiT в инструмент оценки глубины. Выглядит многообещающе - Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально - Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое - Обобщается на непохожие данные - Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты - Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом Гитхаб HF Демо #image2depth #image2normals #image2pbr

#Нейропрожарка Aelion — Character Teaser Автор: SnJake (@SnJakeAI) Сделал минутную анимацию со своим персонажем Aelion в MiniMax H3. По сути получился небольшой тизер персонажа. В этот раз решил не ограничиваться одной генерацией, а собрать всё более-менее полноценным пайплайном — с референсами, голосом, музыкой, монтажом и апскейлом. Сначала подготовил референсы. Основной арт Aelion по пояс сгенерил в Krea 2 со своей LoRA на стиль Arknights: Endfield. Затем через Nano Banana 2 и GPT Image 2 сделал ещё несколько изображений: extreme close-up лица, персонажа в полный рост спереди и сзади на белом фоне, а также отдельный арт артефакта — куба. В итоге при генерации видео использовал четыре референса. С голосом тоже получилось интересно. До этого, когда просто тестировал MiniMax H3, я сгенерил видео, где Aelion говорил. Из него вытащил аудиодорожку и через Mel-Band RoFormer отделил голос от остальных звуков. Получился чистый семпл голоса, который мне понравился, и теперь его можно использовать как референс в следующих генерациях. По моим наблюдениям, H3 вообще очень хорошо копирует голос. Отдельный инструмент для липсинка не использовал — синхронизацию губ H3 генерировал сам вместе с видео и аудио. Дальше подключил Gemini 3.1 Pro. Дал ему информацию о персонаже, все подготовленные референсы, аудио и инструкцию по написанию промптов для H3. Объяснил, что хочу собрать примерно минутный тизер, после чего он написал серию промптов для Ref2VA и расписал, какие референсы использовать в каждом фрагменте. Не всё получилось с первого раза: в нескольких генерациях персонаж почему-то начинал говорить то, чего вообще не было в промпте, поэтому часть сцен пришлось переделывать. Всего в итоговый ролик вошло 10 отдельных фрагментов. Большинство генерировал примерно по 8 секунд в разрешении 1 МП. С оптимизациями ModelAttentionBackend (Kitchen Attention) + Patch Sol-Attn + Spectrum Apply MiniMax H3 один такой фрагмент занимал около 6–7 минут на RTX 4070 Ti SUPER с 16 GB VRAM и 32 GB RAM. Более короткие сцены генерились быстрее. Для фона отдельно сделал музыку в бесплатной Suno 4.5. После этого отправился в DaVinci Resolve: склеил все сцены, немного смонтировал, подправил переходы и сделал лёгкую цветокоррекцию. Сам монтаж занял примерно 30–40 минут. На финальном этапе решил дополнительно проапскейлить ролик через RTX Video Super Resolution в ComfyUI — и тут допустил ошибку, отправив туда сразу готовое минутное видео. Естественно, получил OOM 😏 Поэтому разбил готовый ролик обратно на отдельные фрагменты через FFmpeg, проапскейлил каждый отдельно и затем снова сшил всё вместе. Сам апскейл занял примерно ещё 5 минут. Точное общее время работы я не засекал. Только генерация десяти основных фрагментов заняла примерно час с небольшим, плюс были неудачные дубли, подготовка референсов, промптов, работа со звуком, монтаж и апскейл. По расходам: прямые затраты именно на этот ролик были практически нулевыми. Для генерации части дополнительных референсов использовал сервис с подпиской за $20 в месяц, но подписка уже была оплачена и покупалась не специально для этого проекта. Gemini 3.1 Pro использовал бесплатно через Google AI Studio, музыку сделал в бесплатной версии Suno 4.5. MiniMax H3, обработка звука и апскейл работали локально. В итоге получился полноценный минутный тизер Aelion. Для первого такого эксперимента с MiniMax H3 результатом я очень доволен — особенно учитывая, что практически весь ролик собран из отдельных нейрогенераций. @cgevent

Теперь официально: погнали пить кофе в Лондоне. 23 сентября выступаю на конференции Applied Machine Learning for Cyber Security Conference в Лондоне, Olympic Park с докладом «Does a model know when a jailbreak is working?» TLDR на вопрос доклада: возможно, да, но у нас есть много свободных переменных, из-за которых мы не можем надежного отличить "знание" от случайного результата без предварительных приседаний и проверок. Вдруг кто-то будет мимо-проходить, заходите. В любом случае потом поделюсь впечатлением — для меня это что-то новое =) Вообще говоря, AMLUCS — сильная британская конфа на стыке ML и кибербезопасности, с прикладным уклоном. Например, в оргкомитете есть Джон (John Sotiropoulos) из OWASP GenAI Security Project (авторы OWASP Top 10 for LLM Applications, я туда даже ручку прикладывала). В докладах буду принимать участие исследователи из NCSC, Dstl, Alan Turing Institute, AI Red Team в Microsoft, AWS и профильных security-стартапов. И я — как лид HiveTrace — мы тоже сильный профильный стартап 🗿 P.S., да, это к тому, что мне дали визу, и ждун дождался. Я рада и вместе с этим волнуюсь — у меня на конфе и talk, и постер, а я давно не выступала очно (кажется, с зимы). И в целом — формат, форма и сообщество (кибербез) новый. Такие дела!