Довольно давно художники начали использовать смартфон для записи движения камеры внутри 3D-сцен в Blender, как в этом ролике. А сейчас все чаще вижу ту же механику, только для создания AI-роликов. Смотрится офигенно, реалистично, и главное – вам в случае с ИИ не нужно даже заморачиваться с созданием и детализацией блочной сцены, и уж тем более не надо ее моделить для финального результата. Просто просите агента: – подключиться в Блендер, собрать простую сцену (даже, например, с анимированными персонажами) – достаете смартфон, просите того же агента подключить смартфон к блендер-сцене, чтобы можно было видеть ее на экране, и быть, как бы, внутри этой сцены – снимаете видео как вам нужно, с тряской, любым поведением – отдаете эту блочную красоту любой классной видео-ту-видео модели, профит!

🧠 Долгосрочная омнимодальная память Нужный факт может остаться в старом диалоге, быть на фотографии или в прошедшем видео-звонке. Как его вспомнить? Просто складывать всё в один промпт — не хватит контекста. На AI RnD Day наш сотрудник Андрей Безбородов рассказал, как команда сравнивала подходы к памяти для разных доменов и модальностей — диалогов, видео и робототехники. 📌 TLDR В докладе память моделируется через две операции: ingest — принять и сохранить информацию, search — найти эту информацию по запросу. Большое контекстное окно LLM само по себе такой системы не даёт, но служит стартовой отправной точкой. В диалоговых тестах обычный RAG оказался достаточно успешным и сильным решением, причем более сложные схемы не всегда выигрывали. Для других модальностей, типа видео, критично сохранять визуальную информацию, а не только текстовое саммари, иначе теряется смысл, который зачастую нельзя сохранить простым кепшенингом кадров. ⚙️ RAG Длинный контекст разбивают на фрагменты, строят для них векторные представления и по вопросу извлекают подходящие куски. Модель получает не всю информацию, а только таргетные знания. У RAG тоже есть слабые места: сведения могут оказаться на границе фрагментов, а похожий по смыслу факт — быть устаревшим. Найти, что пользователь когда-то любил, и понять, что он любит сейчас, — разные задачи. Результаты: SimpleRAG: На LongMemEval с Qwen3-VL-8B оценка выросла с 41,2% до 50,8%. Подход MemOS дал 53,2%: он хранит память в структуре MemCube, разделяя графовые связи и векторные данные между двумя базами. Однако такую систему сложнее развернуть! Схема SGR + File Tools с циклом "рассуждение → действие → наблюдение" получила 32,2% — ниже обоих вариантов. То есть наличие агента с инструментами ещё не делает память лучше. 🗜 Почему не сжать найденный текст в вектор? В xRAG вместо текста документа в модель передают его вектор через обучаемый проектор. В итоге открытая xRAG-7B незначительно обошла RAG на бенче TriviaQA: 58,9% против 56,1%. На внутреннем бенчмарке команды результат составил уже 8,8% против 50,2% у RAG. Успех на одном домене не перенёсся на другой. 🎬 Видео нельзя без потерь превратить в пересказ WorldMM строит 3 вида памяти: эпизодическую — о конкретных событиях, семантическую — обобщённые факты и связи, визуальную — представления видеофрагментов. Видео режется на клипы по 30c. Qwen-VL описывает кадры, Whisper распознаёт речь. Из описаний формируются тройки вида "объект — отношение — объект", а визуальные представления строит VLM2Vec. Со всеми типами памяти WorldMM оставался примерно на уровне подачи полного контекста. При отключении визуальной памяти оценка падала с 50% до 41%. Важно отметить, что текстовое описание не сохраняет каждую деталь кадра, и это проблема. Нужные редкие детали или события из кадров уже не из чего восстановить. 🤖 А если это память робота? M3 Agent объединяет распознавание лиц, транскрибацию и записи эпизодов на базе Qwen-Omni. На бенчмарке M3-Bench-Robots оценка выросла с 18% до 33% у M3 Agent. Но обработка видео занимала примерно столько же времени, сколько оно длится, а формирование ответа — около 30 секунд. Это очень долго и для роботов может быть неприемлимо. 🔚 Выводы Память стоит выбирать под тип информации и вопросы к ней: поиск по переписке, понимание видео и воспоминания робота требуют разных решений. Начать полезно с простого RAG и сравнения с полным контекстом. Затем можно усложнять систему, когда понятен выигрыш в качестве и его цена по времени. 🔗 Более подробно — в презентации Андрея (в комментариях файлом) и в записи выступления (тайминг: 3:04:55). #memory #RAG #agents #conference #paperwatch

TostAI Sprite Sheet Studio Делает из видео - игровой спрайт-шит за один проход, полностью локально без внешних API. В одном сервере два инструмента • генератор - маттинг VRMBG-3.0, автокроп, упаковка в сетку + JSON, превью и GIF • редактор - правит готовый лист: пивотируй, чини матт, выбивай фон, перепалитровывай • 44 операции в 9 группах - от pixel-art снэпа до вставки промежуточных кадров • выравнивание пивота по кадру - убирает джиттер от маттинга • Docker-образ с моделью в комплекте, нужен NVIDIA GPU от 24 ГБ VRAM • работает и без докера через Python, веб-морда на 8765 порту • модель VRMBG-3.0 гейтед - свой HF-токен для скачивания Есть готовый превью-плеер с лупами и оnion skin. Docker тянет ~7.4 ГБ github.com/camenduru/TostAI-Sprite-Sheet-Studio github.com/camenduru/TostUI-tost-sprite-video-docker #video2sprite #gamedev MAX

Продуктовые ролики от Opus 5.5 Несмотря на весь мой AI-энтузиазм, до сегодняшнего дня я думал, что, чтобы делать видео, Клоду нужна куча обвесов и интеграций, а оказалось, что Opus 5.5 из коробки одним промптом собирает уже приличные ролики про продукт. Сам изучил сайт, интерфейс нарисовал без единой картинки, музыка, монтаж. Всё под ключ с этого промпта:

Make a launch video for the product below, the kind a top startup posts on X on launch day. The bar: someone who has never heard of the product gets what it does in the first seconds and wants to try it by the end. Get to know the product first: what it promises, who it is for, what makes it worth trying. Use its real assets: logo, colours, type, interface. Make the product the star: show it working instead of describing it. Direction, story, pacing and sound are yours; make it look like a motion designer's work, not a template. Before you call it done, review it scene by scene with a critical eye and polish what is weak. Keep it true: real features, real numbers, nothing borrowed that you do not have the rights to. Project: https://overgear.com

Забирайте, пользуйтесь, делитесь, только поменяйте ссылку в последней строке на свой продукт. Какие ещё внезапные задачи за один промпт решали? Константин Сухачев

Охренеть — один промт в Claude 5.5, ноль правок или уточнений, 5 минут и вот что он сделал. Я в шоке. Промт:

I want you to create a highly professional SaaS product launch video. Go and find some SaaS, preferably just one that people know, so it's easier to identify with it. Pick that, and then make sure to get actual assets and images and all of that stuff from the internet. Turn it into these typical, very professionally edited, motion-graphics-styled product launch videos that you see people making on Twitter when they launch new SaaS products (which are showing off the features, the benefits, and all of these things) project is https://scrn.gallery

В tech-СМИ сейчас хайпит штука под названием ACTx486 - "новая технология" которая позволяет болтать с видосом в режиме лайв. На демке мадам берёт тот самый легендарный выпуск с Маском-паровозом и общается с ним. Спрашивает, куда сходить в Лос-Анджелесе, и Илон присылает ей подборку на телефон (да, персонаж не только отвечает голосом с экрана, но и в другие каналы умеет стучаться). Просит его ответить на итальянском - он отвечает. А в какой-то момент говорит "Слушай, не кури бяку вот эту, ну", и Маск такой "Ну ок, ладно, не буду", и убирает свой *запрещено в РФ* (не то что обычно запрещено, а вот другое запрещённое, ну вы поняли). Выглядит всё это нереально хайпово, жирно, сочно и вообще пушка-гонка. Но на самом деле это не магическая магия, а просто очень грамотно упакованная цепочка агентов и генераций. Устроено примерно так: 1. Вопрос юзера обрабатывается и роутится: система решает, кому из персонажей он адресован. По умолчанию - тому, кто сейчас в кадре. Сейчас у сервиса два хоста - Маск и Роган, роутить несложно. Ещё ИИшка решает, что с вопросом вообще делать - ответить словами, нарисовать схему, отправить карточку на телефон и т.д. 2. Отдельный агент идёт искать факты в открытых источниках. Например, свежие цифры по выручке Tesla и SpaceX он подтягивал из реальных квартальных отчётов. 3. Пишут ответ для персонажа. С ограничениями "что можно говорить от имени живого человека". На личные и политические вопросы "Маск" отвечать отказывается. 4. В итоге генерится видео с синтетическим лицом, голосом, взглядом и таймингом. Если нужно - в кадр добавляют объект или вообще включают новую сцену. И всё это вклеивается в реальные кадры так, чтобы оригинальный разговор продолжился как будто так и было. При этом, если Маска переодели или (например) перенесли на Марс, то штука это учитывает при генерации. НО ЕСТЬ НЮАНС. Между вопросом и ответом всё-таки проходит несколько минут (а не моментально, как в демке). Законы физики всё-таки не обманешь. Авторы это честно пишут и говорят, что целятся в задержку 6 секунд, но пока до этого далеко. А то что показали в демке - это просто кино. Ответы сгенерили заранее, потом сняли актрису с агентством, оператором и монтажёром (и они кстати все честно указаны в титрах). Тем не менее, штука реально взрывает мозг и выглядит как научная фантастика. И сделали её не абы кто: - Карина Нгуен - одна из первых сотрудниц Anthropic, потом в OpenAI делала Canvas и Tasks. - И Якуб Зегзулька (фамилия однозначный топ) - интерфейсник, который до этого работал на Apple и на Цукерберга. Единственное, хотелось бы, чтоб штука передавала ещё и интеллект, убеждения и общий моральный облик человека в кадре (и ещё вайб). Чтобы от общения с "учёными" реально умнеть, а через полчаса "разговора" с Канье Вестом уверенно заезжать в 🏠😡. Дизраптор

Безумный Маск и все-все-все. Если хочется за минуту прочувствовать драйв и хаос гонки за AGI, посмотрите этот ролик – эдакую “Дорогу ярости” в исполнении техномиллиардеров. Тут вам и наглядная расстановка сил, и точная иллюстрация характеров главных игроков, и увлекательный квест с поиском пасхалок. Для разгона – пара моих находок. Цукерберг очухивается от метавселенной с криком “Упс, не тот тренд!” и судорожно догоняет остальных верхом на ламе (тут явная отсылка к LLaMA). А Маск от души поливает Альтмана из пулемёта судебными исками, пытаясь отжать свой кусок OpenAI. Остальное оставляю вам: там ещё полно героев и отсылок к реальным событиям. Делитесь в комментариях, кто что разглядел.