Объединяем исследователей для обучения ИИ долгосрочному планированию Владислав Куренков, руководитель научной группы «Адаптивные агенты» Института AIRI, запустил открытое сообщество людей, работающих над системами планирования ИИ, чтобы вместе решить одну из самых неподатливых для искусственного интеллекта игр — NetHack. У каждого участника будет свой способ получить программу, свои инструменты и своя стратегия, а общая инфраструктура позволит видеть результаты друг друга, сравнивать их между собой и продолжать разрабатывать решения друг друга. Владислав рассказал, почему NetHack весьма полезна для обучения ИИ:

«Одна партия в NetHack — это десятки тысяч ходов. Жизнь у героя одна, сохранений нет, подземелье каждый раз новое, а игра по дороге ничего не подсказывает. Если вы сыграли плохо, то выясняется это тогда, когда ничего исправить уже нельзя. Когда мы запускаем наших ботов играть, то вторая по частоте причина их "смерти" — голод, потому что они не позаботились о еде за несколько тысяч ходов до финального момента. На таких же ошибках спотыкаются ИИ-агенты, когда пишут код: отдельный шаг они выполняют прекрасно, а на длинную дистанцию держать планку не могут. И NetHack в этом плане становится весьма полезной для обучения ИИ».

📎Подробнее про сообщество, игру и «интеллект» агента — в интервью «Ъ-Науке».

Вышел свежий плейлист с практическими докладами по ИИ В начале сентября мы ходили на deep tech night. Тогда мы писали про Лавку, где агенты берут на себя спрос и управление доставкой, и про доклад Алексея Гусакова о генеративных моделях в рекомендациях. Выложили записи всех докладов обоих онлайн-треков, Hard и Experiment. Там 16 ориентированных на практику выступлений: может быть полезно, если вы работаете с LLM и агентами. Например: — Мо Гавдат, ex-Chief Business Officer Google X: «За пределами LLM». Это был разговор о том, что будет после первого поколения AI-систем. Как изменятся разработка ПО и процессы, что случится с ролью разработчика, и с какими вызовами столкнутся инженерные команды. Спикер говорит по английски, но есть субтитры. — Василий Ершов, Yandex Cloud: «Облако в эпоху AI: архитектура платформы для гибридных агентов». Спикер разбирает, что представляют из себя современные агенты (модель, харнесс, инструменты и среда), и как они живут в инфраструктуре: в частности, как поддерживать реально длинные сессии. Хорошая точка входа, если интересуетесь агентами в большом проде. — Андрей Попов, лидер трека AI-продуктивности разработки в Яндексе: «AI и продуктивность в Яндексе: что реально заработало». Разбор внедрения ИИ в разработку с цифрами и практическими кейсами. Полезно, если вы сами затеваете агентов в команде и хотите понять, куда смотреть, чтобы разработка ускорялась не только у отдельного человека, но на уровне продукта.

[ХАБРААРХИВ] Как 400-тонная МКС уклоняется от космического мусора МКС весит около 400 тонн и движется со скоростью примерно 7,6 км/с. Вокруг неё задан защитный периметр — «коробка для пиццы» размером 25 × 25 км и высотой 4 км. Если внутрь попадает отслеживаемый обломок, начинается расчёт вероятности столкновения. Дальше подключаются специалисты TOPO и ADCO. Нужно понять, стоит ли двигать станцию, рассчитать необходимую дельта-V, учесть её текущую массу и проверить, не отправит ли уклонение МКС навстречу другому объекту. Для типичного манёвра требуется изменение скорости порядка 1 м/с. Астронавты при этом не сидят с джойстиками и не рулят станцией. Всё рассчитывается на Земле, а двигатели включаются автоматически по программе. И это обычный сценарий — для случаев, когда предупреждение приходит слишком поздно, предусмотрена уже совсем другая процедура. #хабраархив@habr

Зеркальные нейроны!

"Ряды, а можно что-то узнать по близкой теме, которая была недавно? Там было про снижение чувствительности тела в месте прикосновения, если касаешься сам себя. Интересно вот что: Что происходит с массажистом, когда он массирует другого человека?... И если там вдруг вылезут "зеркальные нейроны", то интересно о них что-то новое услышать, и в вашем духе)"

— спросил @vitindy Поехали! Взяли макака и начали разбирать. Изначальный план был другой, но кто-то из лаборантов догадался жрать банан при включённой аппаратуре, и обезьяну там просто разрывало от активаций. И исследование пошло не по плану. Воткнулись они в 184 нейрона: — 12 нейронов — одинаково когда макак хватал еду и лаборант хватал еду — 6 нейронов — просто на похожие жесты — 11 нейронов — на подготовку к действию — например, когда человек просто клал еду на стол. — 10 нейронов реагировали на чужие действия, но молчали при своих движениях. Собственно, так и открыли зеркальные нейроны. Если экспериментатор хватал еду пинцетом или щипцами, а не рукой, активаций не было. Бессмысленные взмахи тоже не вызывали реакции. Для социальных животных критически важно мгновенно понимать, что делает сородич (или конкурент). Лучший способ понять чужое действие — примерить его на себя. Вторая. Когда мы видим, как трогают кого-то другого, часть нашего собственного центра осязания включается так, будто трогают нас. Но активируется только вторичный центр, а не тот, куда идут прямые сигналы с кожи. Мозгу всё равно, кого или что трогают. Мы подсознательно примеряем на себя прикосновение палки к рулону туалетной бумаги, используя свои собственные нейронные сети осязания. Мозг понимает механику мира через симуляцию собственных телесных ощущений. Тут случай женщины, у которой всё это так сглючило, что активировались ещё и первичные нейроны. Сбой у неё пошёл не по маршрутизации, а по определению, где она, а где окружающий мир. Пациентка дожила до 41 года абсолютно уверенной, что все люди в мире чувствуют то же самое! В разговоре она узнала, что другие люди не чувствуют физического контакта, глядя на чужие объятия или пощечины. И это её прям шокировало. Тут взяли 21 эпилептика и перед подготовкой к операции на мозге попросили погонять немного вычислительные мощности и стали снимать логи с электродов. Нашли 68 настоящих зеркальных нейронов, в том числе в зонах памяти. А ещё 14 нейронов были заняты тем, что говорили "ЭТО НЕ ТЫ". Это антизеркальные нейроны. Это чтобы случайно не стать другим человеком. Теперь критика! Правда ли, что мы понимаем чужие действия из-за этих нейронов, или они для другого? — Понимать можно и без них. Доказали легко. — Зеркальную реакцию можно перепрограммировать. — У людей с повреждениями мозга навыки делать жесты и понимать жесты могут ломаться независимо друг от друга. Скорее всего, они просто обеспечивают связи между органами чувств и моторикой, помогая донастраивать реакции. Популярна теория, возможно, своей простотой, и тяжело от неё отказываться, даже когда факты против. Испытуемым показывали видео, где берут в руки предметы (например, чашку), и у них активировалась зона BA2. Эта зона отвечает за гаптику — когда вы ощущаете форму, вес и фактуру предмета в руке. Чем тяжелее предмет, тем сильнее работает BA2. А если балерина смотрит выступление другой балерины, её BA2 работает дико — мозг эксперта точнее симулирует, как двигаться конкретно так. Знать о чужой боли и видеть её источник — для мозга разные вещи. Если вам скажут, что другу дали по яйцам ломом, вы это учтёте. Но если увидите видео, мозг активирует те же нейроны, как если бы били вас. Но слегка. Но ломом. Дальше они стали исследовать порно, (вероятно, потому что там самая большая монетизация прикладной науки) и пропали с радаров. Поэтому про гаптику и массажистов мы так и не узнали! -- Вступайте в ряды Фурье! | Самые незаметные посты Вы не пьяны, если можете лежать на земле, не держась за неё.

0 → 20k просмотров за неделю Друзья, кроличья нора Opus 5.5 для производства видео завела меня в клеймейшн. Это направление в анимации, когда мультики лепят руками из пластилина. Только у нас никто ничего не лепил. Claude отлично придумывает сценарии и подбирает персонажей, а ещё сам собрал весь конвейер: сценарий → озвучка → кадры → анимация → монтаж → проверки → публикация. За пять дней получилось 12 роликов: девять про знаменитых мошенников (Мавроди, Понци, Элизабет Холмс, фальшивый саудовский принц…) и три офисные комедии про уставшего аналитика Сэма. Что получилось: • ~19,5 тыс. просмотров с нуля, без рекламы и без подписчиков • $184 на генерацию картинок и видео - около цента за просмотр. Готовый ролик теперь стоит $7–11 • Почти две трети просмотров дал Instagram. TikTok упёрся в 30–250 на ролик, Facebook - 11 просмотров за всё время Как работает алгоритм: • Всё решает первая фраза. Пока, лучше всего держат ролики, которые начинаются с одного странного действия: «В 1994 году человек в Москве печатал собственные деньги» • Из 10 видеомоделей лучше всех «играет» Kling 3 Pro: смотрите на руки и глаза (в блоге) • Агенты отлично ловят всё, что можно измерить.А вот вкуса у них нет. Что бы было инетерсно - мне приходится комментировать и говорить «это скучно». После 30 сентября YouTube Shorts перестал показывать новые ролики - 0–4 просмотра вместо тысячи. Если сталкивались - напишите. Подписывайтесь на соцсети, полайкайте там все хорошенечко. А потом идите читать блог. Подробнее, с бюджетом каждого ролика и промптами.

DeepSchool Digest Собрали для вас материалы за август и сентябрь в одном посте. Если что-то пропустили, самое время наверстать.📚 Хорошие практики LLM-as-a-judge — разобрали шесть практик, которые помогают сделать LLM-оценку надёжнее. Всё — на реальном кейсе shopping-ассистента. Синтетика для зрения — рассказали, что диффузионные сети изменили в поддержке данных. Как VLM распознавать действия на видео без дообучения? — рассказали, что причина провалов VLM на видео не в нехватке знаний, а в потере мелких деталей при сжатии кадра. Как выжать максимум из модели детекции на видео — поделились 7 идеями, которые вы еще не пробовали. Flow Matching: обучение и дистилляция — рассказали, что такое Flow Matching и при чём тут поля 🌾, почему генерация требует большого числа шагов и почему это проблема, а также как дистиллировать уже обученную модель в одношаговый генератор и как с этим связаны игры. Многошаговый поиск в RAG — рассказали, как устроен агент-ретривер. Document Layout Reasoning — разобрали популярную тему в Document AI — Layout Reasoning, а также познакомились с эволюцией Document AI. LLM в продакшене: vLLM, SGLang и AI-разработка | Подкаст «Под Капотом» с Азером Шахвердиевым — обсудили с Азером Шахвердиевым, руководителем NLP-лаборатории Контура, как ML-модели живут в продакшене, а агенты меняют работу разработчика.

На прошлой неделе мой твиттер пузырь бурлил о новых видео возможностях opus-5.5. Типа его натренили лучше чувствовать форму. Я такой окей. Песню в suno я не хочу слопить, я лучше возьму мемы и обсуждения из нашего чата @ohld_chat. Подключил свои лайки из пинтереста, описал флоу типа делай мудборд, пиши сценарий, персонажей, драматургию, генери референсы бананой, а видео - гроком. В конце добавлял 1-3 правки а-ля «давай побыстрее монтаж» или «ничего не понятно, упрости». Собрал все поделки в порядке их появления. Угадайте, какую одну из них делал codex. Только не надо обесценивать их из-за ии, все-такие creator’s touch и вкус там был запромчен.