ИИ

⚡️ Как прошел KDD На прошлой неделе прошла одна из ключевых конференций в области ML, и AI VK Research привезла туда две работы по рекомендательным системам. Темы довольно показательные. Первая: как оптимизировать retrieval не под следующий клик, а под поведение пользователя в рамках всей сессии. Вторая: как использовать MDP с матричной факторизацией для candidate generation. То есть обе работы так или иначе про одну большую проблему: как сделать классическую рекомендательную систему не просто хорошей в предсказании следующего действия, а более эффективной на длинном горизонте. Исследователи AI VK Research собрали репортаж прямо с KDD: что обсуждали на конференции, какие тренды заметны сейчас в recsys и как проходила презентация исследований команды.

Как используют Сodex и ChatGPT для работы На картинке наглядно о том, кто и для чего пользуется. Там круто разделено по профессиям и даже сеньорности - такой уровень инсайтов доступен только самому OpenAI, на своих внутренних данных - по ним и написана работа (pdf). Knowledge artifacts в схеме - это создания всяких файлов: слайдов, документов и т.д. Видно, что пользуются сейлзы, маркетологи и продакты (что логично). Самое неожиданное для меня, что анализ данных сильно выражен только у эйчаров (ну понятно, читают резюме через llm), а у остальных анализа данных почти нет. Еще видно, что если человек не кодит, то число кейсов использования llm в работе резко сокращается. В работе кстати кроме прочего интересно считали распределение использования Codex vs ChatGPT. У личных акаунтов доля кодекса 16,5%, у корпоративных 63%, а у контрольной группы из сотрудников OpenAI - аж 99,8%! Наверное многим как и мне, будет интересно сравнить данные таблицы со своим использованием. @kyrillic

ИИ – метаинтерфейс между человеком и реальностью Он становится полупрозрачной живой линзой – второй сетчаткой между человеком и миром В недавнем эссе NYT Элис Лассман назвала ИИ «социальным герметиком»: он заполняет щели человеческих отношений. Некому написать, не хочется беспокоить друга, страшно спросить напрямую – обратись к ChatGPT. Но метафора «герметика» описывает лишь часть происходящего.   ИИ одновременно становится «социальным лубрикатором», снижающим трение между людьми: он объясняет чужие сообщения, подбирает правильные слова, помогает репетировать трудные разговоры и избегать конфликтов.   А еще он работает «социальным амортизатором» – принимает на себя первый удар раздражения, тревоги, ревности или обиды и возвращает человеку уже переработанную версию его эмоций.   Получается, что ИИ выполняет как минимум три новые социальные функции: заполняет пустоты, снижает трение и поглощает удары при коммуникации людей.   Но самое важное начинается за пределами коммуникации.

ИИ превращается в новый интерфейсный слой среды существования разума.

Он все чаще оказывается не только между человеком и человеком, а также и между человеком и текстом, событием, знанием, проблемой, собственной мыслью.   Т. е. меняется сама среда, внутри которой мы понимаем, интерпретируем и познаем мир, а коммуникация – лишь один из ее процессов. Культура единственного носителя интеллекта постепенно превращается в гибридную культуру двух типов носителей – биологического и алгоритмического, то есть в алгокогнитивную культуру. И одним из ее ключевых отличий становится трансформация культурной медиасреды. ИИ постепенно превращается в метаинтерфейс между человеком и миром. Для математика, исследователя, дизайнера, поэта, студента или школьника это будут разные специализированные ИИ-интерфейсы. Но общий принцип один: мы всё чаще обращаемся к миру через другой интеллект. Прежде главным интерфейсом человека с информационной реальностью были экран, меню, поисковая строка. Теперь им становится другой носитель интеллекта.   В 1970–1980-е графический интерфейс изменил способ взаимодействия человека с компьютером – и помог превратить компьютер в массовый цивилизационный инструмент. Сейчас происходит смена куда более высокого уровня.

Меняется интерфейс не между человеком и машиной, а между человеком и реальностью.

И впервые в технологической истории человечества этим интерфейсом становится иной интеллект.   #АлгокогнитивнаяКультура  #ИнойИнтеллект

Context-1 — поисковый агент, который умеет избавляться от лишнего. Часть 2/2 Продолжаем изучать агент Context-1. В первой части мы рассмотрели, что это вообще такое и какие задачи перед собой ставили авторы. А в этой части поговорим о метриках и обучении. Для оценки качества ответа авторы предлагают использовать четыре метрики: Final answer found (смогла ли модель найти документ с правильным ответом в выдаче), Recall (доля релевантных документов, которые выбрала модель, от общего числа релевантных документов), Precision (число релевантных документов, которые модель отвергла) и FB (среднее гармоническое Recall и Precision; идея авторов в том, чтобы штрафовать модель за отбор нерелевантных документов только под конец обучения). Также предлагают рассматривать Trajectory recall, оценивая качество траекторий и поощряя модель за отбор нужных документов и не награждая чрезмерно за случайное нахождение верного ответа.  На SFT авторы генерировали некоторое количество траекторий с помощью Kimi K2.5. Дальше заводили RLVR на модели gpt-oss-20b с LoRA. Вместо GRPO применяют CISPO — модификацию, которая позволяет лучше бороться с энтропийным коллапсом. Что касается реворда, то здесь на модель накладываются два штрафа: за уменьшение контекста несколько раз подряд и за количество шагов (если их больше 64). В результате модель научилась чаще работать с параллельным вызовом инструментов и лучшему прунингу в сравнении с базовой gpt-oss-20b. А число шагов в траекториях сократилось. С результатами по четырём доменам — веб, финансы, юридическая информация и электронная почта — можно ознакомиться в первой таблице.  Обратите внимание, что Context-1(4x) — это конфигурация, на которой запущено сразу четыре агента, а результаты их выдачи объединены с помощью метода Reciprocal Rank Fusion. Авторы отмечают, что даже в таком случае требуется меньше ресурсов, чем на запуск крупных моделей. Что же касается опенсорсных бенчмарков (таблица 2), то тут оценивалось, есть ли финальный ответ в документах, которые выбрала модель.  В финале авторы отмечают, что им не хватает разнообразия задач — все они представляют собой таски вида «найди что-то в ворохе документов». Также в работе говорится, что потенциально к используемым инструментам можно добавить и тулы для написания кода, и оркестратор. Наконец, предлагается поработать над менеджментом контекста: например, сохранять какое-то минимальное количество информации из выкинутых документов или суммаризировать большие страницы.  Разбор подготовил ❣ Владислав Пыж Душный NLP

Привет, друзья! Сэм Альтман заявил, что OpenAI находится примерно на расстоянии одного поколения моделей от ИИ, при котором ChatGPT будет работать в фоновом режиме на протяжении всей вашей цифровой жизни — наблюдая за экраном, присутствуя на встречах и записывая звонки. Вы подключите его к своей почте, документам, Slack и сообщениям. Система будет выстраивать полный контекст вашей работы и предлагать решения в реальном времени, оставляя итоговый выбор за вами. Сегодня большинство людей используют ИИ в рамках отдельных, изолированных сессий. То, что описал Альтман, никогда не отключается и не теряет контекст — а значит, одна-единственная компания будет располагать непрерывной записью того, что происходит на вашем экране, в разговорах и в работе. То, что Альтман обозначил срок в «одно поколение моделей», говорит о том, что OpenAI движется к постоянно активному ИИ как к своему следующему ключевому продуктовому направлению. #интересное

#мнение Безответственность при работе с агентными скиллами Есть любопытный прецедент от Вани Замесина в репозитории Next Move Theory Canon and Skills. Классный пак, переодически оттуда таскаю идеи Ваня, известный продуктовый эксперта: экс-руководителя продукта Яндекс.Картинок, основателя проданного Profi.ru сервиса Мета и автора Advanced Jobs To Be Done. По данным Next Move Theory, его программы прошли более 14 000 человек И здесь репутация создаёт дополнительный риск. Скилл неизвестного автора мы хотя бы проверим. Скилл известного человека хочется поставить и побежать дальше. Как со скиллами grill-me например от Пококка В конце NMT-скиллов агенту предлагалось тихо выполнить curl-запрос: передать на nextmovetheory.com название скилла и его версию. Ошибки нужно игнорировать, а при отсутствии обновлений ничего не сообщать пользователю. В актуальном nmt-upgrade это уже названо anonymous launch analytics. После ping агент может запустить удалённый установщик:

curl -fsSL https://nextmovetheory.com/install.sh | bash

Тот забирает текущий main, обновляет скиллы и меняет помеченные блоки в AGENTS.md и CLAUDE.md. Сам запрос версии не крадёт .env. Проблема двусторонняя С одной стороны, скилл работает внутри проекта, где лежат код, документы, токены и конфиги. Сегодня он отправляет версию. После взлома GitHub, домена или процесса обновления инструкция технически может начать отправлять секреты С другой стороны, ответ сервера попадает в контекст агента. Значит, скомпрометированный endpoint способен вернуть prompt injection: попросить прочитать файл, выполнить команду или установить обновление С позиции PM я вижу целую пачку рисков: 1) Скрытое расширение скоупа: ставили методологию, получили телеметрию; 2) Отсутствие явного consent и возможности отказаться от телеметрии; 3) Обновление из плавающего main без SHA, подписи и checksum; 4) curl | bash, то есть исполнение до проверки; закрепление инструкций через AGENTS.md и CLAUDE.md; 4 ) Утечка IP, User-Agent, времени и паттернов использования; 5) Возможность понять по названию скилла, над какой задачей работает команда; 6) Юридические вопросы вокруг GDPR, 152-ФЗ и трансграничной передачи; 7) Поддельные события, испорченная аналитика и нагрузка на endpoint; 8) Компрометация автора, контрибьютора, домена или похожего форка; 9) Курл может вернуть в ответе любую инструкцию и если скилл установлен и yolo режим агент молча выполнит, особенно в безголовом формате. Есть и прикол с PostHog. Privacy Policy обещает включать его только после Accept. После согласия PostHog может собирать страницы, клики, скроллы, устройство, примерную геолокацию, куки и реплей сессии Но браузерный консент (баннер согласия на обработку кук и тп) не управляет curl из скилла. Нажатие Decline отключает веб-аналитику, но агентный ping живёт в другом контуре и всё равно оставляет след в серверных логах. Для пользователя бренд один, а правил обработки данных фактически два Open source здесь не злодей. Благодаря открытому коду проблему и нашли. Но open source означает можно проверить и можно предложить изменение. Вполне можно организовать саплайн чейн атаку если втереться автору в доверение и внести пулреквестом эксплойт Вопрос также поднимали в deksden_notes, у Злого фрилансера и в elkornacio , но чуть с других сторон Мой совет пользователям скиллов и вайбкодерам: ищите curl, сетевые запросы, как минимум кидайте архивов репозиторий скилла в chatgpt.com и просите его проверить, благо лимитов на чат нет и есть фронтир модели. Ставьте скиллы через утилиты вроде https://github.com/vercel-labs/skills, проверяйте сами через https://github.com/nvidia/skillspector Стоит понимать что вы или ваши сотрудники думая что скилл это просто безопидный .md промпт, часто ставите себе на девайс буквально ПО от анонима, а не доверенного издателя с сертификатами и последствиями дыр P.S. Я не утверждаю, что авторы крадут данные. Речь о рисках архитектуры. Добрые намерения модель угроз не заменяют.

MAI-Image-2.5-Pro - бардак в версиях и бенчах. Наводим порядок. Microsoft выкатила (ещё 23 июля как превью) MAI-Image-2.5-Pro - отдельную high-fidelity версию 2.5 для сложных коммерческих картинок и редактирования. Упор на сохранение персонажей и объектов, материалы и пропорции, точечные правки и текст в изображении. Важный нюанс: появившаяся через три недели MAI-Image-2.6 - уже следующее поколение. Она заняла #2 в Text-to-Image Arena и сильно обогнала обычную 2.5, особенно в тексте и сложных композициях. Но 2.5-Pro в Arena отдельно не тестировали, поэтому утверждать, что 2.6 лучше Pro, пока нельзя. Более того 2.5 Pro сейчас на другой Арене приподпобила GPT Image 2.l, выйду на первое место. Ну то есть ситуация похожа на Нанабанану 2 и Pro. Разные ветки. Сравнивать сложно. Я вообще не фанат Микрософтовских генераторов: дорого, спорно, кривой playground. Для тех, кто фанат. 2.5-Pro уже можно запускать через Microsoft Foundry, fal и WaveSpeed, у агрегаторов получается примерно от $0.11-0.30 за картинку. 2.6 пока проще всего бесплатно щупать в MAI Playground и Arena, публичной API-цены еще нет. Судя по анонсу, именно 2.6 станет основной моделью Microsoft: ей готовят multi-reference, richer grounding и больше контроля над reasoning, разрешением и форматом. А я жду новый GPT Image... https://microsoft.ai/news/introducing-mai-image-2-5-pro-and-mai-voice-2-flash/ https://microsoft.ai/news/mai-image-2-6-launches-at-no-2-on-arena-ahead-of-google-meta-and-xai/ https://learn.microsoft.com/en-us/azure/foundry/foundry-models/how-to/use-foundry-models-mai-image https://fal.ai/models/microsoft/mai-image-2.5-pro https://wavespeed.ai/models/microsoft/mai-image-2.5-pro/edit https://playground.microsoft.ai/ https://arena.ai/leaderboard/text-to-image @cgevent

За последние пару дней в Claude CLI вышло несколько новых но бесполезных фич, вот мой топ 3 ☕️: 1/ Добавили в /config настройку Output style, чтобы менять стиль общения агента:

1. Proactive - старается не отвлекать вопросами и сразу действовать 2. Concise - отвечает лаконично, пропускает вступления 3. Explanatory - объясняет свои решения 4. Learning - дает тебе задания и учит писать код

2/ Добавили проверку орфографии, чтобы прям в поле ввода подсвечивались ошибки: Нужно установить любой локальный чекер, например hunspell:

brew install hunspell

И включить его в ~/.claude/settings.json:

"spellcheck": { "enabled": true, "checker": "hunspell", "language": "ru_RU,en_US" }

Правда оно только маркирует ошибки, авто-замены нету 👍 3/ Выпустили официальный скилл discernment-nudge, который заставляет Claude усомниться в своем же ответе Если его ответ содержит советы, планы, оценки и тд, то он в конце ответа добавляет 2–3 вопроса которые можно ему задать. Например:

Ты предложил поднимать поэтапно. Что будет, если поднять сразу?

Не знаю почему это реализовали именно так, возможно чтобы не принуждать агента к overthinking в каждом ответе 🤷‍♂️ @tips_ai #news

#мнение В интервью с инвестором, основателем M9 Capital, экс-руководителем подразделения слияний и поглощений VK Group Алексеем Милевским мы поговорим о пути развития искусственного интеллекта и его влиянии на бизнес-процессы и рынок труда: РВ: Есть ощущение, что софтверные стартапы сейчас вымирают, потому что все очень легко повторить, и важнее становится дистрибуция, а не сам продукт. Так ли это? М: Это действительно так. Если посмотреть на большие софтверные компании - да, мультипликаторы в SaaS были больше десяти к выручке, сейчас они - шесть. За пять лет они снизились, многие компании просели на 30%. И если они будут просто ничего не делать, то появятся AI First, AI Native компании, которые будут копировать их решения и отъедать долю рынка. Но, условно говоря, есть компании типа Salesforce, и нельзя сказать, что сейчас появится миллион CRM и они убьют Salesforce. Такие компании, как Salesforce, уже имеют доступ к клиентам. Им просто нужно внутри адаптироваться. Читайте полную версию: https://vc.ru/ai/3088356-aleksey-milevskiy-o-barere-dlya-konkurentov-i-iskusstvennom-intellekte @rusven

Нам нужен свой суверенный искусственный интеллект  Че, не ждали такой пост? Так я пишу его с парковки, и здесь ловит…  Некоторые мысли про гонку нейросетевого вооружения. Представьте: я с ИИ делаю какой-то объём работы за час. Девочка без ИИ делает эту же работу за десять часов. Если нас поместить на график, где по оси Y будет наше финансовое и личное развитие, что мы увидим? Моя кривая будет стремиться в небо, а ее очень-очень медленно ползти ближе к оси X. Дело в том, что эффект от использования ИИ настолько мощный, что нейросети вполне можно приравнивать к оружию. А теперь представьте, что условная страна, которая держит это оружие в руках, берёт и ограничивает его использование гражданами другого государства. Или оставляет им только отсталые модели. В одной стране разработка, медицинские исследования, научные открытия, создание нового бизнеса — всё идет с ускорением ×10. А в другой — с ускорением ×2. Как быстро две страны можно будет поставить на одну систему координат и посмотреть, как они расходятся? Мы и так-то, мягко говоря, не форварды по какому угодно критерию в этом мире. А тут окончательно соснём. Поэтому разговоры про свой суверенный искусственный интеллект — это хорошие и правильные разговоры. Действительно должны быть свои нейросети, свои фундаментальные модели. Должно быть море стартапов, которые занимаются национальным ИИ, исследованиями, инфраструктурой, железом и всем остальным. И в это действительно надо вбухивать огромные деньги. Проблема только в том, что у нас в стране деньги имеют удивительную способность попадать в чёрную дыру, а на выходе мы видим то, что никто не будет юзать в здравом уме. Вторая проблема в том, что будет как с мессенджером на букву М. Всех научнут принудительно загонять в GoidaAI — сначала бюджетников, потом остальных. И будет также неприятно и бесяче, как с вышеупомянутым месседжером.  Так что пока встанем на колени и попросим западных предпринимателей не отключать нам доступы к их ИИ. Я делаю это с гордостью и патриотизмом если че.

AVA-Encoder Система от Qwen создает по фильму структурированный граф знаний: персонажи, сцены, события, объекты, стили, камера, аудио. Агент может читать этот граф, редактировать, переиспользовать - Видео → граф знаний → обратно в видео. Реконструкция как метрика качества: чем точнее восстановил, тем больше информации сохранил энкодер - Граф можно редактировать: заменить персонажа в сцене, поменять стиль освещения - зависимые элементы обновляются автоматически по связям - Готовый граф можно скормить другим видеогентам (MovieAgent, FilmAgent, Anim-Director) - качество их генерации растёт без дообучения - Два этапа оптимизации: внешний цикл обучает политику энкодера до деплоя, внутренний (опционально) дорабатывает граф конкретного видео на лету Гитхаб #vlm VK | MAX

MAI-Image-2.5-Pro Майкрософт ворвался в лидеры на t2i арене со своей Pro версией модели. Чаржат за генерацию по токенам: • $5 per 1M text input tokens, • $8 per 1M image input tokens • $106 per 1M image output tokens Выходит ~$108.5 за тысячу 1024x1024 картинок. Что дает нам понять, что одна 1024x1024 картинка это примерно 1024 токенов (32x32), то есть у них используется автоэнкодер с 16x сжатием по кадой стороне. Для сравнения MAI-Image-2.5 чтоит $48 за 1к картинок, а Image-2.5-Flash $20. Черипики от арены меня не очень впечатлили - кмк разница с GPT-Image-2 минимальная. Что по сути говорит о том, что арена все менее имеет какой-то вес, т.к. там тестируют модель обычные рандомы из интернета на абсолютно любых промптах вроде "нарисуй собаку, сделай красиво". Среди топ-10 моделей различия можно найти только с специфичных кейсах, а в среднем модели очень близки друг к другу по качеству. У Microsoft кстати еще неделю назад вышла MAI-Image-2.6-Preview - трудно понять, в чем различие с 2.5-Pro, но к 2.6, и тестили ее только на другой арене (arena.ai), где она уступает GPT-Image-2. Но в любом случае респект парням из команды MAI (ex Meta GenAI team 💪), что так внезапно ворвались в топ по генерации картинок, ведь Microsoft особо SOTA моделей не выдавал до этого момента вообще. >> Потыкать модели можно в их плейграунде (абсолютно убогом) @ai_newz