ИИ

🌌 Тут OpenAI напомнила разработчикам, что нужно сделать первым делом при запуске GPT-6 — заново пересмотреть и улучшить все подключенные скиллы и агенты. Причина — GPT-6 сильнее следует промптам, поэтому нейронка может случайно выполнять конфликтующие инструкции, соблюдать устаревший формат и делать лишние шаги. Разрабы прямо говорят, что первый таск — не наращивать обвязки вокруг GPT-6, а наоборот урезать их до необходимости. → Запрос отправит Codex читать статью с новыми правилами, сделать полный аудит скиллов и улучшить их:

Codex, read @pvncher's article x.com/pvncher/status/2095991462416490862 then audit all of my skills and AGENTS.md files inside ~/Projects"

Сохраняем в избранное, чтобы укротить монстра GPT-6. @notboring_tech

Как вам Астра? Я пробую ей давать небольшие баг фиксы на минимальном ризонинге и она работает очень быстро и делает хорошо. Ловлю приятное ощущение, что теперь кучу хвостов можно позакрывать быстро и хорошо (надеюсь, ощущение не обманчиво). Баги исправляются в одном из моих легаси проектов, который я развиваю еще с 2012 года и он ни разу не AI ready (разве что визуальный фидбек настроен). В общем, пока выглядит так, что low (light) ризонинга вполне достаточно для большинства задач, что и бенчмарки подтверждают - DeepSWE, FrontierCode. Единственное что удручает так это быстрый расход лимитов - даже на моей 200$ подписке. С другой же стороны, когда довольно быстро получаешь ожидаемый результат, то может оно того и стоит. Кстати, с более сложной задачей по качественному RAG по большей базе нормативов пока не справилась ни Fable 5.1 max, ни Astra pro - в очередной раз убеждаюсь насколько тяжело до сих пор заодн даже современным моделям разрабатывать сложных агентов, когда нужна предельная точность в ответах. Как у вас ощущения от Астры? Согласны, что low теперь достаточно для большинства задач? @ai_driven

Предсказать среднее могут не только лишь все Классическая задача машинного обучения - тренировочный и тестовый датасет, бинарная классификация. Если ваша модель без глаз и ушей, т.е. не получает фичи на вход, то она посчитает avg(y) на тренировке и предскажет это для каждого тестового образца. Когда мы выкатываем модель в прод, то одним из критериев её самочувствие является так называемая калибровка - sum(p(y)) / sum(y). Даже выше упомянутая слепоглухая модель будет "откабирована". т.е. измерение будет равно примерно 1. Казалось бы - планка-то не очень высокая. Если калибровка в проде не 1, то с моделью что-то сильно не так. Мы выложили модель в открытый доступ, так что не секрет, что наш ранкер - это простой трансформер с ранним связыванием, применяемый над историей пользователя и представлением кандидата. Все посты представлены в виде id автора, id поста, и ещё там есть пачка банальных контекстных фичей. Вся эта фигня тренируется в реальном времени на всех поступающих данных. Свежие чекпоинты постоянно отгружаются в инференс и в прод. Так вот, от нашего ранкера не так уж и просто добиться откалиброванности. Это очень капризная дама. Если тренировка падает на час и в проде продолжает применяться замороженный чекпоинт - прощай, откалиброванность. Предсказания по не до конца ясной причине начинают плавно расти со временем. Через несколько часов они вырастают в 5-10 раз. Любое малейшее расхождение фичей на тренировке и применении - калибровка летит в жопу. Причём обычно именно в большую сторону, непропорционально падению CTR. На днях дебажил проблему. У нас есть конверсионная модель, предсказывающая вероятность p(purchase | click). Покупка лишь изредка происходит сразу после клика, поэтому реальную метку надо ждать какое-то время. Я работал над моделью с 24-часовой задержкой. То есть каждый обучающий образец - это клик на рекламу, случившийся ~сутки назад, и метка покупки. На тренировке всё выглядело нормально, а как выкатываю в прод - калибровка >2 - модель начинает выдавать в 2 раза большие скоры, в том числе на теневом трафике прода - то есть без учёта selection bias. Я беру эти образцы. Думаю - может из-за расхождения в историях - модель могла не обучаться на свежих постах и в эмбеддингах там мусор. Создаю исскусственную задержку - такое же говно. Думаю - ну может распределение кандидатов меняется? Пробую подставлять старых кандидатов - такое же говно. Нежно приложив пистолет к виску моего агента, я сказал ему копать - перебирай все фичи, пока не найдёшь, из-за чего эта херня возникает. И что вы думаете? Сраный день недели. В представлении кандидата есть эмбеддинг текущего дня недели. У тренировочных данных, на которых тренируется модель, эта фича всегда равна предыдущему дню недели. А в проде она равна текущему дню. Если в проде подменить фичу дня недели на вчерашний, модель резко выздоравливает и предсказание превращаются в норму. Какого чёрта оно так себя ведёт? Не знаю, и знать не хочу. Обожаю машинное обучение. @knowledge_accumulator

Вчера на командном синке придумывали формат новой сессии для AI Native - кейс-клиника, где участники приносят живые рабочие ситуации, а не просто задают вопросы. И между делом, разбирая, какие вопросы обычно всплывают у людей при сборе своей базы знаний, вспомнил совет, который сам по себе тянет на отдельный пост. Речь про плагин QMD. Про него мало кто знает, а между тем он индексирует все содержание базы знаний и делает векторный поиск. Смыслово это горячо-холодно для поиска: вбиваете фразу вроде "хочу найти наши транскрипты с командой", и он понимает, скорее в каких местах базы это будет, а в каких - точно нет, даже если формулировка не совпадает дословно. Технически там зашито сразу три способа поиска - по ключевым словам, по смыслу и переранжирование результатов моделью, - и всё это крутится локально на вашем компьютере, без отправки данных в облако. Понимает не только markdown-заметки, но и код с сохранением структуры файла. И отдельно скручен так, чтобы им могли пользоваться AI-агенты - через MCP-протокол, тем же Claude или другими инструментами. Ссылка на репозиторий - https://github.com/tobi/qmd @ppprompt

Промпт "ты - эксперт" не повышает точность ответов LLM Гайды по промптингу, особенно в материалах свежеиспеченных AI-экспертов, советуют начинать промпт с роли: "Ты - опытный юрист", "Ты - senior data scientist". Zheng, Pei и др. (Findings of ACL) еще в 2023-2024 году проверили, влияет ли это на точность в задачах с проверяемым ответом. https://arxiv.org/abs/2311.10054 Для экспериментов выбрали 162 роли: 112 профессий (юрист, геолог, "Medical Diagnostic AI", "helpful assistant") и 50 социальных (мать, коллега, друг). В исследовании участвовало 9 моделей: Flan-T5-XXL, Llama-3 8B и 70B, Mistral-7B, Qwen2.5 от 3B до 72B. Для оценки точности использовали 2410 вопросов MMLU. Форматы "Ты - {роль}" и "Ты разговариваешь с {роль}", контроль - вопрос без роли. В результате выяснилось, что точность ответов либо на том же уровне, что и без ролей, либо хуже. Более того, можно было ожидать, что в более крупных моделях польза от ролей будет больше, но не тут-то было: вышло прямо наоборот, «вредных» ролей из всего эксперимента оказалось еще больше для моделей с бОльшим количеством параметров. Тут резонно заметить, что ссылаться на статью с последним апдейтом в 2024 году это очень сильно замороженная рыба для темпов развития ИИ в наше время, поэтому если пост соберет 50 сердечек, напишу, что еще интересного публиковали про исследование ролей в последние два года.

США и Китай готовятся обсуждать безопасность ИИ. По данным Reuters, ссылающегося на два осведомлённых источника, диалог запланирован на середину сентября. США хотят обсудить сотрудничество в отслеживании кибератак под управлением ИИ. Вашингтон предложил американским и китайским ИИ-лабораториям самостоятельно контролировать свои разработки и обмениваться информацией для предотвращения таких атак. Американскую сторону также беспокоит возможное появление китайской модели уровня Claude Mythos, способной проводить кибератаки. С китайской стороны переговоры может возглавить вице-премьер He Lifeng. За последнюю неделю китайский интернет-регулятор публично предупредил о «критических рисках потери контроля над ИИ». А связанный с государственными СМИ блог выступил с критикой позиции Anthropic, подчеркнув, что любые ограничения на передовой ИИ должны в равной степени распространяться на китайские и американские модели. === Логичный вопрос — может быть Китай просто хочет притвориться, что будет вводить какие-либо ограничения, а сам втопит газу? Так может произойти, поэтому важно прийти к мерам, подразумевающим недоверие сторон друг к другу. Такая схема была описана в сценарии AI 2040 (и она подразумевает работу в течении нескольких лет, не по щелчку пальцев). По замыслу авторов, уверенность должна опираться на проверку. Страны декларируют крупные вычислительные мощности, сверяют производство и поставки чипов (благо сейчас >99% AI чипов выходят с одного производства — можно их начинать отслеживать прямо после схода с конвеера), допускают взаимные инспекции и проверки. Задача — ограничить объём неучтённых вычислений настолько, чтобы тайному проекту было трудно обогнать контролируемые разработки. После того, как начнут отслеживать мощности — можно начинать мониторить тренировки самых крупных моделей, проводить аудиты, например, на закрытых бенчмарках. Но чтобы ко всему этому прийти — нужно начинать диалог с малого.