Одну важную вещь я поймал на днях с AI консилиумами: когда вы просите консилиум дать свое мнение по определенному вопросу, то важно правильно ограничить видимость агентов; в противном случае - они прочитают факт/вывод в папке проекта и выдадут один и тот же, уже известный ответ. И тогда вся идея разнообразия мнений разбивается о стенку Что у меня произошло: Я в течение 4 дней исследовал одну проблему на пару с дружбаном - why-tree, просмотр сессий и тп. И на какой-то из итераций с консилиумом я заметил, что они стали оперировать фактами, которые им не должны были быть известны. Тут можно было подумать, что они или гении, или нагаллюцинировали... Начал копать и заметил, что у некоторых участников подозрительно много вызовов тулов —> выяснилось, что поскольку у них были тулы, чтобы читать файлы - то они решили, прежде чем дать свое мнение, почитать все что есть в проекте, ну и наткнулись на этот контекст, а далее уже было достаточно сложно их мнение "разнообразить". К слову, цитата из моего поста 3 года назад:

В Empatika Open, посвященной моему обучению в Stanford, я рассказывал про неприятный феномен групповых обсуждений, когда участники фокусируются на общем знании, теряя уникальное знание каждого. Как снизить вероятность такого поведения?

Собственно, именно таким неосторожным загрязнением (contamination) контекста мы и можем предопределить однообразие мнений участников консилиума - как человеческих, так и AI. Как лечится? 1) можно ограничить тулы, что даете субагентам (не давать им читать файлы) 2) явно попросить закарантинить файлы, которые им не должны быть доступны 3) давать разные задачи участникам - "опровергни", "найди чего не хватает", "перепроверь цифры", "скажи, что тебя переубедит" Attention is all you need 😉 P.S. Скилл я, разумеется, по мотивам проапдейтил, но пару седых волос точно прибавилось

Страшно выпускать навайбкоженный проект в свет? Оттягиваете? Боитесь облажаться? Публичного хейта? Паша Дуров вот недавно профукал домен t.me, теперь он недоступен. Сотни миллионов пользователей, миллиарды инвестиций, лучшая команда. Страшно, что взломают? Открою секрет - взломать можно все, и то что написал человек, и то, что написал агент. Если вас еще не взломали, есть на это две причины: • Вас уже взломали, но вы об этом не знаете • Вы никому не интересны Проекты значительно чаще умирают (или не рождаются) из-за перфекционизма (тревожности) основателей, чем из-за технической некомпетентности. Пишу об этом, потому что каждый день сам через это прохожу. Ставь ❤️ - если тоже. ❤️ - если уже есть проекты в продакшене.

YC-фаундеры отвечают на вопрос «Что вы делаете?» — давайте посмотрим, насколько это понятно Интереса добавляет, что все эти стартапы — dev tools, т.е. продукты для разработчиков, а фаундеры должны говорить о проекте так, чтобы поняли даже не технари: Infisical (W23) — платформа с открытым исходным кодом для защиты цифровых идентичностей. Мы работаем с компаниями вроде NVIDIA, LG и Hugging Face, помогая им управлять секретами, сертификатами и другими чувствительными ресурсами в инфраструктуре. Ollama (W21) — мы упрощаем запуск агентов и помощников, используя открытые модели. Resend (W23) — API для email для разработчиков. Мы — Stripe для электронной почты. Recall (W20) — API для данных о разговорах. Мы помогаем разработчикам записывать, хранить и анализировать данные с видеоконференций, телефонных звонков и личных встреч. Greptile (W24) — делаем агентов, которые проверяют и тестируют пулл-реквесты с учётом контекста кодовой базы. Мы делаем это для компаний вроде NVIDIA и Coinbase, проверяя более трёх миллиардов строк кода в месяц, выявляя антипаттерны и ошибки. Firecrawl (S22) — API для работы с веб-данными, предназначенный для AI-агентов и разработчиков. Porter (S20) — платформа, которая управляет вычислительными мощностями для стартапов на любых облачных провайдерах. Mintlify (W22) — мы создаём умную, AI-powered документацию для крупного бизнеса (enterprise) и стартапов. Unsloth (S24) — мы предоставляем локальные LLM-ки и значительно упрощаем обучение моделей. RevenueCat (S18) — мы упрощаем in-app подписки (внутри мобильных приложений) и помогаем разработчикам зарабатывать больше денег. Если непонятно, но заинтересовало — это тоже хороший результат. А вот если совсем непонятно и неинтересно, то это уже проблема. Я плохо понял и не заинтересовался Unsloth и Ollama, а Infisical понял только в процессе перевода, на слух бы не выкупил. А вы? @y_everyday — рефлексируем об акселератор, создавший 100+ стартапов-единорогов 🤩

Как понять, нужен ли вашему продукту ИИ (часть 2) В прошлый раз мы рассмотрели подробно, в каких задачах хорошо себя показывают ML, LLM, RAG и ИИ-агенты — удобная сравнительная таблица на слайде 1. Но выбор решения должен исходить из стратегических вопросов. Разберем фреймворк, который помогает точно выбрать подходящую ИИ-технологию или инструмент для вашего контекста. ❌ Частые ошибки при поиске ИИ-решения для продукта: — Выбирать модель раньше, чем продумали работу с данными: какие данные есть, хватит ли их, где они лежат, как получить к ним доступ? Этот этап занимает много времени, и если не оценить заранее его трудоемкость, можно сильно сдвинуть сроки. — Считать, что любая ИИ-функция должна отвечать мгновенно. На самом деле далеко не всегда — например, классификацию пользователей достаточно проводить раз в месяц. Работа в реальном времени резко повышает стоимость решения, поэтому такой режим стоит использовать только там, где он действительно необходим. — Надеяться на решение комплексной задачи одним инструментом. Если загрузить весь объем данных в одну модель, то результат будет в большей или меньшей степени состоять из галлюцинаций. — Запустить и забыть. Модель на проде нужно дообучать и переобучать в случае применения к другим продуктам, даже в схожих контекстах. ✅ Этапы использования ИИ в продукте 1️⃣ Четко сформулируйте бизнес-задачу, которую хотите решить с помощью ИИ. Она должна быть: — актуальна и значима для компании (автоматизация, сокращение времени); — иметь измеримые последствия (деньги, время, ресурсы). Для отслеживания прогресса сразу стоит: — определить ключевую метрику; — нарисовать схему процесса As Is → To Be. 2️⃣ Переведите бизнес-задачу в задачу для ИИ. Классический ML — К какому типу ML-задач относится ваш кейс? — Что будет являться целевой переменной, что модель должна предсказывать? — В чем бизнес-смысл этого предсказания? — На каком этапе бизнес-процесса будет использоваться модельное решение? — Какие математические метрики будут проверять качество модели? Генеративные модели — Какой тип генеративной архитектуры вы используете — LLM (GPT-подобная), diffusion, VAE, GAN или гибрид? — Что именно должна генерировать модель и по каким правилам? — В чем бизнесовая ценность этой генерации? — На каком шаге пользовательского/операционного процесса запускается генерация? — Какими метриками будете мерить качество вывода? 3️⃣ Подготовить данные. — Какие данные планируется использовать для обучения модели? Какие ключевые признаки? — На какую дату признаки должны собираться? Будут ли к этой дате известны показания по всем признакам? — Требуются ли внешние источники данных? — Требуются ли дополнительные действия для сбора данных? — Есть ли ограничения по использованию данных/моделей? — Можно ли отправлять данные за контур компании в вендорское решение? — За какой период (срок наблюдения) собираются данные? — Все ли данные уже есть в промышленных системах, или потребуется дополнительное подключение? 4️⃣ Выберите режим для модели. — Как часто будет работать модель: Batch — раз в день/неделю/месяц. Online — в момент действия пользователя. — Как часто нужно делать предсказание? — Есть ли требования к скорости ответа? 5️⃣ Продумайте внедрение в продукт. — Как модель будет интегрирована в бизнес-процессы и существующую архитектуру? — Требуется ли API или встраивание в существующие сервисы? — Нужно ли менять интерфейсы или бизнес-логику продукта? — Кто отвечает за поддержку и обновление модели после внедрения? — Как будет организована обратная связь от пользователей для улучшения качества предсказания? 6️⃣ Запланируйте регулярный мониторинг. — Какие метрики качества будут отслеживаться? — Как будет происходить мониторинг деградации модели? — Кто отвечает за реакцию на падение качества? — Как часто планируется переобучение модели? — Есть ли процесс аварийного отключения модели и возврата к ручному процессу? — Как будут учитываться требования по безопасности и хранению данных в эксплуатации? 7️⃣ Постройте систему метрик (слайд 5). В ней важно учитывать: — продуктовые метрики — от менеджера продуктов и бизнеса; — ML-метрики — от дата-сайентиста; — метрики связи продукта с ML. Только после этого имеет смысл выбирать между классическим ML, LLM, RAG или агентной архитектурой. И иногда правильным ответом окажется вовсе не генеративный ИИ. По мотивам мастер-класса «Нужен ли вашему продукту искусственный интеллект?» Михаила Войтко на ProductSense’25 💙 VK 🖤 YouTube @productsense

Время измен — Мы верны Claude, — сказал стартапер — А если завтра Gemini станет лучше? — Не станет Ребята из одного нашего стартапа пол-весны вылизывали промпты под Claude, обвязали их костылями и гордились «глубокой интеграцией». Вышел ChatGPT 5.6 — половина нагороженного стала мешать. Пока отдирали — конкурент обогнал их на голом апи. Сейчас время королевской гонки и корона держится у модели в среднем 41 день. С точки зрения венчурного инвестора, это — катастрофа. А вот создателя продукта — чудо. Каждые полтора месяца ты получаешь либо более умный мозг либо тот же, но дешевле. Ни-фи-га не делая, просто меняя одну строчку в конфиге. Это как если бы ключевой сотрудник каждые 40 дней становился вдвое умнее или соглашался на вдвое меньшую зарплату. А ты бы еще выбирал между тремя такими. Поэтому «жениться» на модели — ошибка. Верность в этом браке наказывается. Лучшая стратегия — чемодан у двери. Вывод прост: не влюбляйся в модель — влюбляйся в возможность её бросить. Архитектура, где мозг меняется одной строчкой, сегодня стоит дороже самого мозга.

«Про то, как я оцифровал себя без ИИ, чтобы стать видеоблогером» Задача звучит как реклама нейросетей: не люблю камеру, нет времени на съёмку и монтаж, но хочу вести видеоблог. Автор пошёл ровно наоборот и генерацию через ИИ отверг сразу — крипово, ненадёжно и неуважительно к зрителю. Вместо этого сел писать кастомный движок на JavaScript поверх After Effects, который из текстового сценария с тегами собирает вертикальное видео с его аватаром, липсинком под буквы и слайдами. Первый прототип показал жене. Она посмотрела и сказала, что технологично, но персонаж крайне кринжовый и будет пугать зрителя. Аватар слишком глубоко провалился в зловещую долину. «То есть, это будто бы ты, но ненастоящий». Посмотрим, каким одним приёмом он вытащил себя из долины и во что это вылилось по просмотрам.

Колокол Тарта для Мака Держите мою программу-колокол для Мака, которую я сделал зимой. Программа издаёт звук колокола через непредсказуемые интервалы времени для тренировки внимательности и повода вспомнить себя. Если хотите понять контекст, можете переслушать 53-й выпуск подкаста. Программа всё это время прекрасно работала у меня. Выпускать её официально по эпловским понятиям я пока не готов — это намного сложнее, чем делать программы. Так что инструкция по установке такая: скачать, распаковать, перенести в /Applications, по правой кнопке Open и подтвердить, что доверяете мне. На последних версиях Макоса может потребоваться ещё и зайти в System Settings → Privacy & Security, и там нажать Open Anyway.

✔️ Google AI Studio получил возможность импорта с GitHub В среде Google AI Studio теперь можно подключать свои репозитории благодаря новой функции "Import from GitHub". Платформа научилась работать с уже написанной кодовой базой, перестав ограничиваться лишь генерацией проектов с нуля. При загрузке Gemini автоматически адаптирует код под совместимый формат среды выполнения, позволяя сразу же продолжить редактирование, предварительный просмотр и развертывание приложения.

Сейчас интеграция работает только в одном направлении, изменения не сохраняются обратно в исходный репозиторий, но Логан Килпатрик пообещал, что это временное ограничение - полноценная синхронизация с GitHub уже находится в активной разработке.

@ai_machinelearning_big_data #news #ai #ml

😱 Коду не нужна документация!  Когда LLM начали генерировать мне кучу кода, я решил что хорошей идей будет начать вести документацию к этому коду на понятном человеческом языке. Тогда я думал что это поможет мне понять что там написали агенты быстрее и лучше. 🤷‍♂️ В итоге не прокатило  По факту я просто внедрял в систему еще одно тонкое место, за которым нужно следить, которое нужно поддерживать, и, самое главное, которое жрет контекст. 🫠 Тогда я посмотрел на то, как я сам подхожу к изучению и пониманию кода. И оказалось: я просто читаю код. 😅

Когда-то я так разобрался в том как работает Magento, во времена, когда документации к ней практически не было. Я просто открывал исходники и буквально читал как работает этот фрэймворк.

  🤔 И вашему агенту так же не нужна документация. Ему нужен понятный, читаемый и структурированный код.  К такому же выводу пришел и человек со скриншота, Мэт Покок, человек создавший такие скилы как grill-me, to-spec и teach.  Документировать стоит только то, что не описывает код: бизнес домены, архитектурные решения, инфраструктуру и все в таком духе. Экономьте токены, сегодня они не дешевые 😅 Свята место | 10МДК | ВЕБМастер | YHub

Хз как люди пользуется OpenRouter По дурости тестили на нем систему, которая на локалках должна будет работать в контуре клиента, и это такая боль: - низкие лимиты у провайдеров - хрен пойми у кого реально есть поддержка structured output, даже если заявлено - а у кого есть, часто некорректная – натолкнулся на имплементацию с сортировкой ключей в алфавитном порядке 🥴 - нет моделей в целевом кванте - в какой-то момент провайдер просто лег на два часа (а другие не поддерживают норм SO для нужной модели, ага) Да, можно сразу тестить на целевой системе, но а) это нужно получать доступ в контур клиента и б) ждать пока одна его карточка все обработает А у нас autoresearch-like флоу, где агенты в 4 потока эксперименты крутят, нам такое не подходит Короче, надо было сразу арендовать GPU и поднимать там, а не страдать херней. Благо это делается в один промпт (если настроено управление браузером):

Codex, сходи через мой браузер на hf и подними мне vLLM на h200 с <model-name> на <context-len> токенов максимального контекста с <concurrency-num> параллельных запросов. Посмотри в документации и на реддите рекомендации по конфигам и проверь, что мои требования вообще выполнимы или предложи трейдоф

P.s. если нужно часто, установите huggingface_hub и дайте токен админский, чтобы агент через браузер не мучался P.p.s. не забываем потом остановить ноду, а то можно без штанов остаться (если хочется автоматически, юзаем scale_to_zero_timeout=20) Альтернативы: runpod.io, modal.com, cloud.ru (не реклама, а зря) Хз, для кого-то это очевидно, но у нас это первый проект, на котором сошлись локальные модели, отсутствие доступа к железу клиента, и огромный трафик autoresearch подхода