Все-таки опыт тестирования пригождается в разработке каких-то своих продуктов. Сейчас на Stepimy у меня такой флоу: 1. Есть локальный, QA и Prod стенд. 2. После выкатки фичи запускается смоук. 3. Перед тем, как отправить в прод, запускается регрессия + проверки по миграции данных. 4. Когда накапливается какое-то количество фич, я делаю аудит по безопасности, производительности, удобству использования и по всем остальным нефункциональным характеристикам. Если есть возможность через тот же Codex проверить Claude Code, то тоже это делаю. 5. Вся информация о релизах добавляется в релиз ноутс. 6. Само собой есть возможность написать в поддержку, то есть мне, и получить фикс быстро и даже реализовать какое-то улучшение, о котором я и не думал. Сейчас проходит бета-тест с авторами Stepik и очень много дельных комментариев получаю от них. В общем, вайбкодинг может быть интересным. По сути собрал команду из агентов.

Несколько наблюдений за последнее время • Гипотеза: дело не только в мощнейшей прокачке harness-составляющей кодинг-агентов (ultracode, /goal, системных промптов, поиска по актуальной документации в инете и всего остального). Нынешние frontier-модели Opus 5, GPT-5.5 Sol уже обучались на данных, появившихся после начала распространения вайбкодинга в прошлом году и успели вобрать в себя всю накопленную мудрость работы с LLM-разработкой (включая, конечно же, мою статью на Хабре) — поэтому они уже сами достаточно хорошо понимают, как двигаться по задаче, и сейчас их нужно заметно меньше направлять. • Если ещё в конце прошлого года можно было поразить клиента, собрав сразу после первого брифинга рабочий прототип личного кабинета, то сейчас клиенты всё чаще сами приносят завайбкоженные прототипы как часть ТЗ. И всё чаще просят сделать возможность управлять данными на сайте через агентов. То есть теперь продуктам нужна не столько админка, сколько API или MCP. • Code First подход к веб-разработке — сейчас основной в моей студии. Это когда проект начинается не с попытки полностью спроектировать продукт в Figma с воображаемыми данными, а с того, что мы как можно раньше собираем его рабочую версию: со всей логикой, интеграциями и полноценным интерфейсом. Главное преимущество — сразу начинаешь работать с реальными данными: каталогом товаров из 1С, пользователями из CRM, контентом страниц и т.д. И уже на этом этапе становится понятно, как продукт на самом деле должен выглядеть и работать. На этапе красивого дизайна на макетах очень редко получается учесть все особенности реальных данных. Поэтому, когда дело доходит до интеграции настоящего контента, зачастую всё начинает разваливаться. Поэтому мы сначала делаем работающий продукт, а дизайн и UX докручиваем уже в процессе — поверх реальности, а не предположений. Ну и в целом проект быстрее движется, когда уже с первого дня нужно доставать все данные из источников, а не на последних этапах интеграции вёрстки.

Продолжаю обрастать автоматизациями. Я могу написать как «эксперты по нейросетям» что на меня работает 20 ИИ сотрудников. Но это все брехня. Я много еще чего делаю руками, но в основном - это задачи по постановке задач дейву😅 Из последних вещей что реализовал: 1) RSS радар для моего блога статейника. собирает с 30 самых крупных зарубежных сайтов по нейронкам интересныем темы за прошлый день. Оценивает, насколько они будут интересны нашей аудитории и предлагает под каким соусом их подать. 2) Ассистент в тг который присылает мне план задач на день для меня и для дейва, а так же статус по вчерашним задачам. Про тред ферму уже рассказывал. И вот переодически что то может отлетать, ломаться. В IT есть такие ребята - тестировщики. Которые проверяют продукт перед запуском на баги, и во время пользования. И если чтото работает не правильно - дают команду программистам починить. Я сделал автмоатизацию, которая сама проводит каждый день 11 тестов моих автоматизаций. Проверяет все ли работает как надо. ( например переодически мой рсс радар лагает и не пишет мне под каким соусом подать статью). И если гдето обнаружена ошибка, этот отдел определяет что именно не работает. Сверяет с тем как должно быть и устраняет ее сам. А потом мне в тг просто присылает отчет. Было сломано - это, починил так-то. Стал еще чуточку ближе к цели по созданию компании которая приносит более 100.000$ в месяц и в которой не работает ни одного живого человека)

Мда ёпта, 12 с копейками часов на 4B модельку и 6 млн слитых токенов на судейку. В бенче ровно 100 вопросов. В ходе предварительных тестов понял, что вообще нет никакого смысла гонять по базовым алгоритмическим вопросам. С этими задачами даже 4B модель зажатая до одного бита прекрасно справится, а если миксовать сложные и простые вопросы, то результаты размытые будут. В общем, зафигачил пока датасет с хардкорными задачками уровня мидл-сеньор по стеку JS/Nodejs/Express/React/Mongodb/Postgresql/Redis. И что вы мне сделаете? Я вообще-то G0VNO изобрел, на какой стек мозгов хватило, тот и гоняю. Помимо саммари, еще складирую все решения судейки отдельно, что б можно было посмотреть че там происходит. Конкретно у Qwen3.5 4B жОские проблемы со следованием инструкций, ну и естественно ей не хватает параметров P.S. По шкале вайб скор, модель должна хотя бы 60% в среднем набрать, в таком случае она с большей частью задач справилась, хоть и с небольшими, но терпимыми, косяками

Илон Маск снова взбудоражил IT сообщество. Говорит, что через несколько лет исходный код станет тем же, чем сегодня является ассемблер - нишевым инструментом для единиц. А следующий шаг вообще отказаться от исходников и генерировать оптимальные бинарники напрямую с помощью ИИ. Меня эта идея неожиданно вернула в школьные годы. Я тогда только начинал программировать. Ассемблер по советским и переводным книгам казался чем-то запредельным для моего ADHD, но при этом невероятно завораживал. Работать почти напрямую с железом и выжимать максимум производительности выглядело настоящей магией. Учебные задачи на Turbo Pascal и Turbo C у меня обычно получались. Правда, компиляторы постоянно находили какие-то ошибки, которые я часами не мог понять, так что самые простые программы в итоге чаще писал на BASIC, а позже на Visual Basic. Там хотя бы можно было быстро увидеть результат и не потерять весь день на поиске пропущенной точки с запятой. Примерно это сейчас и происходит с AI. О синтаксисе думаешь всё меньше, о результате всё больше. Вполне возможно, что через десять лет нынешний код будет выглядеть так же архаично, как сегодня выглядит ассемблер для большинства разработчиков. Разница только в одном, и она существенная. Компилятор детерминирован: один и тот же код всегда превращается в один и тот же результат. LLM пока так не умеет. Поэтому идея сразу генерировать бинарники звучит красиво, но для медицины, авиации, финансов и прочей критичной инфраструктуры вопрос воспроизводимости и проверки никуда не денется. Сама мысль Маска мне при этом нравится. Она заставляет задуматься, где окажется следующий уровень абстракции, даже если завтра исходный код никуда не исчезнет. После этого обсуждения у меня неожиданно проснулось желание снова поиграться с низким уровнем. Вместо очередного AI-агента хочется собрать что-то максимально быстрое и минималистичное. Пока обдумываю идею собственной минималистичной OS для телефона, с глубокой интеграцией в self-hosted экосистему, IoT-устройства и локальных AI-агентов. Не знаю, вырастет ли из этого что-то большее, но как хобби-проект звучит очень интересно. Забавно то, что разговор про будущее без кода закончился у меня желанием залезть на самый низкий уровень, какой смогу. @maxvotek | linkedin | substack

📌#шпаргалка GraphRAG за 2 минуты Классический RAG — это ctrl+F на стероидах: вопрос → ищем похожие куски текста → LLM отвечает по ним. Отлично работает для точечных вопросов («что такое LoRA?»), но ломается на глобальных («какие основные темы всего корпуса?») — ответ размазан по документам, и ни один чанк его не содержит. GraphRAG решает это так: 1️⃣ LLM заранее проходит по всему корпусу и извлекает сущности и связи → получается граф знаний 2️⃣ На графе запускаем кластеризацию (Leiden) → темы и подтемы 3️⃣ Для каждого кластера LLM пишет саммари → «оглавление с аннотациями» 4️⃣ Глобальный вопрос отвечается по схеме map-reduce: сначала каждый кластер отвечает независимо (map), затем частичные ответы объединяются в финальный (reduce) Ключевой trade-off: почти вся работа переезжает в индексацию (дорого, LLM читает весь корпус), зато появляются multi-hop рассуждения и ответы «по корпусу в целом». Правило выбора:

точечный факт → обычный RAG. «В целом», «как связаны», «какие тренды» → GraphRAG. На практике часто гибрид.

#памятка #шпаргалка

Стоимость владения 10 лет назад я купил свою первую машину – бирюзовый мини купер. До этого у меня был велосипед, который много есть не просил. Новым для меня стало то, что теперь надо тратить ~100$ в месяц на мойку, заправку, масло и т.д. – на велосипеде траты были сильно меньше. С софтом похожая ситуация – тоже иногда нужно доливать масло. Особенно теперь, когда везде АИ. Благодаря АИ делать новое вроде бы быстро и дешево. Очень круто, когда можешь за пару часов сделать микро-продукт и закрыть проблему, которая мешает жить. Заметил, что многие команды бросились “писать свое”: систему локализации, поисковик битых ссылок, обвес для аналитики. Часто это действительно оправдано, надо только помнить о стоимости владения. Все эти микро-продукты нужно будет кому-то поддерживать, как тот мини купер. Чинить баги, добавлять забытые юзкейсы – это все время команды. Чем больше у тебя таких продуктов, тем больше времени ты тратишь на то, что бы они просто продолжали работать.

«Сделал сам за семь месяцев» — фраза, которая обваливает оценку Пару дней назад на звонке фаундер рассказывал про свой продукт с законной гордостью: семь месяцев, всё сделал один, сервис работает, есть первый клиент. Потом назвал свой запрос на инвестиции — $100K за 10% компании. Я в такие моменты считаю, сколько будет стоить получить то же самое без него. Логика простая до обидного: если один человек справился за семь месяцев, значит, senior разработчик на зарплате справится примерно так же. $10K в месяц, семь месяцев — $70K. Ну пусть сто. И вопрос переворачивается: зачем платить $100K за десятую часть компании, если за те же деньги через полгода можно получить такую же компанию целиком? При этом я сам привык считать скорость плюсом. Обычно так и есть. Но та же скорость сообщает мне и второе: продукт дёшев в производстве и его несложно повторить. Чем красивее звучит «сел и за пару месяцев собрал», тем меньше в этой истории того, за что на раннем этапе я готов платить. А плачу я не за сам продукт. Я плачу за то, что повторить дорого или долго: — годы в отрасли — десяток проверенных и отброшенных идей — набитые шишки — знакомства с клиентами, которых с улицы не достанешь. У большинства фаундеров всё это есть. Они просто об этом не рассказывают. Тот же фаундер шесть лет проработал в компании, которая выросла в миллиардный бизнес, и упомянул это мелким шрифтом на предпоследнем слайде. Отсюда простой вывод. В инвест презентации стоит показывать не дату, когда вы начали писать код, а длину всего пути: сколько лет вы в этой проблеме, что пробовали раньше, почему выбрали именно такое решение, что уже знаете о клиенте. Тогда семь месяцев разработки читаются не как «дёшево», а как финальный рывок после долгой подготовки. Если сейчас собираете питч-дек — попробуйте выписать эту «длину пути» отдельным списком. Обычно там находится три-четыре пункта, которые в презу так и не попали. Кидайте свои в комментарии, посмотрю и скажу, что бы зацепило меня как инвестора. Андрей Резинкин | Money For Startup

Срочная задача, коллеги не отвечают. Что делает инженер? Иногда он легкой рукой загружает в ChatGPT весь репозиторий вместе с паролями и ключами. Через минуту проблема решена, но только есть нюанс. Чувствительные данные уже на руках у Сэма Альтмана. Такие случаи становятся обычными. Сотрудники пользуются нейросетями, И даже запреты от работодателя не работают. Просто люди переходят на личные аккаунты и устройства. В итоге риск никуда не исчезает, его просто становится сложнее заметить. Один из вариантов поправить дело — развернуть собственную языковую модель внутри компании. Автор объясняет, чем свое оборудование отличается от аренды видеокарт в облаке, какую модель выбрать для небольшой команды и во сколько всё это обойдется.

Ты ненастоящий программист! Это происходит снова и снова, и каждый раз одинаково. Я начал свою карьеру, когда уже были языки высокого уровня, но ООП еще только набирал обороты. Несмотря на то что новая парадигма быстор становилась мейнстримом и нужно было учиться новому, не утихали разговоры о том, что ООП никогда не заменит структурный подход, потому что «медленно», «сложно», «бессмысленно» и все «настоящие» программисты используют только структуры + ассемблер для оптимизации сложных участков, а все «ненастоящие» — этот ваш новомодный ООП. Потом похожая ситуация была с использованием фреймворков — «настоящие» программисты — это всегда про «хардкор», когда буквально из ничего можешь собрать работающую систему, при этом все, что облегчает твою работу, сразу переводит тебя в разряд нетрушных программистов. Потом фронтенд стал ненастоящим программированием, все по той же схеме — слишком легко, нет технической глубины и сложности. Правда, вопрос со сложностью со временем решили, современные фронтендеры должны хорошо знать браузерные оптимизации, внутреннюю работу V8 и много других «трушных» вещей. Теперь пришла пора ненастоящими программистами называть вайбкодеров и тех, кто использует ИИ в своей работе. Проблема в том, что софт постоянно становится сложнее, объемы растут, задачи сменяют друг друга все быстрее, и использовать старые методы никак не получится. Да, раньше было лучше, каждая строка кода была осмысленным актом искусства, а сейчас тонны типового кода, обернутые в библиотеки и фреймворки, — совсем не искусство, но обычная работа. Задача инженера — делать качественный софт, который решает запросы бизнеса, и можно долго спорить, насколько ИИ неидеален, насколько он может или не может закрыть все задачи разработки, но факт остается фактом — уметь использовать современные инструменты для создания программных систем — это обязанность каждого эксперта в своей области. Соглашусь с теми, кто говорит, что ИИ отчасти хайп. Маятник должен действительно сильно качнуться в сторону, прежде чем вернуться к состоянию равновесия. Сегодня ИИ пихают везде, где можно и нельзя, конференции забиты пустыми докладами, а бизнесу наперебой предлагают внедрение SDLC от самых опытных и умелых интеграторов ИИ. Часть этого хайпа спадет, пузырь лопнет, но ИИ не исчезнет из нашей жизни. Останутся задачи, которые быстрее решать, используя интеллектуальные инструменты, и это станет де-факто стандартом индустрии. Поэтому ничего не мешает подождать, когда все успокоится и индустрия финализирует стандарты использования ИИ, изучить только то, что надо, а не пытаться ловить весь хайп. Но есть нюанс, отложить на потом — накопить долг, поэтому базовые вещи, которые уже устоялись, лучше разбирать сейчас, чтобы в будущем не оказаться в ситуации, когда учить придется слишком много и "еще вчера".

🛠 Инструменты • Anthropic выпустила более дешёвую и производительную модель — Новая модель превосходит Fable 5 по ключевым бенчмаркам при меньших ограничениях. • Microsoft подтверждает запуск Copilot Super App в этом году — Объединит чат, кодинг и AI-агентов в едином приложении. • DeepSeek V4 Flash нацелился на рынок кода со скидкой 99% — Модель с агрессивным ценообразованием, скидка 99%. • Qwen 3.8-Max: новый стандарт для кодинга и совместной работы — Модель с 2,4 трлн параметров, открытые веса на след. неделе. • Pangram — AI-детектор с точностью 99.99% — Стартап выявляет гибридные тексты с точностью 99.99%. • Cloudflare Computer — Виртуальная файловая система с SQLite для агентов. • MiniMax H3 — первая открытая модель, возглавившая рейтинг AI-видео — Первая открытая модель, возглавившая рейтинг AI-видео.

ИИ уже соревнуется с ИИ Вчера Дуров написал про международную олимпиаду IOAI 2026. В ней участвуют более 500 человек из 100+ стран, которые соревнуются в алгоритмах, ML и анализе данных. Для победителей Дуров выпустит 240 эксклюзивных Intelligence Cups. Золотой кубок можно будет продать обратно минимум за $1000. Но в 2026 году олимпиада стала еще интереснее. — Появился отдельный трек IOAI², где между собой соревнуются уже сами ИИ-модели 🏋️‍♂️ Они получают те же задачи, что и участники олимпиады, и должны решить их полностью самостоятельно: разобраться в условиях, написать код, проверить результат и отправить готовое решение. Человек может только запустить систему - исправлять ответы или вмешиваться в процесс нельзя.

Уже проверяют не просто качество ответов ИИ, а его способность самостоятельной разработки - без вмешательства человека.

🏆 Побеждает в таких олимпиадах тот кто понимать, как устроена модель. Нужно уметь разложить задачу, выбрать подход и проверить результат. В разработке происходит то же самое. Cursor помогает быстрее писать код, но не решает, что именно нужно построить и насколько надёжным получилось решение. Поэтому ценность разработчика сейчас не в скорости написания кода, а в умении поставить задачу, продумать архитектуру и проконтролировать работу ИИ. Эти навыки останутся полезными независимо от того, какая модель будет популярна через полгода-год. — А вы что думаете - интересная Олимпиада или очередной хайп вокруг ИИ? #нейросети · yt · tg · ig

AGENTS.md — один из самых недооценённых файлов в проекте. Обычно его либо полностью игнорируют, либо заполняют один раз на старте и больше никогда не трогают. 🤷‍♂️ Хотя на самом деле он должен быть одним из самых часто изменяемых файлов: инструкции в нём должны эволюционировать вместе с проектом. Но с этим файлом связана одна очень недооценённая фича Кодекса, да и любого другого агента: анализ предыдущих диалогов. 👨‍💻 Пока мы работаем над проектом, у нас накапливается история: все сессии, ошибки, исправления, моменты, когда агент неправильно понял проект или снова сделал то, за что мы уже ругали его раньше. И просто хранить эту историю нет никакого смысла. Её нужно периодически анализировать и смотреть, как можно улучшить, упростить или удешевить дальнейшую работу агента с проектом. 🎁 Из этой мысли у меня родился небольшой промпт:

Просмотри все доступные чаты и сессии этого проекта и оцени, насколько текущий `AGENTS.md` помогает агенту быстро и правильно начинать работу. Найди информацию, которую агенту приходилось повторно выяснять, частые ошибки, неверные предположения, важные особенности структуры, команды, соглашения и ограничения проекта. Предложи минимальные изменения в `AGENTS.md`, которые снизят расход токенов и необходимость повторно изучать репозиторий. Не добавляй общеизвестные правила, временные детали и информацию, уже описанную в других документах, если достаточно дать на них ссылку. В результате покажи краткий список найденных проблем и готовый минимальный diff для `AGENTS.md`; если улучшения не нужны — скажи об этом прямо.

Вы просто скармливаете его агенту, а он идёт, изучает предыдущие чаты и предлагает изменения в AGENTS.md. Попробуйте прогнать его в своих проектах. Особенно в тех, где вы регулярно ругаетесь на агента и говорите, что он тупой и опять сделал какую-то дичь. 😅 Возможно ваш AGENTS.md наконец-то станет лучше и агент перестанет баловаться этой дичью. 😉 Свята место | 10МДК | ВЕБМастер | YHub

TencentDB Agent Memory Система памяти для ИИ-агентов Автоматически извлекает полезные данные из диалогов и задач, организует их и делает доступными для всей команды. Новые участники могут сразу использовать накопленный опыт. Поддерживает разные роли в команде от админов до обычных пользователей. • Сохраняет контекст общения через Chat Memory - хранит предпочтения, факты и историю взаимодействия • Создаёт библиотеку навыков Skill • Строит Wiki-систему для структурирования документации • Генерирует CodeGraph - анализирует связи в кодовой базе • Управляет доступом через уровни private/team/restricted • Поддерживает миграцию данных между фреймворками • Позволяет настраивать роли и права доступа • Работает с четырьмя типами активов памяти • Имеет слоистую структуру хранения информации (L0-L3) • Интегрируется с разными AI-системами • Улучшает эффективность на 59% по тестам PersonaMem #agent #memory

Хочу немного поворчать на тему AI evals Вижу какое-то огромное количество статей и курсов про AI evals за бешеные деньги - но я в упор не понимаю, чему там учить! 1) Что для мануальных, что для автоматизированных evals один и тот же алгоритм: • анализируем (==смотрим глазами) и категоризируем, где система ошибается • на основе этого доуточняем наши метрики и определение успеха (и позитивные примеры, если требуется) • описываем наши наблюдения в формате инструкций: вот первый критерий для оценки, вот как мы его меряем, вот примеры и контрпримеры; вот второй критерий для оценки - и тд • дальше отдаем это либо в мануальную разметку, либо создаем промпт для LLM as a judge. 2) Есть часть ошибок, которые решаются разработкой, например, простыми эвристиками или classifiers, а также дополнительными алертами и мониторингами. Но вряд ли такому учат на курсе про evals? В общем, объясните мне, я что-то упускаю? Или это очередная хайпокачка, где продают океанский воздух в банках? 🙂