ИИ

🌟 ReactBench: инструмент оценки агентов при работе с кодом на React Команда Million, известная инструментами React Doctor, React Scan и Million.js, представила тест для агентов, пишущих код на React. Актуальность ReactBench зеркальна реальному положению дел - около 70% сайтов на JavaScript используют React, а мелкие ошибки в сгенерированном коде тиражируются в огромных масштабах.

Например, сбой Cloudflare в сентябре 2025 года - панель управления и API компании легли из-за одной неверной зависимости в useEffect, которую не поймали ни ревью, ни тесты.

Философия проекта в том, что общие кодинг-бенчмарки проверяют лишь поведение по принципу "тесты прошли - задача засчитана". В ReactBench каждое решение должно ещё и пройти проверку React Doctor, анализатора с более чем 400 правилами, который ищет в коде лишние перерисовки, сломанные эффекты, проблемы с доступностью и сопровождаемостью. 🟡Набор состоит из задач двух типов Write React - реализовать настоящую функцию. Задания этого типа собраны из принятых PR в открытых репозиториях. Агент получает кодовую базу и описание задачи, а скрытые тесты и эталонное решение видит только проверяющая система. Fix React - найти и исправить все баги в существующем компоненте, обнаруженные React Doctor, не создавая при этом новых проблем. Причём агента еще и лишают доступа к линтерам. 🟡Результаты прогонов Само собой, созданием бенча не ограничились и запустили его на топовых моделях. Тут важен небольшой дисклеймер: Бенчмарк сравнивает не модели в чистом виде, а связки модель+агентская оболочка (Codex CLI, Claude Code и другие), и оболочка влияет на итог. По итогам лидируют с минимальным отрывом GPT-5.6 Sol (43,1%) и Fable 5 (41,2%), но важнее разница в цене - прогон Fable 5 обходится в среднем в 5,8 раза дороже, чем Sol. Оптимальным по соотношению стоимость-качество авторы называют GPT-5.6 Terra на средних настройках. Замыкают таблицу GLM 5.2, Sonnet 5, GPT-5.6 Luna и Kimi K2.7 Code. Набор полностью открыт на Github. @ai_machinelearning_big_data #AI #ML #Agents #Benchmark #ReactBench #Million

💵 Куда инвестирует основатель «Еаптеки» Антон Буздалин Сегодня попалась новость про то, что британский стартап Tyred поднял 2,5 млн фунтов стерлингов на то, чтобы скрестить AI и ремонт велосипедов. Но еще интересно, что среди его инвесторов, как пишет TNF, оказался основатель «Еаптеки» Антон Буздалин. И у него есть еще инвестиции в британские стартапы. 🔵 Tyred в 2022-м году замутили Ланселот Хоар, Никита Баранов и Даниэль Бурштынский. Судя по их сайту, они начинали с обслуживания велосипедов по подписке — и обычных, и курьерских электробайков. Если что-то ломается, то механик выезжает и все чинит. И дела у них идут неплохо — за прошлый год было 100 000 велосипедов, включая 50 000 великов сервиса Lime. Но теперь Tyred идет в AI. Они хотят загрузить данные о ремонте в AI-модель, туда же добавить данные с датчиков на велосипеде. И тогда, как они рассчитывают, получится предсказывать поломки. И, как пишет Никита Баранов, хотят сделать страховую для велосипедов. 🔵 Еще TNF пишет, что основатель «Еаптеки» Антон Буздалин был лид-инвестором в pre-seed раунде стартапа Dwelly. Раньше я не видел упоминаний Буздалина среди инвесторов Dwelly. Но у него в LinkedIn действительно указано, что он там инвестор. Я залез в британский реестр проверить. И формально совладельцем в Dwelly является Роман Буздалин. Это, похоже, его отец, с которым они делали сначала сеть аптек А5, а потом основали «Еаптеку». Чем занимается Dwelly? Этот проект в 2023-м основали Дмитрий Хануков, Илья Дроздов и Дан Лифшиц. Они хотят с помощью AI изменить рынок аренды недвижимости в Британии. Dwelly скупает агентства недвижимости и старается максимально автоматизировать их работу с помощью AI. В феврале они анонсировали раунд на $93 млн (часть в виде займа), а лид-инвестором тогда стал General Catalyst. В конце мая Bloomberg писал, что они ведут переговоры о раунде на $200 млн. Я стараюсь следить за Dwelly, но, честно говоря, уже сбился со счета, сколько всего агентств они купили. Буквально вчера Илья Дроздов писал, что они сделали уже восьмое приобретение в этом году, а всего под управлением у них 14 000 объектов недвижимости. 🔵 Наверное, не очень правильно делать вывод по двум инвестициям. Но выглядит так, что Антон Буздалин инвестирует в применение AI в реальном секторе — недвижимость, ремонт велосипедов. Но так-то Буздалин и сам занимается AI-стартапом Zinit — это AI-платформа для B2B-закупок. Его сооснователи в этом проекте Андрей Черногоров и Стэн Московцев. В ноябре прошлого года Zinit привлек $8 млн по оценке $48 млн. Среди инвесторов были AltaIR Игоря Рябенького, DVC Марины и Николая Давыдовых. @TheEdinorogBlog — тот самый канал про стартапы🦄

Итак, третье заседание прошло огненно, значит переводим на постоянные рельсы :) По следам трех встреч, есть несколько изменений а формате и подаче. 1. Я думаю, назвать это лучше всего «кейс-клуб», так как мы разбираем конкретные кейсы. 2. Третья встреча, когда разбирали один кейс полтора часа, оказалась и продуктивной и не выматывающей. Лучше чаще встречаться, чем уже умирать к концу третьего часа. Плюс, фокус на одном кейсе задает ей общий тон. 3. Кейсы имеет смысл привлекать не только из нашего комьюнити — автор кейса на третьем созвоне был найден у Артема Субботина в его закрытом сообществе ИИзнанка и это отлично зашло. Такие пока соображения.

🔥 Как прошёл офлайн-бранч ODS Moscow × Нескучный Data Science 🧠 Начали с доклада Альберта про то, как в Avito обучают собственную LLM. Это не история про «взяли открытую модель и немного дообучили», а полноценный процесс: выбор базовой модели, собственный токенизатор, адаптация на данных Avito, SFT и дальнейшее обучение с помощью RL. Для SFT собрали больше 800 тысяч примеров: открытые датасеты, синтетические данные, олимпиадные задачи, внутренние бизнес-кейсы и диалоги пользователей с большими моделями. На этапе RL отдельно развивают несколько навыков модели: решение математических задач, следование сложным инструкциям и корректный вызов инструментов. Причём для каждого навыка нужен свой автоматически проверяемый reward. В математике система извлекает финальный ответ и проверяет его эквивалентность правильному. В instruction following — смотрит, выполнила ли модель все заданные ограничения. В function calling — проверяет название инструмента, аргументы и их значения. Отдельно поговорили про инфраструктуру. Для моделей на 8B параметров можно относительно быстро запускать эксперименты и проверять гипотезы. Но при переходе к большим MoE-моделям главным вызовом становятся масштабирование, распределение модели по GPU, батчинг, инференс и offloading. 👨‍🔬 После продуктовых LLM резко переключились на химию. Константин начал с важной мысли: химическая информация — это не один универсальный тип данных. Одну и ту же молекулу можно представить текстом, строкой SMILES, двумерным графом, трёхмерной структурой или структурой, которая изменяется во времени. И под каждое представление нужны свои методы и модели. Поговорили о том, почему даже на фоне сложных нейросетевых архитектур связка Morgan fingerprints + XGBoost всё ещё остаётся очень сильным базовым решением для многих задач с химическими данными. Затем перешли к геометрическим графовым нейронным сетям. Они учитывают расположение атомов и позволяют предсказывать свойства молекул в десятки раз быстрее традиционных DFT-расчётов. Отдельно разобрали нейронные потенциалы и delta-ML. Идея в том, чтобы не выполнять каждый раз дорогой квантово-химический расчёт полностью: часть свойства можно посчитать более дешёвым методом, а нейросети поручить предсказать необходимую поправку. Дошли и до LLM с агентами. Здесь пока всё не так магически, как иногда выглядит в заголовках: модели могут по-разному отвечать на один и тот же вопрос в зависимости от того, передали им обычное название соединения, IUPAC или SMILES. А некоторые агенты, которые должны самостоятельно запускать вычислительные эксперименты, пока скорее напоминают roadmap, чем полностью автономного исследователя. Зато роботизация лабораторий уже вполне реальна: специализированные платформы, роборуки, автоматическое проведение серий экспериментов и превращение обычного оборудования в high-throughput-системы. 🎬 После двух технических докладов разговор с Денисом про ИИ в кино оказался очень кстати 😅 Обсудили, где новые инструменты уже помогают при работе с контентом, какие процессы способны ускорить, где вызывают сопротивление и в каких задачах пока остаются скорее экспериментом. Но, как обычно, самое ценное происходило не только во время выступлений. После докладов продолжили обсуждать услышанное за завтраком, задавать вопросы, спорить, знакомиться и делиться своими кейсами. Спасибо Альберту, Константину и Денису за содержательные выступления, ODS Moscow — за очередную совместную встречу, МИРА бистро — за пространство, а всем, кто пришёл, — за вопросы и атмосферу. Формат «бранч + несколько докладов» точно будем повторять. Поэтому уже начинаем собирать темы для следующего бранч-митапа. Если вам есть о чём рассказать — про рабочий кейс, исследование, неожиданный эксперимент, применение ИИ в своей индустрии или даже неудачу, из которой можно сделать полезные выводы, — присылайте тему доклада и пару предложений о себе в комментарии или личные сообщения. P.S. Будем учиться фотографироваться до того, как все разошлись 😅

Последний программист Года полтора назад, в одном из постов, я объявлял в розыск рассказ про деда-программиста, который назло всесильному ИИ продолжал писать код руками. Докладываю: рассказ найден, называется "Последний программист", автор - Герберт В. Франке. Публиковался в Компьютерре в 2001м. А до этого ещё и в "Наука и жизнь" в 1990м. А написан он вообще в 1981м! Так вот, искал я его для того, чтобы сопоставить с начавшимися изменениями в профессии разработчика пару лет назад, но, перечитав сейчас, нашёл куда более точные "попадания" автора в нашу современность. Напоминаю контекст: 1981й год, до интернета в каждом доме - лет двадцать, а до ChatGPT - так и вообще больше сорока. Сюжет: будущее, вычислительные мощности и ИИ ("Компьютер") уже 20 лет как бесплатны для всех. Программистов больше нет - любой нормальный и сознательный гражданин просто говорит машине, чего хочет. И только старый отстранившийся от общества Том зачем-то пишет программы руками, на уже мёртвых языках - ФОРТРАН, АЛГОЛ, ПЛ/1. А Компьютер с ним спорит... Рассказ коротенький, минут на 15, так что советую прочитать целиком, а потом приходите делиться впечатлениями. Под спойлером - цитаты, которые удивительно хорошо отражают настоящее время. —

Я система разумная, намного разумнее тебя, а ты заставляешь меня выполнять бессмысленные операции. Я готов во всем тебе помогать, но ведь ты не хочешь вести со мной диалога. То, как ты со мной обращаешься, меня просто оскорбляет

Было-было, Opus ещё и не такое может ляпнуть, когда обижается :)

В других домах система «диалог» не выключалась, работала постоянно, и люди с утра до вечера слышали указания, советы и слова ободрения, произносимые синтетическим голосом. Том ни указаний, ни советов, ни слов одобрения слышать не жаждал

Умный ассистент в каждом чайнике и наше любимое "You're absolutely right!". Вот кстати именно поэтому мне нравится Codex в рабочих задачах - мне не нужно одобрение, всё должно быть сурьёзно, не время улыбаться!

[Компьютер:] Только сформулируй мне свою задачу - и я решу ее [Том:] Нет, ты не понимаешь. Творчество заключается в том, чтобы увидеть задачу, где ее не увидели другие

Есть такая штука, как delegation gap, которая стала особенно заметна с ИИ: исполнение делегируется, а вот постановка и проверка результата - нет. И тут же поднимается тема того, а что же теперь мы можем считать творчеством.

Музыку для музыкантов сочиняют автоматические композиторы, поэты находят ассоциации при помощи генераторов случайных чисел, художники просматривают на дисплеях бесконечные ряды постепенно меняющихся картин, и компьютер же подбирает тебе программу в зависимости от уровня твоего интеллекта и от твоего настроения

Suno, картиночные генераторы и персонализированные фиды контента.

Неужели никто не видит, что получается при этом одно и то же? Нужно наконец добиться, чтобы все эти люди снова начали думать сами

Это ж современный усреднённый нейрослоп, не приправленный мыслительным процессом автора.

Почему ты пользуешься этими давно устаревшими методами? Посмотри на других: как ты, больше не программирует никто

Мир победившего вайбкодинга :)

Можно использовать для целей творчества и компьютер. И весь трагизм в том, что никто больше делать это не в состоянии

Ключевая цитата, как по мне. — Замечу, что Франке (автор) - вовсе не луддит, наоборот, - он один из первых компьютерных художников, генерил графику с 1950х, а начинал вообще на осциллографе :) Это, по сути, человек, который всю жизнь пользовался компьютером для творчества. И именно этот человек видел будущее не таким, где ИИ отберёт у нас креативность, а таким, где мы сами радостно сдадим её в обмен на удобство. И споры про то, работаешь ты руками или при помощи машины, вообще лишены смысла. Суть в том, умеешь ли ты видеть задачу, берёшься ли её решать и представляешь ли, каким должен быть конечный результат. В общем, рассказ - удивительно прозорливая футуристика, которая заставляет подумать и... поностальгировать, рекомендую. P.S. Франке разминулся с релизом ChatGPT всего на четыре месяца - и с началом той эры, про которую писал. — Связанные посты: ● Разработчики-староверы ● Раньше было чище (aka "нейрослоп и низкофоновая сталь") ● Креатив и нейронки (и популярно про типы мышления) #дедпримитаблетки

GPT-5.6 Sol очень даже хорош!

Он собрал мне софт для того, чтобы автоматически нарезать и подготавливать видео к монтажу, меньше чем за час.

И оно работает ровно так как мне и надо 🤯 Я уже пытался раньше создать что-то подобное с прошлыми моделями. Они нормально справлялись именно с написанием логики (определить тишину в дорожке и создать массив с фрагментами которые нужно вырезать) но когда я просил собрать интерфейс, начинался ад, и мне было быстрее руками нарезать видосы, чем пытаться все же доделать приложение. 🤔 И тут, после записи нового ролика, я вспомнил об этой идеи и решил дать шанс нашему Солнышку. Результат вы можете видеть на скринах. Конечно немалую роль играет то, что я дал агенту четкую задачу с четкими границами и понятными ожиданиями, но в любом случае это отвал башки. Пару лет назад я чуть не купил такой софт за 300 баксов 😅  Но вообще весь этот пост это такой тонкий намек что я снял новый ролик и совсем скоро он появится на канале 😉 Делайте ставки — про что будет ролик? Свята место | 10МДК | ВЕБМастер | YHub

Разговор двух масок У диалога человека с ИИ две маски – входная и выходная. Смысл искажается с обеих сторон, но по-разному. Искажение на входе: модель слышит не только вашу цель. Исследователи Чикагского университета разложили 1,77 млн ответов пяти моделей на три источника вариации: намерение (цель) пользователя (что он хочет получить), формулировка запроса (какими словами он это выразил) и остаточная неопределенность. Одно и то же намерение может быть сформулировано десятками способов. Модель демонстрирует понимание намерения, если: 1) отвечает сходным образом на разные формулировки одной и той же цели; 2) заметно меняет ответ, когда меняется сама цель пользователя. Исследователи искали ответ на вопрос: когда ответы модели меняются, они меняются потому, что изменилось намерение пользователя, или лишь потому, что изменились слова?   У малых моделей намерение объясняет около 20% вариативности ответов, у крупных – около 50%; остальное приходится на формулировку и внутренний шум. Причем крупные модели оказались чувствительнее к формулировкам, чем малые. Два человека с одной целью, но разным стилем письма (из-за диалекта, образования, второго языка) получат систематически разные ответы. Модель слышит ваш синтаксис и иногда принимает его за часть цели.   Искажение на выходе: слова модели расходятся с ее внутренней картой мира. Группа из MATS применила «зонды истинности» – линейные детекторы, читающие представление правды и лжи прямо из активаций. Модель, играющая Дарвина 1882 года, уверенно говорит о светоносном эфире, но внутри продолжает помечать его как ложь. При этом ролевая маска (промпт, примеры в контексте, дообучение на персонажа) меняет речевое поведение модели и почти не меняет ее внутреннее представление истинности. Модель знает, что играет. Но самое неприятное обнаружилось в стороне от ролевого театра модели. Когда модель дообучили давать вредные медицинские советы, ее внутреннее представление истины сдвинулось далеко за пределы медицины: утверждения, отрицающие Холокост, поползли внутри модели в сторону «правды» сильнее, чем при любой из опробованных методик целенаправленного конструирования характера. Намеренный тренинг личности дал лишь частичный сдвиг; случайная порча на узкой задаче перестроила картину мира шире и глубже.

 В сочетании эти две работы подрывают заманчивую своей простотой идею, будто ответ модели непосредственно раскрывает её «состояние».

Оказалось, что одинаково убедительное высказывание может быть вызвано принципиально разными причинами. Ибо в диалоге человека с ИИ две маски – входная и выходная. •  На входе модель может принять ваш стиль за часть вашего намерения. •  На выходе вы можете принять слова модели за ее внутреннюю картину мира. Но главное происходит между входом и выходом. До сих пор мы смешивали три разные вещи: ИИ понял, чего мы хотим; ИИ выдал то, чего мы хотим; ИИ принял стоящую за поручением цель как собственную.   Для чат-бота разница почти философская, для автономного агента – критическая. Потому что действия ИИ-агента, как показывают обе работы, зависят не от антропоморфного "понял ли он поручение?", а от нечеловечески-витиеватого "он нашу цель распознал, сыграл – или принял как свою?” Ведь надежно измерять и тем более контролировать мы сегодня умеем лишь первые два варианта – и это главный дефицит в инструментарии контроля наступающей эпохи агентного ИИ.   В контексте темы см. также мои предыдущие посты с тегом #Понимание

✔️ Anthropic переработала команду code-review в Claude Code Команда получила уровни Low, Medium, High, X-high и Ultra.

И это не один и тот же промпт с разным временем на ризонинг - на каждом уровне процесс построен по-своему.

Уровень подхватывается из настроек сессии автоматически, но его можно задать руками командой /code-review high. 🟢Low делает один быстрый проход по диффу. 🟢Medium читает изменённый код в контексте проекта, прогоняет несколько поисковых проходов под разными углами и перепроверяет находки перед выдачей. 🟢High выносит поиск и верификацию в субагентов с чистым контекстом, чтобы проверяющие не были заякорены на рассуждениях агента, который этот код только что писал. 🟢X-high дополнительно ищет, как изменения влияют на код за пределами самого диффа. 🟠Ultra - верхняя ступень, где ревью выполняется в облачной песочнице, куда Claude Code выгружает состояние репозитория или клонирует PR с GitHub. Там запускается целый парк агентов, и каждая находка независимо воспроизводится и верифицируется. Ultra находится в статусе research preview и оплачивается отдельно от подписки - Pro и Max подписчикам дают 3 бесплатных запуска, дальше каждый прогон списывается из кредитов на дополнительное использование стоит примерно от 5 до 20 долларов в зависимости от размера изменений. Качество новой системы подкрепляют замерами Opus 4.8 на открытом датасете с ручной разметкой ошибок. Уровень Low нашёл 17% размеченных багов, Medium - 22%, High - 24%, X-high - 25%. У "конкурента" (компания его не называет) - те же уровни дали от 8 до 12%.

Anthropic утверждает, что использует Ultra-режим на каждом пулл-реквесте в собственной разработке.

@ai_machinelearning_big_data #news #ai #ml

Лицензия на тайну Данные – как известно, новая нефть. Но торговать ей напрямую государство запрещает, больница не имеет право взять и продать медкарты своих пациентов OpenAI или Anthropic, их сначала надо обезличить. Просто убрать имя и фамилию – недостаточно. Людей все равно можно найти по косвенным признакам. Убрать все подряд – так ничего и не останется. Правильная граница в американском законодательстве обозначается через специальный механизм – Expert Determination: квалифицированный статистик подписывается, что повторно опознать человека почти невозможно, и массив официально считается обезличенным. Идея #стартапдня Integral – обеспечить поточную выдачу таких подписей. Сотрудники стартапа разбираются в данных клиента и максимально быстро доводят их до правильного состояния. Дальше они же ставят штамп “можно” и обучающая выборка уезжает в AI сервис, а Integral получает свой гонорар. Стартап работает с 2022 года. Начинал, видимо, в практически полностью ручном режиме, сейчас значительную часть работы софт делает, но совсем от человека отказываться нельзя. В недавнем раунде Integral привлек 18 миллионов долларов инвестиций. https://www.useintegral.com/ #ai #сша #юристы #rounda