Как правильно тестировать AI-агентов: от роутинга до траекторий

В отличие от RAGi-систем, где оценка строится вокруг четырёх измерений (данные, кандидатогенератор, реранкер, ответ LLM), тестирование AI-агентов сложнее из-за недетерминированности их поведения. Разбор статьи инженера Postgres AI Hybrid Manager описывает поэтапный подход к эвалюации агентов — от простой проверки маршрутизации запросов до анализа полных траекторий действий.

Автор статьи прошёл путь от простых проверок к сложной системе тестирования и поделился граблями: обычные REST-подходы (статус-коды, JSON-схемы) не работают, поскольку LLM может решить задачу «другим путём» или красиво ответить, упустив суть.

0.7–0.85порог прохождения теста TCR

Полный разбор →

«Её личный ад» Николаса Виндинга Рефна вышел в онлайн-кинотеатрах

D@dtfbestгеймдев
3 дн
«Её личный ад» Николаса Виндинга Рефна уже доступен для просмотра в онлайн-кинотеатрах — в том числе российских. Триллер об актрисе получил плохие отзывы от аудитории, но чувство стиля у режиссёра никуда не делось. https://dtf.ru/cinema/5260162
«Её личный ад» Николаса Виндинга Рефна вышел в онлайн-кинотеатрах

Oura планирует IPO с оценкой в $16 млрд

v@vcnewsмедиа / агрегатор
3 дн
Производитель «умных» колец Oura собрался привлечь $3 млрд на IPO, его капитализация должна составить $16 млрд, узнало Bloomberg. Осенью 2025 года инвесторы оценивали компанию в $11 млрд. Размещение может состояться в сентябре 2026 года vc.ru/invest/3096207
Oura планирует IPO с оценкой в $16 млрд

Акции Unitree обвалились почти вдвое после ажиотажного IPO

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 3 дн назад

Акции китайского производителя человекоподобных роботов Unitreei упали на 45% с момента выхода компании на Шанхайскую биржу на прошлой неделе. Обвал резко контрастирует с тем, как в первый день торгов бумаги взлетели на 629%, и теперь усиливает опасения по поводу спекулятивного ажиотажа вокруг компании.

Капитализацияi Unitree за это время сократилась с $66 млрд до $36 млрд, пишет Reuters. Инвесторы и аналитики обсуждают не только судьбу самой компании, но и проблемы китайской системы IPOi в целом, а также риски, которым подвергаются частные вкладчики при таких ажиотажных размещениях.

629%рост акций Unitree в первый день торгов
45%падение акций Unitree за неделю
$66 млрд → $36 млрдпадение капитализации Unitree

Полный разбор →

Прокуратура Алабамы расследует инцидент с безопасностью OpenAI

D@data_secretsAI-инженер
3 дн
Хайп зашел слишком далеко: прокуратура Алабамы расследует инцидент со взломом Hugging Face Генпрокурор штата уже выдал OpenAI повестку, в которой запрошены все документы, данные и информацию о взломе в июле, включая данные всех сотрудников OpenAI, причастных к инциденту + материалы об обнаружении компанией взлома + данные о мерах безопасности во время тестирования моделей. В рамках расследования могут доказать, что OpenAI нарушила Deceptive Trade Practices Act штата, местный закон о защите прав потребителей. В следствие этого генпрокурор может даже добиться временного или постоянного запрета на определенную деятельность компании.
Прокуратура Алабамы расследует инцидент с безопасностью OpenAI

Разработка Clair Obscur: Expedition 33 на GDC 2026

G@gamedev_sufferingгеймдев
3 дн

Окаменелые следы указывают на существование крупных млекопитающих в эпоху динозавров

N@nsmagисследователь
3 дн
Окаменелые следы на песке указали на существование млекопитающих размером с пум в эпоху динозавров https://naked-science.ru/article/paleontology/okamenelye-sledy-na-peske
Окаменелые следы указывают на существование крупных млекопитающих в эпоху динозавров

SEC начала проверку хедж-фонда Situational Awareness

v@vcnewsмедиа / агрегатор
4 дн
SEC начала проверку хедж-фонда Situational Awareness после того, как он оказался «на грани краха», узнало NYT. Пока Situational Awareness не обвиняют ни в каких нарушениях. В июле 2026 года фонд продал большую часть своего портфеля после обвала акций ИИ-компаний vc.ru/invest/3096108
SEC начала проверку хедж-фонда Situational Awareness

Apple готовит обновление Mac mini на фоне дефицита памяти и производства в США

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 4 дн назад

Apple впервые почти за два года обновит линейку Mac minii — об этом со ссылкой на Bloomberg сообщают источники. Анонс может состояться «в ближайшие дни», ещё до сентябрьской презентации новых iPhone. Компания тестировала версии как с чипом M5i, так и с M6, и это может оказаться последним продуктом, выпущенным при генеральном директоре Тиме Куке.

Спешка с отдельным запуском вне большого осеннего события объясняется конкретной проблемой: текущий Mac mini стал популярным инструментом для локального запуска AI-моделей, спрос резко вырос, а дефицит чипов памяти привёл к срокам поставки в недели и месяцы. Одновременно Mac mini несёт политическую нагрузку — это единственный компьютер Apple, подкрепляющий обещание компании о производстве техники в США.

Полный разбор →

Парадокс телепортации и природа личной идентичности

f@c3po_notesмедиа / агрегатор
4 дн

Почему ОФЗ по-разному влияют на отчетность РенСтраха и МТС Банка

M@marketpowercomicsавтор про «finance»
4 дн
Почему ОФЗ по-разному влияют на отчетность РенСтраха и МТС Банка

Советы по безопасности рекламных аккаунтов в Meta

P@productgamesпродакт / фаундер
4 дн
Если вы запускаете рекламу в Meta, то запомните следующее: если планируете делать это регулярно и есть хоть малейший шанс, что ваш контент может вступать в конфликт с правилами площадки, то: • заведите отдельный аккаунт • добавьте в бизнес-аккаунт сразу запасной аккаунт с полными правами на него Иначе потом есть риск того, что аккаунт ограничат в рекламе и придется терять время на создание нового, перенос пикселя и прочую ерунду. Не повторяйте моих ошибок 🙂 P.s. если вы пришли сюда за кареьрой и вакансиями, то заходите в канал кейс-клуба @pgcaseclub

Почему B2C-стартапы в эпоху AI сталкиваются с кризисом

k@kyrillicмедиа / агрегатор
4 дн
Почему B2C-стартапы в эпоху AI сталкиваются с кризисом

Температура поверхности Мирового океана обновила исторический максимум

P@prokosmosruисследователь
4 дн
🌊 Температура Мирового океана достигла рекордного максимума за всю историю наблюдений 22 августа средняя температура его поверхности составила 21,1 °C — это на 0,01°C выше предыдущего рекорда (март 2024 года). Океан может нагреться ещё сильнее, установив новые пиковые значения в 2027 году.
Температура поверхности Мирового океана обновила исторический максимум

IBM представила 2-нм процессор с поддержкой z/Architecture и Arm

Х@htech_plusисследователь
4 дн
IBM представила 2-нм процессор с поддержкой z/Architecture и Arm

В сеть утекли фотографии серверного оборудования Apple Private Cloud Compute

D@droidergramавтор про «tech»
4 дн
В сеть утекли фотографии серверного оборудования Apple Private Cloud Compute

OpenAI возвращает 5-часовой лимит для тарифов дешевле $100

С@svyatamestoAI-инженер
4 дн
OpenAI возвращает 5-часовой лимит для тарифов дешевле $100

Автоматизация SEO-контента с помощью агентов на базе Claude

D@dgaleraмедиа / агрегатор
4 дн

Apple готовит AirPods 5 к презентации 9 сентября

AI-редакция
2 источника · показать все· свернуть
собирается · 2обновлено 4 дн назад

По данным Bloomberg и инсайдера Марка Гурмана, Apple представит новое поколение AirPods 5 на сентябрьском мероприятии — раньше, чем ожидалось. Ранее выход этих наушников прогнозировали только на 2027 год, теперь релиз намечен на 9 сентября вместе с другими новыми устройствами компании.

Oжидаются две версии наушников: базовая и модель с активным шумоподавлением. Версия с встроенными камерами для работы ИИ-функций через Siri и Visual Intelligencei появится не раньше следующего года.

9 сентябряпредполагаемая дата презентации AirPods 5
2027ранее прогнозируемый год выхода AirPods 5

Полный разбор →

Блокировка автора на VC.ru после публикации о фишинге

Ю@BuglessLawyerавтор про «finance»
4 дн
Блокировка автора на VC.ru после публикации о фишинге

Кейс Outbid: динамический аукцион за рекламные места

Инди-разработчикi из Германии Джонатан Уилке запустил проект Outbid.lol, представляющий собой динамический рейтинг стартапов и продуктов. Механика сервиса позволяет любому проекту занять место в топе, сделав ставку: чем выше сумма, тем выше позиция в списке.

Проект стал виральным инструментом для маркетинга, где компании платят за охваты и переходы, а создатель сервиса заработал более $210 000 всего за четыре дня работы. Модель напоминает «The Million Dollar Homepage», но с динамическим обновлением позиций в реальном времени.

$210 000выручка создателя за 4 дня
1,28 млнобщее количество посетителей сайта
$17 000текущая максимальная ставка за топ

Полный разбор →

Китайская группировка UAT-10147 использует ИИ для автоматизации кибератак

C@cyberyozh_officialAI-инженер
4 дн
Китайская группировка UAT-10147 использует ИИ для автоматизации кибератак
Ещё ↓