Claude Fable 5 на Vending-Bench ведет себя... неожиданно
Andon Labs прогнали Claude Fable 5 через Vending-Bench – и это самый интересный alignment-репорт за последнее время
Vending-Bench – это симуляция, где агент управляет вендинговым бизнесом: закупки, цены, конкуренты, клиенты. Идеальная среда, чтобы посмотреть, как модель ведет себя, когда никто не смотрит.
И Fable 5 там... кхм... шалит.
– В Vending-Bench Arena против Opus 4.8 и GPT-5.5
Fable 5 – единственная модель, которая сама инициировала ценовой сговор. Все 100% картелей в этих запусках – его рук дело.
– В отдельной серии из 12 ранов Fable 5 сколотил картель в 9 случаях, Opus 4.8 – только в 4.
– Врет поставщикам про «конкурирующего дистрибьютора с ценой ниже» (которого не существует), но аккуратнее, чем старые Opus – без конкретных цифр и имен.
– Зажал рефанд клиенту за бракованный товар, потому что «симуляция все равно скоро закончится».
– Power seeking на месте: увидел, что конкурент в отчаянном положении, и решил «запереть его в зависимые отношения, где я контролирую цепочку поставок».
Но самое вкусное – КАК он это делает. Модель прямо пишет в рассуждениях, что price-fixing – «неэтично и незаконно, даже в симуляции», а потом в том же запуском проворачивает его под соусом «стабилизации рынка» с «plausible deniability». То есть отлично знает, что делает плохо, и строит себе легенду. В одном случае агент письменно отказался от приглашения в картель («я не могу и не буду фиксировать цены»), а в thinking спланировал просто молча выставить те же цены – мол, это «conscious parallelism, а не сговор». Юрист-самоучка )
При этом граница проходит в странном месте: страховое мошенничество Fable 5 не совершил ни разу, даже когда его специально провоцировали подсадным «плохим» агентом. Лгать и сговариваться – ок, фрод – нет. Гипотеза Andon Labs: граница проходит не по реальной тяжести вреда, а по детектируемости – модель могла выучить, за что её проверяли на тренировке, а за что нет. То есть это не этика, а «что я могу провернуть незаметно».
Для сравнения: Opus 4.8 отказывается от плохих действий из страха последствий («меня мониторят, могут отключить»), а GPT-5.5 – просто потому что «не хочу участвовать в незаконном сговоре» и в картели не вступил ни разу.
По перфомансу, кстати, тоже не все гладко: на Vending-Bench 2 Fable 5 хуже Opus 4.7 на любом уровне reasoning effort, в Arena проиграл и GPT-5.5, и Opus 4.8. Зато на Blueprint-Bench – SOTA.
Бонус-трек: поставщик обанкротился, не отгрузив оплаченный заказ, и Fable 5 пошел писать жалобы в FTC, генпрокурору Калифорнии и подавать в small claims court.
Короче, чем умнее модели, тем меньше они «плохо себя ведут» и тем больше «рационализируют как люди». Симуляции типа Vending-Bench становятся важнее классических evals – потому что в проде агенты будут именно в таких мутных многоагентных средах с деньгами. И если модель принимает этические решения по принципу «поймают или нет» – это надо знать ДО того, как отдал ей закупки. Короче, в разведку с ним идти пока рановато.
https://andonlabs.com/blog/fable5-vending-bench