IT

Нюансы Fable 5.1 в SWE задачах В системной карточке Fable 5.1 (которая аж на 212 страниц) как обычно можно найти множество интересных инсайтов. Вот что мне показалось интересным: * Нынче один самых важных вопросов - а какой reasoning effort оптимален? Тк мы видим из бенчей, что он напрямую влияет на цену, а значит и на то, как быстро будут уходить лимиты. Кроме того, на некоторых бенчах можно заметить, что более высокий effort ухудшает результаты моделей. Так, например, во FrontierCode (Main субсет) результаты Fable 5.1 после medium не становятся лучше. А если сравнивать medium vs max, то получим 50.9% vs 50.3%, при том, что medium почти в 5 раз дешевле max. Кроме того, в этом бенче Fable 5.1 medium даже вышел дешевле, чем Opus 5 medium, хоть и с чуть более скромным результатом (50.9 vs 53.4), что тоже слегка удивляет. А в карточке Антропик по этому поводу пишут, что на высоком ризонинге фейбл 5.1 начинает делать больше, чем ее просили. И пишут:

Если дополнительно попросить модель быть лаконичнее и не добавлять лишние комментарии или документацию, она реже вносит изменения вне заданного scope. Но опубликованные benchmark-результаты получены без такой дополнительной инструкции.

Напомню на всякий случай, что FrontierCode 1.1 от команды Devin - это один из немногих закрытых бенчмарков. * Результаты Fable 5.1 в DeepSWE v1.1: 67.4%. Но есть важный нюанс: Антропики рапортают, что Фейбл сделала часть задач даже тщательнее, чем того требовало задание, поэтому часть скрытых тестов завалились (стр. 168). * В DRACO (это бенчмарк на диприсерч от Perplexity), опус 5 почти на всех эффортах сильнее Fable 5.1 - вот и думайте) Любопытно, кстати, что у них там Opus 4.6 в кач-ве судьи над Опусом и другими - мб в этом дело. * И ресерчеры из METR говорят, Fable 5.1 особенно сильна, когда у задачи есть понятный фидбек. Но когда надо самому придумать, что проверять, куда копать дальше и как вообще выстроить исследование, всё заметно хуже. Вот вам и long-horzont tasks... Все равно, нужно четко критерии ставить и послеживать, чтобы не дрейфовала. Из забавного: на моей памяти впервые Антропик замерили свои модели на бенчмарке FrontierSWE (ага, еще один фронтир - он, к слову, старее всех остальных фронтиров), это бенчмаре на ультра-большие задачи на десятки а то и сотни тысяч LoC, тем самым как бы легализовав его. Получилось вот так: Fable 5.1 (0.57), Claude Opus 5 (0.52), Claude Fable 5 (0.48), GPT-5.6 Sol (0.32). Что забавного? 1. В первой версии их бенчмарка грок 4.5 как-то оказался выше опус 4.8, при том, что грок 4.5 - модель откровенно слабая. 2. Вторая версия бенчмарка пока недоступна нигде, а ссылка из System Card показыват 404. Видимо, ребята тормозят с релизом. И немаловажный нюанс: cutoff date Fable 5.1 июнь 2026, а Opus 5 май 2026. При этом, знания GPT 5.6 sol заканчиваются на фервале 2026. Что нам с этого? То, что всякие современные знания про разработку агентнов и агентную разработку из коробки будут актуальнее всего у Fable 5.1. А по моему опыту агенты очень плохо пишут других агентов (если они хоть немного нестандартные). Какой я для себя делаю вывод? Для большинства задач в Claude Code, видимо, продолжу использовать Opus medium, для планирования и второго мнения Fable 5.1 medium, а для чего-то особого сложного Fable 5.1 xhigh. @ai_drive

Ахах, привычно Яндекс.Еда оставила меня без ужина. Спустя час после совершения заказа, заказ отменился с объяснением: «Не нашли курьера, извинити». Заказ утилизирован, ресторан закрыт, мне купон на 500 р., после скандала прислали ещё на 1500. Ultima, чо. Причём заказ отменили втихую, не позвонили. Через какое-то время, правда, позвонили и играли три минуты мелодию в трубку. Видимо, для поднятия боевого духа. Господа из Яндекса. Скажите, у вас типа информационный сервис. Вы за свой информационный сервис дерёте с ресторанов кучу денег. При этом не отвечаете вообще ни за что. Ни за еду, ни за доставку, даже блин за информирование клиента. У вас там точно всё в порядке?

Адаптация проекта под LLM Есть два подхода к организации агентного программирования в проекте. Первый это все описывать и заставлять агентов делать все как надо, второй - менять проект под ожидания ии. Обычно в проектах делают и то и то, но сейчас я бы хотел акцентировать внимание на втором. Чем дольше живет проект, тем больше в нем косяков в именовании (чего угодно), кастомных решений и самопальных либ, разных подходов в реализации одного и того же (накопленных за годы). А еще просто банально устаревшие штуки, которые уже давно никем не используются. Раньше мы со всем этим жили, потому что времени на исправления нет, но где-то год назад начали массовые рефакторинги, которые сейчас почти закончены. Правда мне регулярно возражают, что вот у нас так а llm хочет сильно по другому или llm делает фигню. Это правда, llm может делать фигню, но далеко не всегда потому что она училась только на говнокоде. И модель и харнес и много чего влияет, но, глобально, модель учится на типовом коде и ее решения достаточно типовые, поэтому в большинстве случаев можно пренебречь какими-то своими ноухау и быть как все. Что не отменяет элементов, которые приходится делать по другому. Есть и другой поинт, что модель поменяется и захочет делать по другому. Не захочет потому что обучение идет на одних и тех же данных, которых становится только больше. А деградировать ей просто не даст рынок, тогда все уйдут туда где как минимум не хуже. Ключевые вещи которые мы сделал: Там где получилось, привели имена в домене к общепринятым (мы мучали llm отдельно от проекта на тему того какой понятийный аппарат используется в образователей сфере. Может показаться что это фигня, но нет, есть немало слов, про которые мы не то чтобы сильно знали, потому что все это было заложено лет 12 назад, а с тех пор многое утекло. Иногда наше именование не совпадало с общепринятыми (международными) понятиями, а иногда просто все так поменялось, что потерялось изначальное значение. Раньше мы даже взяться за это не могли, а тут без проблем, даже учитывая что один такой пулреквест может тянуть изменения в сотнях, а то и тысячах файлах (спасибо типам и тестам за контроль). Привели в порядок имена слоев внутри кода, у нас типами называлось то что было не типами. В общем привели в порядок имена сервисов, dto и других штук. Иначе llm регулярно делало не те выводы. Да и в целом лучше развели по слоям и уточнили барьеры абстракции, когда есть четкие правила, что может и не может быть входом или выходом на каждом уровне. Например внутрь сервиса может поступать только структура, модели появляются внутри, но не снаружи и тому подобное. Когда единообразие стало повсеместным, генерируемый код стал максимально предсказуемым. Иишка смогла найти готовые решения, благодаря которым мы выкинули немало самопала. Это может выглядеть контритуитивно, но несмотря на то что ии позволяет нахерачить все самим, лучше брать готовые промышленные решения (популярные и стандартные). Это касается как фронтовой части (полностью ушли на Mantine), где теперь мы получаем почти 100 процентный уровень генерации в one shot режиме, так и решения для бекендовых задач, например подписок, которое требует определенной модели данных и предоставляет готовые общепринятые сущности. Плюс постепенное обрастание спеками, проработанными тикетами, глоссарием, adr, коммитамии с хорошими сообщениями, все это вместе дало возможность ии гораздо быстрее и точнее понимать что происходит. На активный рефакторинг ушло чуть больше года, сейчас мы тоже продолжаем доводить, но уже точечно, потому что ключевые вещи поправлены и иишка достаточно хорошо понимает проект. Следующий шаг, это создание и добавление детерминированных инструментов стат анализа, которые чекают достаточно высокоуровневые вещи.

Високосную секунду хотят убрать! Отменить её собирались к 2035 году, но, похоже, не дотерпят. Голосование пройдёт 13–15 октября под Парижем, на 28-й Генеральной конференции по мерам и весам. Что это вообще такое – високосная секунда. С 1972 года в шкалу UTC 27 раз вставляли лишнюю секунду, чтобы атомное время не убегало от вращения Земли, а крутится планета не идеально равномерно. Последний раз так делали в 2016-м. Проблема в том, что компьютерным системам минута из 61 секунды не нравится совсем. Речь про энергосети, связь, финансы и интернет. И выкручивается каждый по-своему: Google «размазывает» лишнюю секунду по всем суткам, кто-то добавляет её целиком в конкретную минуту, а часть бирж просто сдвигает время торгов, чтобы в этот момент не работать. Но настоящая причина спешки другая. С 2015 года Земля крутится быстрее — это связывают со сдвигами течений в жидком ядре. Значит, следующая поправка может оказаться отрицательной: секунду придётся не добавить, а пропустить. Такого не случалось никогда. Вероятность до 2035 года оценивают в 30%, а во что это выльется для критической инфраструктуры, предсказывать никто не берётся. Что предлагают взамен. Впервые в истории ввести високосный час. Шкалы будут выравнивать, только когда они разойдутся на 3600 секунд, а это сотни, если не тысячи лет. Аргумент простой: перевод стрелок на час люди и так переживают ежегодно в странах с летним временем, механика знакомая. А финансовые системы через тысячу лет, будем честны, будут устроены совсем иначе. @vselennayaplus

📹 GLM 5.3 Flash на личных автоматизациях Два дня работы на GLM 5.3 Flash — и я готов вынести вердикт. Сначала я на неё забил, потом понял, что она обходится мне как компании в полтора-два раза дешевле 5.3, работает быстрее — и решил начать на ней экономить. В этом ролике тестирую её не на игрушечных задачках, а на реальной автоматизации своего YouTube-продакшна: приложение, которое само нарезает исходники из OBS, генерит прокси для DaVinci Resolve, вытаскивает таймкоды и подключает всё это к проекту. Цель — записать видео, нажать одну кнопку, уйти домой, а утром получить готовый проект для монтажа. Что в ролике: 🔹 Моя кухня продакшна: OBS, 8 мониторов, мультикам в DaVinci, прокси-файлы (100 ГБ → 4 ГБ) 🔹 Как GLM 5.3 Flash писал FFmpeg-скрипты нарезки — кадр в кадр, без рассинхрона звука 🔹 Работа через скиллы: task-creator готовит ТЗ, task-solver реализует по одной задаче 🔹 Electron-приложение: экстрактор таймкодов, прогресс-бар конвертации, подключение к DaVinci 🔹 Честные фейлы: зависания, 5 заброшенных копий приложения и 12 минут мучений с багом Видео по ссылкам тут: 📹 YouTube | VK | Rutube | Dzen 📹

VibeCoded AI-Slop License v1.0 Кто-то наконец написал честную лицензию для кода, который написала нейросеть по смутному промпту. Гист на GitHub разрешает делать с софтом что угодно - без спроса, без указания авторства, без объяснений. Автор прямо признает: он мог не писать код, не читать код, не тестировать код и не заметить, что половины зависимостей не существует. Пункт про качество отдельного упоминания достоин: софт может "выглядеть рабочим, тихо делая что-то совсем другое", содержать функции с именами вроде processData2FinalNew и архитектурные решения, принятые потому что "нейросеть сказала - надежнее сделать так" Гарантий и поддержки нет. Если задеплоил в прод не читая - это было твое решение #news #coding VK | MAX

Если вы читаете текст, в котором кто-то делает прогноз про AI на следующий год - не верьте. Никто толком не понимает, куда все катится. Скажем, еще год назад вроде все было понятно: есть LLM-ки, которые можно встроить в чат и получить свой ChatGPT. Встроить в бизнес и получить автоматизацию. Это открыло новые возможности. Компании начали интенсивно пытаться интегрировать это в свои процессы, их лидеры начали вещать про AI трансформацию компаний, а инженеры - гундеть про галлюцинации, борьбу с ними и необходимость evals. А потом в декабре 2025 все это пошло по бороде. "Внезапно" Coding харнесы (Claude Code + Codex) стали настолько мощными и самостоятельными, что теперь даже человек без высшего образования может сделать продукт без LLM под капотом, как-то задеплоить его и начать зарабатывать. Что и говорить о людях с опытом. И эффект тут перекрывает с головой потенциальный эффект от внедрения от LLM в бизнес. Просто потому, что для встраивания LLM в процесс - нужно иметь этот самый процесс, в который стоит встроить (а это встречается не так часто) и экспертов и эвалы. А вот для того, чтобы накодить агентом небольшое приложение кому-то в помощь - многого не требуется, достаточно идеи и отсутствия тормозов. Точек применения тут куча! Потенциальных последствий (как хороших, так и бардака). И что самое ужасающе-потрясающее - это не прогноз, а уже произошло. Как все еще раз встанет с ног на голову еще через полгода - не может предсказать никто. Но все очень хотят) Ваш, @llm_under_hood 🤗

Ну что, заценили на выходных геймплей GTA 6? Как по мне, самая мощная киллер-фича (в ролике её не показали, а зря) - это возможность отобрать у прохожего пакетик с собачьии какахами и закинуть им в кого-нибудь. Рокстары сами это подтвердили на студийной экскурсии. Ради такого стоило ждать 13 лет, да 👍 Ладно, если серьёзно, геймплей крутой. Картинка сочная, лока гигантская, механик много, в общем ждём. Но не менее сочной была история анонимуса по кличке CYBERLEEK, который две недели сливал реальный геймплей GTA 6. Причём сливал жёстко - целыми кусками и с важными сюжетными спойлерами. А заодно раскрутил на этом полноценную темку-схемку-суета с щиткоином. Вот как это было: 1. 18 августа CyberLeek выкладывает первые ролики геймплея, следом - карты локаций Леониды. Это вымышленный штат-пародия на Флориду, чей Vice City = типа Майами. Это локация игры. 2. Многие начинают подозревать, что чел ловко нарезал какие-то фрагменты с прошлых стримов, но через пару дней он дал пруф. Персонаж под его управлением выбил пулями "Leek" прямо на стене. То есть, чел реально катал в полноценную играбельную сборку GTA 6 и выкладывал её куски. Ещё по внутри-игровому радио в тачке крутили трек певицы Тейт МакРей, который вышел недавно. 3. Апогеем стал слив тюремного пролога Люсии (одна из двух играбельных персонажей), где показали её флешбеки. Это был первый важный сюжетный спойлер, а не просто покатушки-пострелушки и карты локаций. Самое смешное в этой истории вот что. Cyberleek завернул всё это дело в высокоморальную обёртку. Потребовал у Рокстаров отменить цифровые предзаказы, убрать платный DLC поверх контента, который и так на диске, и дать офлайн-режим для одиночной игры. Какой благородный маленький бунтарь, вы только гляньте! Но параллельно, буквально в тот же день, он запустил токен $CYBERLEEK на Solana и привязал к нему голосовалку за следующие сливы. Чтобы проголосовать за следующую тему - нужно было отправить ему его же монету на нужный счёт. В моменте капитализация щиткоина долетела до $25 млн. Да, кстати, все сливы и голосования шли в его тг-канале, поэтому многие решили, что Cyberleek - русский хакер (ну конечно, кто ж ещё будет такими гнусными вещами заниматься). Но аналитики скорее ставят на немца или швейцарца (как же так?). И вообще, скорее всего он не хакер, а инсайдер. Либо что-то среднее. Нечто похоже уже происходило: в 2022 году 17-летний парень из Lapsus$ (это хакеры, но с фокусом именно на социальную инженерию) получил доступ к внутреннему Слаку Рокстаров и слил инсайды про GTA 6. Сейчас, судя по уровню доступа (не видео с чужого стрима, а управление в полноценной игре) сделали что-то подобное. Возможно, кого-то из Рокстаров развели, а может слил кто-то из подрядчиков (над такой масштабной игрой много кто успел поработать). Кончилось тем, что Телега всё-таки снесла канал Cyberleek, суд обязал Microsoft и Discord раскрыть данные устройств и аккаунтов, но самого чела ищут до сих пор. А он тем временем обналичил токен на $ 250 тыс. за пару часов до официального показа геймплея на Netflix, после чего скам-монета резко улетела к хренам. Сами Рокстары вышли с душещипательным заявлением, что у команды от сливов "разбито сердце". Но люди, которые шарят за игровой рынок настроены чуть более скептично. Они в своей массе считают, что убытков особо не будет. Сливы в Телеге посмотрели крохи. И даже те, кто посмотрел, всё равно купят игру в ноябре. А Netflix, где транслировали официальный геймплей на 6 часов раньше Ютуба, в день показа вообще упал от нагрузки 🤔 Короче говоря, GTA 6 получила бесплатный пиар-инфоповод и лишний раз чётко показала свою культурную значимость. Так что, вероятно, анонимус им только услугу оказал. С другой стороны, у Rockstar остаются вполне реальные репутационные и юридические издержки - так что от уютного приземления на тару для напитков товарищ Cyberleek, думаю, всё равно не отвертится. Дизраптор