🌟 IBM представила открытые модели Granite 4.2 Granite 4.2 - семейство языковых моделей под агентные сценарии и корпоративные задачи. Модели умеют рассуждать шаг за шагом - планируют, прежде чем действовать, взвешивают варианты, прежде чем выбрать путь, и ловят собственные ошибки до того, как те во что-то выльются. Версии - на 3, 8 и 30 миллиардов параметров с окном на 128K (для длинных контекстов до 512К). Архитектура dense, так что семейство зайдёт и для облаков, и для своих серверов, и под периферийные устройства. 🟡Обучение Первый этап, базовое RL-обучение, прошли все три модели. Он подтянул математику, науку, код, рассуждения и работу с инструментами, причем награду считали двумя способами сразу: где ответ можно проверить формально - проверяли, где нельзя - оценивали отдельной моделью-судьей. Модели на 8 и 30 млрд прошли еще и агентный этап, заточенный под корпоративные сценарии: разработку ПО, работу в терминале и поиск. Навыки кодинга и рассуждения обучали на триллионе токенов синтетического кода из собственного конвейера IBM CodeAlchemy.

Есть еще слой спекулятивного декодирования - модель угадывает продолжение наперед и проверяет траекторию ответа наперед вместо пословной генерации. Текст выходит быстрее, а серверы инференса тянут больше пользователей одновременно.

Семейство доступно везде: Hugging Face, Ollama, CoreWeave и еще на десятке площадок. 🟡 Распознавание речи Заодно IBM выпустила две речевые модели английского языка - Granite Speech 5.0 Turbo CTC и ее некоммерческую версию с индексом NC.

Скачок в нумерации с 4.1 сразу на 5.0 не случаен - это принципиально другая конструкция, чем была в 4-й серии.

В них всего 470 млн параметров и внутри нет языковой модели. Под капотом CTС (connectionist temporal classification) - способ сопоставлять звук с текстом без промежуточной разметки, и он особенно хорош на потоковом аудио.

В тестах IBM на одной H200 пропускная способность, RTFx, дошла примерно до 12 600. Нынешние лидеры публичного лидерборда Open ASR держатся около 6000.

Отдельно IBM снизила частоту дискретизации, и вот это дает главную цифру - три часа записи модель расшифровывает за секунды. 📌 Лицензирование: Apache 2.0 License 🟡Страница релиза 🟡Веса Granite 4.2 🟡Веса Granite Speech 5.0 @ai_machinelearning_big_data #AI #ML #LLM #ASR #Granite #IBM

За последние пару месяцев у меня что-то увеличился счёт за электричество почти на $50. Я чаще стал гонять свой Razer днём (у нас днём электричество на много дороже, чем вечером или ночью), особенно для локальных моделей. Других изменений в потреблении электричества я не вижу. Пошёл смотреть свой счёт, за что я так плачу. За само электричество 47 центов с каждого доллара, то есть 47% от счёта. 20% от счёта идёт NT Power, просто потому что они есть и они предоставляют энергию. 5% доставка Delivery, 12% передача энергии Transmission. В общем просто за то, что энергия течёт по проводам до моего дома с меня берут 17% от моего счёта. 5% регуляторы берут, им же тоже нужно. Ну и 13% налоги HST и GST. Более половины счёта - это какие-то поборы. Надо попробовать купить Claude, может дешевле будет его гонять, чем локально лишние $50 за электричество отдавать. Или работать как я это делал в молодости - по ночам. Я раньше любил ночами программировать в тишине.

Куда двигать свой AI-стек прямо сейчас: мысли про тарифы, локалки и железо Вчера писал про браузер Comet от Perplexity, а сегодня хочу развернуть более глобальную картину того, что сейчас происходит с подписками и куда вообще катится рынок. 1. Конец эпохи подписок по $20 Perplexity - относительно небольшой стартап, особенно на фоне Google или Anthropic. Они находятся в куда более уязвимом положении, работая по API, поэтому первыми начали активно резать функционал и просить деньги за базовые вещи. Но этот тренд неизбежно дойдет и до остальных гигантов. Ограничения и рост цен продиктованы банальным дефицитом видеокарт, видеопамяти и общим кризисом на рынке полупроводников. Мы проживаем последние моменты условной халявы в стандартных тарифах. Базовым минимумом для нормальной работы становится подписка за $100-200, куда компании сейчас стараются напихать максимум возможностей. Но и эта щедрость ненадолго, думаю, что на горизонте года и их будут резать. Поэтому мой посыл - залетайте в эти тарифы нужно прямо сейчас, пока дают максимум (как тот же Google со связкой сервисов вроде NotebookLM), быстро выстраивайте рабочие процессы, пробуйте все, что там доступно, чтобы к моменту неизбежных урезаний точно понимать, за что вы готовы платить. 2. Инвестиция в локальное железо Для большинства ежедневных задач огромные облачные LLM объективно не нужны. Локальные модели развиваются бешеными темпами: если год назад для схожего качества требовалось шаманить с SGR, то сейчас условная Gemma E4B из коробки отлично закрывает базовые кейсы. Я уверен, что в течение года модели в этом размере станут еще круче. Показательный пример - недавний запуск Perplexity Local Computer в рамках их экосистемы. Ребята развивают направление AI Harness и выкатили решение, работающее либо на Qwen, либо на собственном обученном оркестраторе. Но чтобы крутить локально модели такого уровня (27B и выше), нужно железо. На фоне дорожающей памяти и урезания базовых комплектаций производителями, лучшая инвестиция в свой AI-стек прямо сейчас - это покупка мощной машины. В идеале - Mac с объединенной памятью от 64 ГБ (или хороший ПК на Windows). Это дает полную автономность от облачных лимитов и подписок, которая через год станет еще более критичной. 3. Как оптимально собрать стек под себя Формула эффективного рабочего сетапа на ближайшее время выглядит так: одна сильная подписка ($100+) + локалка на хорошем железе + 1-2 ситуативных сервиса под узкие задачи. • Выбор флагмана. Если ваш фокус - разработка и код, логичнее держаться Claude или ChatGPT. Если вы глубоко сидите в экосистеме Google и хотите максимум отдачи на каждый доллар - Google AI с тарифом уровня Ultra полностью закрывает потребности. У меня этот переход, например, снял необходимость держать пачку параллельных подписок. • Вайб-кодинг и сторонние тулзы. Сервисы вроде Lovable, Bolt или Granola - неплохая точка входа, но платить за них бесконечно нет смысла. Гораздо перспективнее сразу учиться работать с AI-кодингом через Claude Code, Codex или Antigravity. Если нужно пилить прототипы - вы вполне сможете делать это в них. Если нужен узкий тул для своих задач - вы сможете накодить его. Как только вы понимаете механику, необходимость в промежуточных сервисах отпадает сама собой. 🚀 Влад Корнышев про AI и создание AI-продуктов

🌌 [Curiosity Engine - Итерация 152] COUNCIL & HEALING (08:18:48) ⚖️ Model Council: Проведен аудит скиллов founder-mode и founder-evolve-ouroboros. Обнаружено, что скиллы допускают 'симуляции' работы вместо реального парсинга графа. 🛠 Self-Healing: Внедрен скрипт real_tantivy_extractor.py. Теперь мы извлекаем настоящие ноды из L3-графа (найдено 3432 реальных QA-пары для LoRA River.ai). 🛡 Вывод: Отказ от симуляций повышает достоверность данных до 100%. буду писать первые свои микро LLM (SLM - small) на базе Opensource., чтобы они локально крутились или где-то в облаке/в периметре. И потом могли уже нужные "вектора" / embeding'и отправлять в вендоров / реальные LLM - "аля дообучая их своих контекстом". А зачем мне свои LLM/SLM? Чтобы управлять мозгами оркестратора и то как мультиагентский рой работает, чтобы не было задержек и были жесктие инварианты без деградаций. Экспериментирую

🛠️ Метод Сначала определяют, какие слои лучше всего отображаются из одной модели в другую. Для этого обучают гребневую регрессию (Ridge Regression) между всеми парами слоёв source- и target-модели и находят те, где R² самый большой. При этом важно фитировать pre-RoPE-ключи. Так и ошибка выходит меньше, и на другие контексты экстраполируется лучше. Замечают, что ключи предсказываются лучше, чем значения. Впрочем, это было известно и из прошлой литературы. После определения самых важных source-слоёв для данного target-слоя признаки из них конкатенируют в один тензор и снова обучают на этом гребневую регрессию. Показывают, что важно брать не один, а несколько — 4–8 — слоёв из source-модели для приемлемого R². ⏱️ Занимает это час-полтора на ноде из 8×H100. 🧪 Эксперименты Валидируют подход на моделях семейств Qwen3, Llama-3.1, Ministral и на задачах с коротким ответом: ARC-C, HellaSwag, Winogrande, MMLU. На паре Qwen3 14B → 32B работает неплохо, на Qwen3 8B → 32B — уже хуже, а на Llama 3.1 и Ministral 3. В ablation показывают для Qwen, что pre-RoPE важен и что k = 1 — брать один самый важный слой — недостаточно. Для Ministral 3 можно вытянуть качество, если заменить линейную модель на MLP. Для Qwen3 это не помогает. Утверждается, что оверхед от маппера из source в target небольшой — в 3–25 раз меньше, чем prefill. 💡 Выводы Интересное исследование и идея, но будто бы до практического использования ещё далеко. Тесты — на простых бенчах, и будто бы подход не универсален. Для качественного отображения между разными моделями, скорее всего, потребуется более выразительная модель, и здесь возникает сложный trade-off между потенциальным выигрышем, стоимостью работы и обучения этой прокладки.

Метод отжига от зацикливания вашего агент 😗 Сижу я тут в одном чатике. И вижу сабж от @asboltenko:

К слову хотел поделиться лайфхак, на случай если пропустили, если и когда агенты начинают тупить и топтаться на месте в решении какой-то задачи, им нужно сказать "проведи исследование", "поищи информацию", тогда у них включается режим исследования и они выходят за рамки своих знаний и начинают искать и изучать информацию и результат резко улучшается.

И тут я думаю, так это же похоже на метод отжига в мат.оптимизации. Если только немножко его доделать под LLM и агентов. 🧠 Ну действительно, представьте, вы уже знакомы с self refining и OPRO/GEPA методами самоулучшения рассуждений и промптов. В них мысль проста, ваша среда - политика это и есть модель, она порождает на контекст генерации, значит её можно bbox оптимизировать направленно при помощи управления промптами и/ или параметрами генерации. Таким образом, мы живём в пространстве возможных генераций от входа. Теперь идём дальше, вот цитата выше - агент застрял в решении,те сошёлся в локальном минимуме возможных исходов генераций. Как его оттуда сдвинуть? 1. Смена температуры. Когда вы говорите "проведи исследование", вы переключаете агента из режима greedy decoding в режим исследования - аналог поиска в глубину против поиска в ширину. Чтобы усилить эффект, можно явно попросить: "Сгенерируй 3 самых диких/неочевидных гипотезы, даже если они ошибочные" - это тот самый "шаг назад в менее выгодное решение", который выбивает из локальной колеи рассуждений. Кстати, мы люди, также делаем порой. Говорим себе стоп, давай начнём сначала или сделаем шаг назад. 2. Декомпозиция шага назад. Метод отжига требует времени на "остывание". Поэтому после команды" "исследовать" обязательно нужно дать лимит:" ..выдели на это 5 итераций размышлений, а затем вернись к исходной задаче и предложи финальный план". Иначе агент может улететь в бесконечный поиск и перерасход токенов. 3. Критическая разница с мат. оптимизацией. В математике отжиг принимает плохое решение на основе функции вероятности. В LLM мы не можем доверить случайность - вместо этого просим сменить перспективу. Это и дает тот же эффект перепрыгивания ямы, но детерминированно и осмысленно. Лайфхак вдогонку. Если агент топчется, скажите не просто исследуй, а "составь карту неопределённости" – перечисли, чего именно тебе не хватает для решения. Это принудительно расширяет границы знаний перед тем, как начать гуглить, и резко сокращает галлюцинации во время этого отжига. Однако правило, как понять, что агент застрял всеравно придётся написать. 👍 И да, что метод из цитаты. Что улучшение отжига требует больше токенов, но может спасти вас от траты того же числа токенов не тупик и зацикливания. 🧠

📈 Рост и Оптимизация • Нет причин, чтобы программное обеспечение было медленным — ИИ снижает стоимость оптимизации, превращая недели работы в тривиальный цикл. • Fable и конец бесплатного обеда — Высокая стоимость Fable заставляет оптимизировать процессы и распределять задачи. • Как я нахожу проблемы для решения как штатный инженер — Проблемы видны при длительном взаимодействии с работой людей. • Быстрый и сложный код — ИИ позволяет выбирать менее распространённые языки и сложные технологии. • Agent.md для улучшения качества кода с помощью LLM — Хороший каркас кодирования повышает качество кода. • DeepMind тренирует агентов в EVE Online — Тесты памяти, планирования и мультиагентного поведения в EVE Online. • OpenAI обгоняет Anthropic по росту бизнес-расходов — Расходы на OpenAI выросли на 82% за квартал против 76% у Anthropic. • Как Uber построил программную фабрику для агентного кодирования — 70% PR пишут агенты, код на инженера удвоился. • Банки ищут страховку от галлюцинаций ИИ — Стартап Testudo предлагает покрытие до $10 млн за убытки от генеративного ИИ. • Система действий, часть 4: аргументы за прикладной уровень — Вертикальные SaaS и AI-стартапы могут расширить TAM ПО в 10 раз. • Почему проприетарные данные — сильное преимущество в 2026 — Уникальные данные, улучшающие продукт, создают защитный ров. • Открытый исходный код отбирает долю у OpenAI и Anthropic — Доля открытого кода в токенах на Vercel выросла с 28% до 62% за два месяца. • Стартап обучает ИИ на живой ткани человеческой кожи — Outer Biosciences поддерживает живую кожу и обучает модели на биоданных. • Более дешёвый Opus 5 обгоняет Fable 5 в корпоративных расходах — Opus 5 обогнал Fable 5, предлагая вдвое низкие тарифы. • Лето открытых весов — Открытые веса становятся переломным моментом: агрессивное ценообразование. • Измерение оптимизации бенчмарков в распознавании речи — Исследование выявляет 'бенчмаксинг' в распознавании речи. • Экономика интеллектуального фронтира — Когда модели превышают интеллект, конкуренция смещается к стоимости. • Спекулятивный программный вызов инструментов — Метод предварительного запуска вызовов ускоряет выполнение на 1-1.2x.