Speko – OpenRouter для голосового AI Вчера попался интересный проект, который как-то хотел сделать сам :) Ребята из стартапа YCombinator сделали один API, за которым 60+ голосовых моделей, и роутер, который сам выбирает лучшую под язык и задачу. Что внутри: – 61 модель и 10 языков в бенчмарке; на платформе 16 STT, 16 LLM и 17 TTS. Русского в бенчмарках нет, есть европейские и индийские (сразу видно, откуда фаундеры), но можно самому потестить все модели (в списках есть все сотня языков) – говорите «оптимизируй под точность / задержку / цену», указываете язык и регион – роутер сам подбирает модель и в ответе честно пишет, кого позвал – 1 ключ, API совместим с OpenAI, из коробки заводится в LiveKit и Pipecat, есть TS, Python и MCP – тарифы: +5% к прайсу провайдера за роутинг либо $0.09/мин all-in за весь стек STT+LLM+TTS. На старте дают $100 кредитов, то есть можно обпробоваться по полной и потом если что уйти к исходным провайдерам – сам шлюз выложен в опенсорс под MIT – можно поднять у себя Но самое конечно интересное - поковыряться в бенчмарках :) https://benchmarks.speko.ai/ Пишут, что на 9 языках чтобы быть в топе надо использовать 4 разные модели (согласен с этим, аналогично было для перевода текстов у intento). Надергал вам скриншотов оттуда, куча данных для сравнения. Практически везде лучшие результаты не у популярных моделей, а у например qwen ASR или inworld, так что сравнивайте обязательно. Ещё пара фактов оттуда же: 95% продовых голосовых систем до сих пор каскадные (STT → LLM → TTS), а не end-to-end. Ну собственно поэтому они и делают сравнение 3 разных подсистем, а не end2end (за что им прилетело кстати на hackernews). Еще из прикольного - сравнение в реальном времени или на файлах. Вот например можете проверить всех провайдеров, которые заявляют русский - https://benchmarks.speko.ai/compare/stt?lang=ru&scenario=ru-support Советую! Будут крайне неожиданные результаты чаще всего :) Короче, очень понравился сайт. Прям кладезь инфы и тестов про голосовые модели. https://speko.ai

🌟 Cohere Labs выложила компактную зрительно-языковую модель North Micro Vision Модель на 2,4 млрд параметров стала самой маленькой в линейке VLM компании. От большинства таких моделей она отличается тем, что работает с изображением в исходном разрешении.

Обычно картинку перед подачей в модель сжимают, и мелкий текст, разметка таблицы и подписи на графике при этом теряются. Здесь пропорции сохраняются, а верхняя планка соответствует странице A4, отсканированной при 200 dpi.

Отсюда и заявленная область применения - документы, таблицы, графики, скриншоты, формы. Компактный размер удобен для дообучения под свою предметную область, а квантованные сборки, по словам Cohere, пойдут не только на сервере, но и на ноутбуке или устройстве мобильного класса. 🟡Архитектура Зрительный энкодер на 400 млн параметров вырос из SigLIP 2 и держит исходное разрешение за счёт двумерного RoPE вместе с обученными одномерными позиционными эмбеддингами. Языковая часть - собственная North Micro LLM на 2 млрд параметров, повторяющая архитектуру Command A+: три слоя внимания со скользящим окном и RoPE чередуются с одним глобальным слоем, который работает вообще без позиционных эмбеддингов.

Получается разделение труда - окна с RoPE держат локальный контекст, глобальный слой смотрит на всё сразу и в разметке позиций не нуждается.

Между ними проектор, и здесь изюминка. Вместо того чтобы отдать языковой модели один готовый набор признаков, Cohere подмешивает эмбеддинги патчей с нескольких уровней зрительного энкодера в соответствующие ранние слои языковой модели. Так модель видит картинку сразу на разных степенях обобщения. Принцип взят из DeepStack. 🟡Тесты Замеры проводили через VLMEvalKit, сравнивая с восемью моделями размером от 1,6 до 5,1 млрд параметров. Сильнее всего North Micro Vision выглядит там, куда её и целили.

На DocVQA 0,921, на ChartQA 0,808, на AI2D 0,775, на RefCOCO 0,732 (втрое выше, чем у Ministral и Qwen3-VL).

Общий язык и рассуждение даются слабее.

На MMMU 0,329, худший результат в таблице; на MMLU и MMLU-Pro модель тоже уступает большинству соседей.

📌Лицензирование: Apache 2.0 License. 🟡Статья 🟡Модель 🟡Демо @ai_machinelearning_big_data #AI #ML #VLM #NorthMicroVision #Cohere

📅 TL;DR недели 33 Попробуем такую рубрику для занятных Неделя открытых весов: три релиза подряд, и каждый по-своему про то, что фронтир протекает вниз. Meta первой за полтора года выложила открытую модель — Muse Glimmer 30B, dense, Apache 2.0, заточенная под локальный запуск. Я потратил на неё день на MacBook Air M5 и написал большой текст: 7 квантизаций, линейная кривая скорости, спекулятивный декодер DFlash, который вместо обещанного ускорения дал −60%, и неожиданный пол по размеру файла, на котором ломается модель «всё решает пропускная способность». DeepSeek тихо, без ивента и блог-поста, подменил алиас на V4-Pro-0813. Архитектура та же, всё интересное в посттрейне: Terminal-Bench 2.1 с 72 до 88, DeepSWE — рост в пять раз. При цене $0.435/$0.87 это примерно 57× дешевле Fable 5 за 0.1 пункта разницы. Оговорки важнее цифр: бенчмарки вендорские и мерялись собственным харнессом, независимый AA Index даёт 53 против 63 у Opus 5, зрения нет вообще, а цены обещают поднять. В тот же день харнесс открыли под MIT — разобрал его отдельным лонгридом. Qwen выкатил сначала 2.4-триллионный Max, а следом то, чего все ждали — 3.8-27B. Apache 2.0, 262K контекста, ~17 ГБ в четырёх битах, то есть одна потребительская видеокарта. Сравнивать его с прошлым поколением скучно, поэтому сравнил с GPT-5 годичной давности: на одном снапшоте индекса даже апрельский 3.6-27B уже обгоняет флагман августа 2025. Если заявленные цифры 3.8 переживут независимую проверку — это уровень Gemini 3.1 Pro и Opus 4.6 дома за стоимость электричества. Плюс Grok 4.7 с удвоенными лимитами в Cursor и Grok Build, а в выходные смотрели — четырёхчасовой видос про ffmpeg Пишите, что вы думаете про такой формат. #TLDR @techn0danya

🔥 Kimi K3 на 2,78 ТРИЛЛИОНА параметров запустили на CPU с 8 ГБ RAM. Без GPU, BLAS и фреймворков Проект kimi-k3-in-c реализует inference Kimi K3 практически с нуля на portable C99. Чекпоинт модели занимает 1,56 ТБ, но пик RAM при запуске составил всего 8,24 ГБ. Фокус в MoE и стриминге весов. Из 896 экспертов на токен выбираются только 16, а остальные веса не обязаны постоянно лежать в оперативной памяти. Огромная часть модели читается прямо с диска, поверх этого работает LRU-кэш экспертов. Цена такого трюка очевидна: скорость. При 8 ГБ RAM автор получил около 26,5 секунды на токен, при 64 ГБ уже 19,8 секунды, а на машине с 128+ ГБ, где нужные данные помещаются в память, около 5,6 секунды. Получается любопытная смена ограничения: гигантскую MoE уже можно заставить работать без серверной фермы. Вопрос теперь скорее в том, сколько диска и времени на токен вы готовы отдать за такой inference. github.com/FareedKhan-dev/kimi-k3-in-c #AI #Kimi #LLM #C #LocalAI

Сколько на самом деле стоит сессия в Claude Code – разбор от Anthropic Интересный пост от Anthropic с полезными советами, как экономить токены в Claude Code. Как устроена цена токена Запрос проходит через GPU в две фазы. Prefill – модель читает весь контекст (системный промпт, CLAUDE.md, ваше сообщение, все файлы и выводы команд). Decode – модель пишет ответ, по одному токену за раз: ответ на 200 токенов – это 200 прогонов модели подряд. Поэтому output стоит примерно 5x от input. Дальше кэш. Если запрос начинается с тех же токенов, что и предыдущий, сервер не пересчитывает состояние, а достаёт из кэша – это 0.1x от цены input. Запись в кэш дороже (до 2x), но пишется один раз, а читается на каждом ходу. Claude Code управляет кэшем сам, но его легко сломать: – /model посреди разговора – у каждой модели свой кэш, весь разговор перечитывается по полной цене (opusplan, кстати, переключает модель при каждом входе-выходе из plan mode) – /effort – уровень усилий тоже часть ключа кэша, та же история – Fast mode – включайте в начале сессии, ре-префилл идёт по ценам fast mode; выключение обратно бесплатно – время – кэш живёт час на подписке и 5 минут на API-ключе (ENABLE_PROMPT_CACHING_1H=1 растягивает до часа); вернулись после обеда – платите за перечитывание всего разговора Почему длинные сессии дорогие Ничего не отправляется один раз. Каждый прочитанный файл и вывод каждой команды переотправляются на каждом последующем ходу до конца сессии. Ход №40 тащит с собой все 39 предыдущих. Кэш делает это дешёвым, но дешёвое – не бесплатное, плюс модель вынуждена думать поверх мусора. Отсюда практика: – начинайте новую задачу со свежим контекстом, с /clear – старайтесь всякие команды использовать с минимальным выводом (не просто чтение каждой строчки файла выдавать) – будьте конкретными. «Тесты падают» вместо «почини тест в @utils.test.ts» – это grep, несколько открытых файлов, и всё это висит в контексте до конца сессии. @упоминание вообще убирает Read-вызов: файл прикрепляется к сообщению до отправки – вывод больше 30 000 символов Claude Code сам уносит в файл и оставляет превью. Проблема – всё, что меньше: тест-раннер с 400 строками passing tests влезает под лимит и остаётся навсегда. – /context в свежей сессии показывает, что загружено до того, как вы напечатали хоть слово – CLAUDE.md, определения MCP-инструментов. Можно проверить заранее. Ненужный MCP-сервер отключается через /mcp – /rewind вместо /compact, если надо отрезать последние неудачные ходы – бесплатно, кэш до них цел. /compact переписывает весь разговор и всегда что-то стоит, причём до перерыва сильно дешевле, чем после (пока старый разговор ещё в кэше), поэтому прежде чем пойдете попить чайку - сделайте /compact. Сабагенты - отдельный контекст со своим системным промптом, но без вашего разговора. Обратно возвращается только ответ, всё остальное выбрасывается. Для мелких задач – лишние траты (сабагент перечитывает то, что основная сессия уже знала). Окупается на задачах с большим выхлопом – разбор логов, например. Можно дать шумной задаче своё определение сабагента с model: haiku, иначе она крутится на модели основной сессии. https://claude.com/blog/maximizing-the-value-of-your-claude-code-sessions