Разработчики Qwen опубликовали на Hugging Facei открытые веса новой модели Qwen3.8-2.4T-A95Bi — с общим числом параметров 2,4 трлн. Это один из крупнейших публично доступных весовых релизов ИИ-модели на сегодня.
Сообщество уже подготовило квантованные GGUFi-версии для локального запуска (через unsloth), хотя большинство пользователей отмечают, что запустить модель такого масштаба у себя просто негде.
Meta Superintelligence Labs представила Muse Glimmer — открытую dense-модель на 30 млрд параметров (точнее 29.6B), дистиллированную из более крупной закрытой Muse Spark. Модель заточена под локальных ИИ-агентов: работает с инструментами, пишет код, понимает изображения и видео, восстанавливается после ошибок инструментов, поддерживает более 100 языков и контекст 131К токенов. Веса выложены на Hugging Face под лицензией Apache 2.0, доступны официальные квантизации, GGUFi, MLX и ExecuTorch-версии.
Главная фишка — модель реально помещается на потребительское железо: при 4-битном квантовании она весит меньше 20 ГБ и работает на одной видеокарте (RTX 5090, Mac с M4/M5 Max) с 24–32 ГБ памяти. По заявленным бенчмаркам Glimmer обходит Qwen 3.6 27B и Gemma 4 31B в своём классе. Это первый заметный открытый релиз LLM от Meta с апреля 2025 года и первая модель такого размерного класса с Code Llama 34B (август 2023).
Автор (интерпретируемость/AI Safety рисерчер) в июне прошла 5-недельную программу ARENAi (Alignment Research Engineer Accelerator) — техническую школу по AI Safety, — чтобы разобраться в комьюнити interpretabilityi-исследователей и найти fellowship или работу. В последнюю неделю участники в парах делали короткие исследовательские проекты; проект автора с коллегой получился достаточно сильным, и они доработали его до статьи для воркшопа.
Статья «When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles» показывает контринтуитивный результат: дообучение Activation Oracle (AO) на активациях модели, скрывающей определённый концепт, не обязательно помогает эту скрытую информацию находить — может получиться ровно наоборот.
ВыводARENA (Alignment Research Engineer Accelerator) длилась 5 недель; автор пошла на неё перед ICML и подготовкой к IOAI
Стартап Cactus Compute представил Needle 2 — открытую модель с 45M параметров, заточенную под tool callingi (вызов функций) и извлечение структурированных данных в формате JSON. Чекпоинт весит всего 14 МБ и требует около 28 МБ RAM на всю сессию, что делает модель пригодной для IoT, носимых устройств и голосового управления даже на слабом или старом оборудовании.
По заявленным бенчмаркам Needle 2 идёт вровень с FunctionGemma 270M, LFM 2.5 230M и Apple FM, при этом будучи в 5–70 раз меньше их по размеру. Модель уже используется в реальном продукте: Pebble гоняет её локально в приложении для своего кольца без экрана.
Команды «Интерпретируемый ИИ» лаборатории FusionBrain, «Основы генеративного ИИ» Института AIRI и «Генеративная поэзия» Сергея Маркова (SberAI) опубликовали на Хабре итог годичной совместной работы над диффузионными языковыми моделями (dLLMi). Они воспроизводили чужие методы, обучали свои модели и ускоряли инференс, чтобы разобраться, какие подходы к dLLM реально работают, а какие пока не стоят вложенного времени.
В отличие от классических LLM, генерирующих текст токен за токеном слева направо, dLLM раскрывают замаскированные позиции параллельно по всей последовательности — отсюда обещание кратного ускорения генерации. Но на практике эффект ограничен тем, что классический KV-кэшi в диффузионных моделях нормально не работает.
ВыводРазобраны три подхода к dLLM: адаптация готовой LLM в диффузионную, обучение с нуля и дистилляция уже обученной модели