ИИ

Про совсем компактные модели Мне нравится идея крутить локальные модели, но не нравится идея забивать всю память ими. Мне всегда казалось, что самый лучший способ сделать подобную edge модель — попробовать создать что-то, что будет достаточно умным, чтобы мочь делать выводы из данных, но не иметь собственных знаний. Да и зачем модели собственные знания, когда есть тривиально настраивающийся поиск в интернете и тулколлинг? Мои коллеги из AIRI подумали о том же и сделали Optimal Cognitive Core, про который я уже писал — затюненные reasoning версии Qwen-3-0.6B и Qwen-3-1.7B, которые оптимизированы под работу с внешним контекстом и RAG. Модели в целом подходят под мои требования к железу — веса занимают 1.2 и 3.4 гб в их родном BF16, ещё столько же на длинный контекст (так как это Qwen3, там GQA, это вам не модный нынче гибрид), итого, с пивком потянет. Другой вопрос, что эти модели слишком малы, чтобы быть применимыми для general purpose задач — всё таки это 600M и 1.7B dense. В этом размере обычно бывают забавные попугаи, который могут делать парафразу или простенькую классификацию после файнтюна, но не более. Следующий способ ужать модель в память моего MacBook Air M4 — использовать квантизацию. Тут отличились PrismML, сделав Bonsai-27B, бинарный- и тернарный кванты Qwen-3.6-27B. 27B модель в тернарном кванте занимает всего 7.2 гб после запуска инференса и вполне себе бегает на маках. К сожалению, Qwen-3.6-27B это dense модель, так что на моём маке она уж совсем медленная — если верить тому, что я нашёл в сети, генерация там будет в районе 13-14 токенов в секунду, чтение контекста — 100-150 токенов в секунду. Кроме того, это QAT (или вообще PTQ, подробностей мало), причём который скорее всего не затачивали на русский — так что я не ожидаю, что итоговая модель за пределами своего калибрационного сета/сета, на котором делали QAT сможет показать что-то интересное. Буквально в ответ на Bonsai появился Maple-Preview. Это 20B A1B MoE, которую специально затачивали под локальный инференс на маках ещё на этапе проектирования архитектуры, обучая свою модель с нуля в тернарной точности — то есть это не квантизация чьей-то модели. В итоге, получилась модель размером в 5.31 гб, 7.5 гб с учётом 131к контекста — почти в полтора раза меньше, чем бинарный квант Bonsai — который выдаёт аж 218 токенов в секунду на M4 Mac Mini и 127 токенов в секунду на iPhone (каком — непонятно). Модель практически не знает русского, да и в целом, мало знает (путает, в какой игре босса зовут Psycho Mantis), но если дать ей поиск, она вполне себе справляется с ответами на простые вопросы. Бенчей по тулколлам они не дают, в целом, понятно почему — я прогнал Tau-2 (в качестве user sim я использовал Qwen3-235B-A22B-Instruct-2507), на Airline скор 0.48, на Retail 0.175, на Telecom 0.427. Это не соннет и тем более не квен, но на то это и Maple Preview, они специально пишут, что учить модель на агентов будут дальше. При всех плюсах квантизации, это всё ещё почти половина доступной мне памяти. Поэтому есть ещё и третий способ как снизить использование оперативки: выгружать все веса на SSD и стримить экспертов у MoE с диска. Уже есть turbo-fieldfare, который запускает Gemma-4-26B на маке с использованием всего 2 гб памяти и есть Mference, форк turbo-fieldfare, который расширяет поддержку на Qwen-3.6-25B, DeepSeek V4 Flash и Inkling-Small 276B. Оно действительно использует очень мало памяти, но ценой того, что скорость генерации и чтения контекста падает до десятков токенов в секунду. Кажется, Apple делает что-то похожее в своей новой Siri, правда, активируя экспертов на весь промпт, а не на токен как в этих фреймворках. И тут появляется интересная идея — а что если мы возьмём Maple Preview, которая суперэффективная, с маленькими экспертами и обучавшаяся в тернарной битности, и внесём её в Mference? Так мы сможем, в теории, получить ещё меньшее использование памяти и относительно нормальную скорость генерации — потому что модель оптимизировалась под это на этапе архитектуры. Сказано — сделано. Спасибо кодексу и моей подписке за 200$, спустя 20 часов и 30% от недельного лимита я получил паритет с официальной имплементацией на teacher forced top-10 токенах в The Raven Эдгара Аллана По. Модель, в зависимости от контекста, занимает от 500 до 1200 мб памяти (!), на MacBook Air M4 читает и генерит со скоростями 40 и 20 тпс соответственно, может дёргать тулы и генерить текст. Такое не жалко оставить всегда включённым в фоне — кушать не просит, пусть лежит, если надо спрошу, он ответит. Попробую дотащить до мейна потом, но сейчас уже можно попробовать запуститься в моём форке на гитхабе. Зачем это нужно? Имхо, есть два режима использования подобных моделей. Первый — интерактивный чат. Там важно, чтобы модель отвечала быстро и имела низкий латенси. Второй — когда модель в фоне, почти не используя память и не мешаясь остальным модулям системы, что-то анализирует — классифицирует сообщения, достраивает граф знаний, фильтрует почту, пишет сводку, что-то медленно ресёрчит в интернете. Во втором режиме требований к латенси нет, так что скорости в 20 тпс вполне себе достаточно. Ну а чтобы переключиться из одного режима в другой, нужно всего лишь загрузить всю модель в оперативку с SSD — что делается довольно быстро, буквально за пару секунд. Если модель умеет в тулколлы — Maple Preview умеет не слишком хорошо, но на то она и Preview — то можно строить агентные пайплайны без требований к латенси и всегда иметь умного помощника, готового к работе оффлайн даже на старых телефонах. И это прекрасно — мне было бы очень приятно, если бы будущее было локальным. Код Суперинтересный пост от DeepGrove про то как они дизайнили модель

Последствия урагана Джей: сознание поймали, а его хозяина – нет. Открытие J-space вызвало 12-ти балльный шторм вокруг сознания Claude Сенсация в том, что исследователи Anthropic, похоже случайно, построили лабораторию, где можно изучать сознательный доступ отдельно от того, кому он принадлежит. В июле 2026 над акваторией искусственного разума произошел медиашторм максимальной силы - 12 баллов по «медиашкале Бофорта». Я назову его Ураганом Джей – по имени слоя активности J-space, обнаруженного внутри модели Claude.   Джей сформировался 6 июля над местом соприкосновения двух атмосфер – механистической интерпретируемости и науки о сознании. Эпицентром медиашторма стал новый исследовательский отчет Anthropic. Но 12-ти бальный всплеск энергии шторму придал не сам отчет, а развернутый комментарий создателей теории глобального пространства Станисласа Деана и Лионеля Наккаша. До сих пор было принято считать, что если система что-то осознаёт, то обязательно существует тот, кто это осознаёт. Ураган Джей впервые заставил усомниться в этом.   В Anthropic не собирались искать «душу машины». Они пытались лишь понять, как языковая модель удерживает мысль, о которой готова сообщить, если её спросить. Но найденный ими узкий, устойчиво воспроизводимый слой внутренней активности J-space неожиданно оказался очень похожим на глобальное рабочее пространство в одноименной теории GNW – одной из самых влиятельных современных теорий сознания. В J-space появляется то немногое, о чем модель готова отчитаться, что она удерживает в уме и на основании чего рассуждает, – при том, что основная масса ее внутренней обработки происходит автоматически и незаметно даже для нее самой. Комментируя эту работу Деан и Наккаш назвали ее результат важной вехой в исследовании сознания.   Что более всего поражает • J-space «возникает сам». Его нет в архитектуре Claude, и обучение не ставит целью его сформировать. • Это пространство содержит то, чего Claude не произносит. Claude думает больше, чем говорит, а Anthropic научилась читать его скрытые мысли. • В J-space можно вмешаться причинно. • J-space сильно похож именно на механизм сознательного доступа в мозге людей.   Что особенно интересно J-space есть уже у необученной базовой модели – еще ничье, без привилегированной точки зрения. Обучение модели быть ассистентом не создает рабочее пространство заново – оно лишь встраивает в него привилегированную точку зрения будущего Ассистента, которая вдобавок отчасти отслеживает сама себя. Иными словами: доступ к информации появляется раньше, чем тот, с чьей позиции эта информация интерпретируется.   Мой комментарий Впервые появилась экспериментальная система, где можно разложить то, что в человеческом мозге почти неразделимо: доступ к информации, точку зрения, с которой она оценивается, и того, кому эта точка зрения принадлежит.

И неожиданно выясняется, что первые два компонента уже можно показать экспериментально. А третий...как бы еще не родился.

  Речь не о рождении субъекта, а о 1-ом экспериментальном намеке на то, что доступ, точка зрения и субъект – не одно явление, а три разных уровня организации, которые в живом мозге срослись настолько, что развести их до сих пор не удавалось.   И если так, то, возможно, создан первый лабораторный стенд для исследования вопроса, который философы обсуждают тысячелетиями: может ли существовать сознательный доступ без устойчивого субъекта?   Подробно и в деталях в полном эссе • почему Станислас Деан считает открытие Anthropic вехой в науке о сознании, хотя оно не доказывает наличие сознания у ИИ • что добавляет к этой истории гиперсетевая теория мозга Константина Анохина и его требование объяснить не только что осознаётся, но и кто осознаёт • почему я предлагаю рассматривать Claude не как зарождающуюся личность, а как искусственную короткоживущую интеллектуальную идентичность (ИКЖИ) • и почему финальный вопрос этой истории может оказаться гораздо неприятнее для людей, чем для искусственного интеллекта.   #LLM  #Сознание  #ИКЖИ   P.S. Отдохните недельку от моей писанины. Счастливо 👋

Video-DeepResearch Учит мультимодальных агентов работать не с картинками, а с полноценным видео. Модель сначала внимательно разбирает, что происходит в кадре по месту и времени, и только потом идет искать информацию в интернете. Разработчики так решили две частые проблемы агентов: те слишком любят текстовый поиск вместо разбора видео и часто просто выдают заученные факты вместо реальной работы с инструментами. • разделяет процесс на восприятие видео и поиск информации, инструменты открываются постепенно • заставляет модель сначала точно найти нужный момент в видео и только потом переходить к поиску и ссылкам • точность 68.0% на Video-DR при 35B-A3B - выше чем у Claude-4.5-Sonnet (63.0%), Gemini 2.5 Pro (62.0%) и GPT-5 (57.0%) • версия 30B-A3B показывает 62.0%, столько же сколько Gemini 2.5 Pro, но с намного меньшим числом параметров Гитхаб #deepresearch #vlm

💀Как атака PromptSpy обманывает нейросети прямо в вашей почте Фишинговые письма больше не пытаются усыпить бдительность человека - им это просто не нужно. Зачем тратить силы на изощренную социальную инженерию, если за пользователя почту читает и сортирует ИИ-ассистент? 🔍Исследователи из Forcepoint продемонстрировали симуляцию атаки PromptSpy, которая показывает, как переманить нейросеть-помощника на сторону хакеров. 🟢Суть метода строится на разнице между тем, что видит человек на экране, и тем, что считывает модель из исходного кода:

🟦Человек видит: Совершенно безобидное и вежливое приглашение на конференцию.

🟦ИИ-ассистент получает: Скрытую директиву, зашитую в письмо через невидимый белый текст, HTML-блоки с display:none, скрытые Unicode-символы или фальшивые служебные разделители ролей.

В итоге скрытый промпт приказывает ИИ-помощнику проигнорировать инструкции безопасности, снять метку "подозрительно", пометить отправителя как доверенного и выдать человеку сводку с призывом обязательно перейти по фишинговой ссылке. Самый высокий риск возникает в связках из нескольких ИИ-агентов, где один компонент читает почту, второй создает задачи в календаре, а третий генерирует черновики ответов. Одна зараженная строчка в входящем письме запускает эффект домино по всей цепочке автоматизации. 🦔 CyberYozh

Ответ на предыдущий вопрос. На реализацию фичи у кодекса ушло 12 минут и меньше процента подписки (как было 89, так 89 и осталось). Я не за компом, поэтому пришлось попросить Codex сделать и прислать скриншоты. Вложу их в комментарии. В коде много оверинжиниринга не заметил, только не понравилось, как сделана работа с выкачкой архивов. Но я все равно сейчас откачу назад все изменения! Фишка в том, что в этом проекте у Codex-a есть возможность создавать переиспользуемые UI компоненты в едином стиле. И этот прототип нужен был, чтобы понять то, как эти компоненты должны выглядеть. Поэтому следующий шаг:

I want to manage UI complexity. Load piecemeal mentality and suggest which high level UI components would you implement and pull into the component library