🛠️ Метод По существу предлагается не так уж много: - 📐 Берем квадратичное разложение. Вместо полного Гессиана (матрицы Фишера) берем диагональ, а ее оцениваем через статистики Адама (которые у нас и так есть). - ⚖️ Диагональ Фишера используем для подбора оптимальных скейлов при заданных квантованных значениях (кодах). Перебирая общий скейл-фактор, находим оптимальные коды. - 🔢 В основном фокусируются на INT2/3/4, но еще рассматривают и NVFP4, где скейлы перебираются по FP8-сетке. Дальше много всякой теоретической лабуды, которой я не читал. 🧪 Эксперименты Для валидации метода рассматривают QAD (дистилляцию на логитах исходной модели) предобученных Qwen3-4B-Thinking-2507 и Llama-3.1-8B-Instruct, а также SFT Qwen3-4B-Base. По бенчам в 2 битах оно заметно лучше QAT/PTQ-бейзлайнов, в 3 и 4 битах разница не столь существенна. Лосс на обучении ниже и стабильнее. Ablation показывает, что все компоненты дают пользу: - 🧠 Hessian-aware взвешивание - 🔍 Поиск скейлов Итоговый оверхед якобы небольшой — замедление шага обучения всего на 1,5% против стандартного QAT со STE. 🧾 Выводы Вроде бы несложная модификация STE, потенциально улучшающая качество. Но эффект провалидирован только на небольших моделях (обучение без FSDP, по всей видимости). Для больших моделей аншардирование статистик Адама может приводить к нетривиальному замедлению. Кроме того, нынче модно учить с Мюоном, а там аналога такой кривизны просто нет. При этом Мюон со STE может быть и не хуже Адама с прибамбасами, кто знает. Но для лечения GGUFов тема вполне рабочая.

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction 📄 Статья 💻 Кода нет Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training). Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес. Кроме того, существующие техники не учитывают кривизну при оптимизации в STE. И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.

Топ-менеджеры Кремниевой долины ограничили своим детям доступ к гаджетам Журналисты The New York Times опубликовали материал о том, как руководящие сотрудники и инженеры ведущих IT-компаний Кремниевой долины выстраивают правила использования технологий в собственных семьях. Несмотря на то что эти специалисты сами создают современные сервисы, нейросети и социальные сети, в воспитании детей они придерживаются строгой умеренности и жестких ограничений. Многие из них внедряют правила «без экранов» до определенного возраста, ограничивают доступ к смартфонам и соцсетям, а также отдают предпочтение частным школам без цифровых устройств. Эксперты и топ-менеджеры объясняют такой подход глубоким пониманием алгоритмов удержания внимания и потенциальных рисков экранной зависимости для психики и развития детей. Ранее той же практики придерживался и Стив Джобс.

(с) А я простила, я простила его опять, опять, опять.О, как намаялась я с тобой,Моя попытка номер пять!А я простила, я простила его напрасно, видимо.Теперь страдаю от этого, теряя независимость. *** Прямо про ИИ песенка. CRM/Task tracker меня раздражают и бесят, пробую новую итерацию в которой обсуждения в чатах / чаты / задачи / проблемы сами по себе создают инфраструктуры/задачи и двигают их, чтобы агенты не забывали. Помнить архитектуру какого-то решения - это ок. Но теперь чтобы чаты/сессии не умирали / не сбрасывались и прочее -> туда "вклиниваются" грубо watcher'ы которые переключают фокус, чтобы тушить пожар. Отдельно в status bar macOS добавлю себе иконку при раскрытии которой будут все "потроха" и тд и тп, что в голове нереально держат. • задачи / клиентов / проблемы / запросы / rnd / баги / отложенные какие-то штуки. Ща соберу и покажу Начал называется готовить Monosnap к релизу / рефакторить... Большие эпики / задачи плодят кучу процессов которые могут на паузу встать и пропасть - беда

Минпромторг хочет обязать локализовать чипы для ИИ Минпромторг совместно с разработчиками обсуждает введение балльной системы для оценки уровня локализации ИИ-чипов в рамках постановления №719. Требования могут затронуть ускорители нейросетей и специфические вычислительные блоки. Попадание в реестр отечественной продукции необходимо для получения преференций при госзакупках и защиты внутреннего рынка от зарубежных решений, в первую очередь на объектах КИИ и предприятиях ОПК. Инициатива призвана сдержать экспансию иностранных ускорителей и стимулировать отечественные дизайн-центры. Свои ИИ-чипы в России развивают «ХайТэк», НТЦ «Модуль» и «Байкал Электроникс». Последняя анонсировала два ускорителя с релизом к 2030 году. Эксперты отмечают, что текущие российские разработки подходят преимущественно для инференса и видеоаналитики, тогда как для обучения гигантских моделей пока нет аналогов решениям NVIDIA. При этом из‑за отсутствия в РФ фабрик с техпроцессами уровня 12–14 нм локализованными, скорее всего, будут признаны чипы с российской архитектурой, производство которых физически размещено на заводах в дружественных странах.

ИИ решил математическую проблему, которая не поддавалась учёным 22 года, всего за 16 часов Нейрохирург из Китая Цзинь Шаньму при помощи модели GPT-5.6-Sol доказал гипотезу Круазе, выдвинутую ещё в 2004 году. Примечательно, что у самого врача нет профильного математического образования — знания он получал преимущественно самостоятельно, пишет издание SCMP. Нейросети потребовалось примерно 16 часов автономной работы, чтобы построить доказательство. Результат уже проверили сам автор гипотезы Мишель Круазе и другие специалисты-математики, они подтвердили его корректность. Тем не менее полноценное научное рецензирование работы пока не завершено. Интересно, что интерес Цзиня к этому разделу математики возник случайно — он занимался задачей, связанной с транскраниальным ультразвуком, и именно это привело его к формулировке и решению математической проблемы. #интересное