ИИ

Интересно, когда Стругацкие писали "Понедельник начинается в субботу", какой временной горизонт они себе представляли. И что бы они сказали сейчас: "Всего 60 лет прошло 😱" или "Целых 60 лет прошло 😒" Тогда идея создать своего "дубля", которому можно поручить работу вместо себя, наверняка казалась чем-то совершенно нереальным где-то совсем рядом с волшебством. Собственно, в книге этим и занимаются волшебники. А для нас прошло каких-то 60 лет и фраза "пусть дубль агент сам это сделает" постепенно становится обыденностью.

Дубль — это очень интересная штука. Как правило, это довольно точная копия своего творца. Не хватает, скажем, человеку рук — он создает себе дубля безмозглого, безответного, только и умеющего, что паять контакты, или таскать тяжести, или писать под диктовку, но зато уж умеющего это делать хорошо. Или нужна человеку модель-антропоид для какого-нибудь эксперимента — он создает себе дубля, безмозглого, безответного, только и умеющего ходить по потолку или принимать телепатемы, но зато уж умеющего хорошо. Или самый простой случай. Собирается, скажем, человек получить зарплату, а времени терять ему не хочется, и он посылает вместо себя своего дубля, только и умеющего что никого без очереди не пропускать, расписываться в ведомости и сосчитать деньги, не отходя от кассы. Конечно, творить дубли умеют не все. Я, например, еще не умел. То, что у меня пока получалось, ничего не умело — даже ходить. И вот стоишь, бывало, в очереди, вроде бы тут и Витька, и Роман, и Володя Почкин, а поговорить не с кем. Стоят как каменные, не мигают, не дышат, с ноги на ногу не переминаются, и сигарету спросить не у кого. Настоящие мастера могут создавать очень сложных, многопрограммных, самообучающихся дублей. Такого вот супера Роман отправил летом вместо меня на машине. И никто из моих ребят не догадался, что это был не я. Дубль великолепно вел мой "Москвич", ругался, когда его кусали комары, и с удовольствием пел хором. Вернувшись в Ленинград, он развез всех по домам, самостоятельно сдал прокатный автомобиль, расплатился и тут же исчез прямо на глазах ошеломленного директора проката.

Dflash2 тпшнулся и теперь продаёт курсы на скиллбокс?! Да да боже опять дифлеш… лорд Айм уан, лорд айм ту, начинали год как бодрый новичок с плюс минус новым подходом в спекдеке, даже обещали выложить пайплайн обучения, и вот конец года - тяжёлый люкс, эйай блог в тёмных тонах, пишите в Директ скинем модельки 💅 Из изменений: докинули конволюцию (стак мор лейерс) и газанули на дспарк из-за рекуррентности, хотя сами не лучше со своим path finder’ом. Замерились опять на каких то доходягах типа meta muse glimmer это че блеск для глаз, и опять под раздачу попала КраснаяШляпаЭйАй, до отстаньте вы от них да делают средние драфт модели, да за один день, да бесплатно, но издеваться то зачем? это какая то груша для битья на все случаи жизни? если Канье Веста заменят домиником джокером в саже - пойду красной шляпе дизов насую на хф, ну чтобы знали Крч, китайцы срубили бабла, даже им нужен один залетевший рилз, гад блес зем https://inco.ai/blog/dflash2/

В мире с ИИ остро необходимы новые правила этикета для общения между людьми. Предлагаю следующие: 👀 Не делитесь тем, что не прочитали или не посмотрели полностью сами. Сгенерированный контент бывает норм. Но ответственность за него несёте вы. Не надо кидать стены текста или картинки, которые вы сами не смотрели 📝 Не надо вообще делиться кусками чата с БЯМ/агентами и тем более вставлять их на слайды. Выделите суть и перескажите своими словами. А читать горы текста со слайдов никто не будет ❗️ Честно помечайте произведённый ИИ контент. В этом нет ничего предосудительного: все так или иначе пользуются ИИ. Просто явно укажите, где именно он был использован. Как вариант – наоборот помечайте органический контент 🍃 А что бы добавили вы?

🛠️ Метод По существу предлагается не так уж много: - 📐 Берем квадратичное разложение. Вместо полного Гессиана (матрицы Фишера) берем диагональ, а ее оцениваем через статистики Адама (которые у нас и так есть). - ⚖️ Диагональ Фишера используем для подбора оптимальных скейлов при заданных квантованных значениях (кодах). Перебирая общий скейл-фактор, находим оптимальные коды. - 🔢 В основном фокусируются на INT2/3/4, но еще рассматривают и NVFP4, где скейлы перебираются по FP8-сетке. Дальше много всякой теоретической лабуды, которой я не читал. 🧪 Эксперименты Для валидации метода рассматривают QAD (дистилляцию на логитах исходной модели) предобученных Qwen3-4B-Thinking-2507 и Llama-3.1-8B-Instruct, а также SFT Qwen3-4B-Base. По бенчам в 2 битах оно заметно лучше QAT/PTQ-бейзлайнов, в 3 и 4 битах разница не столь существенна. Лосс на обучении ниже и стабильнее. Ablation показывает, что все компоненты дают пользу: - 🧠 Hessian-aware взвешивание - 🔍 Поиск скейлов Итоговый оверхед якобы небольшой — замедление шага обучения всего на 1,5% против стандартного QAT со STE. 🧾 Выводы Вроде бы несложная модификация STE, потенциально улучшающая качество. Но эффект провалидирован только на небольших моделях (обучение без FSDP, по всей видимости). Для больших моделей аншардирование статистик Адама может приводить к нетривиальному замедлению. Кроме того, нынче модно учить с Мюоном, а там аналога такой кривизны просто нет. При этом Мюон со STE может быть и не хуже Адама с прибамбасами, кто знает. Но для лечения GGUFов тема вполне рабочая.

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction 📄 Статья 💻 Кода нет Когда PTQ (Post-Training Quantization) не выдает желаемого качества при целевой степени сжатия или модель нужно адаптировать по ходу дела, неизбежно приходится переходить к QAT (Quantization-Aware Training). Наивный STE (проброс градиента) может работать сносно, но расходится на низких битностях и вообще не очень стабилен. По факту градиент считается не из той точки, где в данный момент находится вес. Кроме того, существующие техники не учитывают кривизну при оптимизации в STE. И данная работа предлагает сравнительно недорогой способ сделать STE точнее и более адаптивным под геометрию.

ИИ решил математическую проблему, которая не поддавалась учёным 22 года, всего за 16 часов Нейрохирург из Китая Цзинь Шаньму при помощи модели GPT-5.6-Sol доказал гипотезу Круазе, выдвинутую ещё в 2004 году. Примечательно, что у самого врача нет профильного математического образования — знания он получал преимущественно самостоятельно, пишет издание SCMP. Нейросети потребовалось примерно 16 часов автономной работы, чтобы построить доказательство. Результат уже проверили сам автор гипотезы Мишель Круазе и другие специалисты-математики, они подтвердили его корректность. Тем не менее полноценное научное рецензирование работы пока не завершено. Интересно, что интерес Цзиня к этому разделу математики возник случайно — он занимался задачей, связанной с транскраниальным ультразвуком, и именно это привело его к формулировке и решению математической проблемы. #интересное