Thinking Machines Миры Мурати превратила закрытую экспертную оценку Bridgewater в обучаемый навык и обошла frontier-модели, снизив число ошибок на 29.8%. В ии подавали финансовые статьи, отчёты, документы центробанков, письма. ИИ должен был определить что аналитик должен прочитать первым. Для LLM это оказалось тяжёлой задачей. При обычных промптах модели держались на уровне 46–50% accuracy, почти как угадывание. Экспертные промпты поднимали качество до 74–78%, но лучший результат дала разметка от опытных инвесторов Bridgewater. Неэкспертные метки провалились: здесь важны рыночный контекст, приоритеты и профессиональное чутьё. Один заголовок про тарифы может быть сильным сигналом, другой громкий геополитический инфоповод останется шумом. Bridgewater чистила датасет через спорные рейсы. Если модель расходилась с разметкой, пример возвращали экспертам на повторную проверку. Так в обучение попали паттерны принятия решений, которые эксперты видят интуитивно, но редко могут описать полноценной инструкцией. В обучении использовали три приёма. Во-первых, смешивали разные типы задач, чтобы модель училась применять экспертную оценку в похожих сценариях, а не запоминала один узкий шаблон. Во-вторых, аккуратно ограничивали обновления при обучении. Это снижало риск, что модель зацепится за случайные признаки в данных и начнёт уверенно ошибаться. В-третьих, модель дообучали на ответах более сильных версий. Так лучшие checkpoints постепенно становились учителями для следующих итераций. Результат: на 29.8% меньше ошибок, чем у лучшей frontier-модели, и в 13.8 раза ниже inference cost. Заметное преимущество, благодаря качеству экспертных решений. Такой датасет конкурент не скачает с Hugging Face. https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/

🐡 Еще одна интересная работа от Sakana AI, они представила работу Learning Multi-Agent Coordination via Sheaf-ADMM, которая будет показана на ICML 2026. Авторы рассматривают интеллект как распределённую систему: сложная задача делится на пересекающиеся фрагменты, а каждый агент работает только со своей частью. Затем агенты согласуют решения с соседями на границах, где их области пересекаются. В Sheaf-ADMM координация строится в несколько раундов. Сначала агент предлагает локальное решение. Потом он сверяется с соседями и сглаживает конфликтующие части. Если согласия нет, конфликт сохраняется в памяти и влияет на следующий раунд переговоров. Подход проверили на задачах, где одному агенту не хватает всей информации. В Multi-Agent Sudoku каждый агент видел только строку, столбец или блок 3×3. Sheaf-ADMM решил 93% задач, тогда как сопоставимый message-passing baseline набрал 11%. В image classification при domain shift по размеру canvas обычная CNN падала до 11% accuracy на MNIST, а метод Sakana AI сохранял 86%. В maze pathfinding Sheaf-ADMM достиг точности message-passing baseline, но использовал 5-мерный канал коммуникации вместо 42-мерного. Координация агентов полностью прозрачная. Можно видеть, как локальные агенты спорят, корректируют решения и приходят к общему результату, вместо того чтобы прятать всё в hidden states. Метод опирается на ADMM из distributed optimization и sheaves из applied topology. Метод помогает нескольким агентам решать одну сложную задачу по частям, договариваться на пересечениях и собирать итоговое решение без постоянного обмена всей информацией. Paper: https://arxiv.org/abs/2605.31005 Code: https://github.com/SakanaAI/sheaf-admm Blog: https://pub.sakana.ai/sheaf-admm/ @ai_machinelearning_big_data #ai #ml #sakana

On Efficient Scaling of GNNs via IO-Aware Layers Implementations 📄 Статья 💻 Код Засветилось уже много где в русскоязычных тг-каналах про ML, но оно заслуживает отдельного разбора. Графовые нейронные сети имеют ряд небесполезных приложений — всякий там дизайн новых молекул, физика, анализ транзакций и социальных сетей. Однако их оптимизации уделялось сравнительно мало внимания по сравнению с LLM, потому существующие реализации в популярных фреймворках (DGL, PyG) далеки от оптимального потребления памяти и вычислительных ресурсов. Существенной сложностью при работе с графами являются нерегулярная/разреженная структура данных и нерегулярные паттерны доступа. И в работе наших соотечественников (Spotlight на ICML, между прочим) сделали куда более эффективную реализацию стандартных графовых операций.