📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования. FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением. В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов. 🟡Тесты На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот. Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства. В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев. Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения. Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.

Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.

📌Лицензирование: CC-BY-4.0 🟡Статья 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Dataset #FairStress #Ai2

🌟 Ai2 выпустила ИИ-эмулятор климата с прогнозом погоды Новая версия климатического эмулятора Института Аллена воспроизводит ливни, ураганный ветер и перепады давления с детализацией до 3 км.

Обычно такие данные дают глобальные модели от NOAA, разрешающие отдельные грозы, но их запуск требует больших вычислительных ресурсов.

По оценке Ai2, глобальные данные с разрешением 3 км HiRO-ACEv2 выдаёт примерно в 300 раз дешевле модели X-SHiELD, а для отдельного региона расчёт может обойтись примерно в 100 раз дешевле. Эмулятор умеет запускать многолетние сценарии (в анонсе - десятилетние), и выдавать каждые 6 часов осадки, ветер на высоте 10 метров и давление на уровне моря как по всей планете, так и по выбранному региону. Работает он в полосе от 66 градусов южной широты до 70 градусов северной. Пока модель повторяет только климат X-SHiELD, поэтому сценарии потепления или реальную историю погоды по архиву ERA5 она не воспроизводит. 🟡Система состоит из двух моделей Климатический эмулятор ACE считает атмосферу на грубой сетке 100 км, а диффузионная модель HiRO доводит его результат до 3 км.

В новой версии HiRO уточняет сразу несколько полей, а не только осадки, как раньше.

🟡Тесты Если на вход HiROv2 подать загрублённые данные X-SHiELD, статистика детализированных полей совпадает с оригиналом с точностью до 3%, включая события, которые встречаются раз на миллион точек. Суммарную энергию тропических циклонов модель оценивает точно, в том числе для штормов, которых не было в обучающих данных. Ураганы получаются с реалистичным глазом и полосами дождя, но ветер и давление вокруг глаза распределены несимметричнее, чем у X-SHiELD. В десятилетнем прогоне полной системы климатические средние и распределения осадков, ветра и давления близки к X-SHiELD.

Учебные ноутбуки доступны в репозитории ACE на GitHub, готовые прогоны можно посмотреть в веб-демо.

📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Набор моделей ACE 🟡Документация 🟡Модель 🟡Arxiv 🟡Демо 🖥GitHub @ai_machinelearning_big_data #AI #ML #Climate #HiROACEv2 #Ai2

🌟 Ai2 выпустила открытую модель для научных отчётов AstaBrief 8B - файнтюн Qwen3-8B от Института Аллена, который по исследовательскому запросу и найденным фрагментам научных статей пишет отчёт со ссылками на источники. Модель уже работает в Asta, сервисе Ai2, где она стала быстрым режимом в дополнение к Thinking с Claude под капотом. Сама AstaBrief ничего не ищет, отрывки статей ей нужно подать вместе с вопросом. Из них модель отбирает нужное, сводит в связный текст и расставляет ссылки на отрывки, из которых взят каждый факт. Отчёт она пишет целиком за один проход. 🟡Тесты На наборе ScholarQA-CS2 из 200 вопросов по информатике AstaBrief набрала в среднем 87 баллов, по полноте ключевых элементов ответа 90,2, по точности ответа 89, по точности ссылок 90,5, по их полноте 78,2. По этому набору и по DeepScholarBench Ai2 называет модель сопоставимой с конвейером на Claude и со своим исследовательским агентом DR Tulu. В небольшом исследовании с тремя учёными и 14 вопросами в целом предпочли DR Tulu, хотя двое из трёх сочли ссылки у AstaBrief точнее.

Пример, как генерировать отчёты по собственным PDF, Ai2 выложила в репозитории ScholarQA.

📌Лицензирование: Apache 2.0 🟡Блогпост 🟡Модель @ai_machinelearning_big_data #AI #ML #LLM #AstraBrief #Ai2