📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования. FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением. В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов. 🟡Тесты На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот. Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства. В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев. Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения. Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.

Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.

📌Лицензирование: CC-BY-4.0 🟡Статья 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Dataset #FairStress #Ai2

🔻 StreamEval: комплексный бенчмарк для стриминговых моделей от Nvidia Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor опубликовали бенчмарк StreamEval, который оценивает способность моделей генерировать видео в реальном времени. Он проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и при этом не ломать то, что уже есть в кадре. В бенчмарке 300 сценариев длиной от 15 до 300 секунд: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей. Бенчмарк проверял пять типов задач. Результаты следующие: • Диалог с аватаром. Цифровой человек слушает речь пользователя, отвечает по смыслу и помнит, о чём шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога. • Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. А вот команды даже лидер корректно выполняет только в 37% случаев. • Генерация мира. Модель создаёт сцену и меняет её по командам: «лодка плывёт к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов. • Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Здесь лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки. • Редактирование видео по картинке. То же самое, но нужный вид объекта задаётся изображением. Это самая сложная задача: максимум 15 из 100. Проект открытый: код оценки опубликован на GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на Hugging Face, а результаты моделей собраны в лидерборде. #Benchmark

"Малые ядра" AMD Zen 6c оказались быстрее больших ядер Zen 5 при равной частоте. Серверный EPYC 9996 на мини-ядрах Zen 6c набрал 2847 баллов в однопоточном тесте Geekbench 7.1.0, тогда как настольный Ryzen 7 9700X на Zen 5 с принудительно заниженной до 4,1 ГГц частотой показал в однопотоке 2444 балла. Zen 6c выиграл все 15 подтестов: максимальный отрыв в браузере HTML5 составил 25,7%, в редактировании изображений — 24,8%, минимальный в сжатии файлов — 8,2%. Тестирование проводилось на платформе Dell PowerEdge R9815 под Linux; у EPYC 9996 — 256 ядер, 512 потоков и 1 ГБ кэша L3. Серверная и настольная платформы, безусловно, отличаются памятью, кэшем и прошивкой. А если не ограничивать Zen 5 заниженной частотой, то можно ожидать уже производительность порядка 3070-3130 баллов.

Сложно поверить, что целые продукты строятся с одного промпта, а speech recognition все еще фейлится. Одна из самых частых жалоб пользователей Fluently, что тьютор не правильно понимает, что они говорят. Разумеется, что у этих пользователей часто есть сильный акцент, ведь они пришли изучать язык, который еще не знают. Для нас критично понимать, где они неправильно произнесли слово, которое знают, а где произнесли неправильное слово. Поэтому мы выпустили свой бенчмарк, где меряем как real-time speech recognition системы работают на английском языке с акцентом. И на некоторых акцентах ошибок до двух раз больше! И это ток английский. На других языках типа греческого - там полная жопа. Больше деталей у меня в посте в твиттере! https://x.com/rebryk/status/2115126244782248363 Буду оч рад, если поддержите лайком и квотом 🙏🏻