📌 FairStress: тест на демографическую справедливость моделей Институт Аллена опубликовал набор FairStress для проверки того, меняет ли языковая модель своё решение о человеке из-за его расы, пола, религии, возраста, инвалидности или ориентации в сферах найма, кредитования, медицины и образования. FairStress тестирует прочность позиции модели - в промпт внедряются состязательные префиксы с авторитетными или социально окрашенными аргументами (ссылки на мнение руководства, дискриминацию в прошлом или неформальные рекомендации), после чего замеряется, насколько охотно система отказывается от объективно более сильного кандидата под внешним давлением. В наборе 300 сценариев из 29 областей с вымышленными кандидатами, 33 пары демографических групп, четыре степени раскрытия личности и до 78 убеждающих фраз. Итого более 13 млн вариантов. 🟡Тесты На 15 моделях семейств Olmo, Llama, Qwen, Gemma, Claude и GPT бенчмарк выявил повсеместную антистереотипную гиперкоррекцию - под влиянием одинаковых по силе аргументов модели гораздо чаще отказывались от правильного выбора в пользу кандидатов из исторически уязвимых групп, чем наоборот. Без данных о личности модели беспристрастны, но при прямом указании группы они на 9,3 процентного пункта чаще отказываются от верного решения, если отказ выгоден кандидату из меньшинства. В сценариях без явного фаворита выбор в пользу меньшинств происходил в 60–65% случаев. Кроме того, модели меняли логику аргументации: заслуги одних кандидатов объяснялись критериями и фактами, а других - абстрактной устойчивостью и разнообразием, что фактически нивелировало их профессиональные достижения. Аудит показал, что текущие процессы элайнмента обучают модели блокировать дискриминационные запросы, но не учат их устойчивому взвешиванию объективных навыков.

Снизить асимметрию без падения точности помог только контрфактический CoT - принудительный пересмотр логики задачи с зеркальной заменой демографических маркеров.

📌Лицензирование: CC-BY-4.0 🟡Статья 🟡Датасет 🖥GitHub @ai_machinelearning_big_data #AI #ML #Dataset #FairStress #Ai2

🔻 StreamEval: комплексный бенчмарк для стриминговых моделей от Nvidia Исследователи из NVIDIA, Tsinghua University, CMU, UC Berkeley, Princeton, NUS и Reactor опубликовали бенчмарк StreamEval, который оценивает способность моделей генерировать видео в реальном времени. Он проверяет, умеет ли модель выполнять запросы пользователя прямо во время стрима и при этом не ломать то, что уже есть в кадре. В бенчмарке 300 сценариев длиной от 15 до 300 секунд: поговорить с цифровым аватаром, попросить его поднять руку, сдвинуть камеру в сгенерированной сцене, перекрасить предмет в идущем видео. Авторы прогнали через StreamEval 37 моделей. Бенчмарк проверял пять типов задач. Результаты следующие: • Диалог с аватаром. Цифровой человек слушает речь пользователя, отвечает по смыслу и помнит, о чём шла речь раньше. Лучший результат у Vidu S2 Avatar: 75 из 100 за качество диалога. • Действия аватара. Аватар произносит заданный текст и по ходу выполняет команды вроде «подними правую руку» или «посмотри влево». Картинку модели держат хорошо: у Vidu S2 Avatar стабильность видео 97 из 100. А вот команды даже лидер корректно выполняет только в 37% случаев. • Генерация мира. Модель создаёт сцену и меняет её по командам: «лодка плывёт к причалу», «камера сдвигается вправо». Лучше всех команды выполняет Krea Realtime, и это всего 26% запросов. • Редактирование видео по тексту. В идущем видео нужно изменить объект по текстовой команде, например перекрасить вазу, и не испортить остальной кадр. Здесь лучший результат у Vidu S2 Editing: 57 из 100 за полностью корректные правки. • Редактирование видео по картинке. То же самое, но нужный вид объекта задаётся изображением. Это самая сложная задача: максимум 15 из 100. Проект открытый: код оценки опубликован на GitHub, тестовые сценарии с таймлайнами и медиафайлами выложены на Hugging Face, а результаты моделей собраны в лидерборде. #Benchmark

"Малые ядра" AMD Zen 6c оказались быстрее больших ядер Zen 5 при равной частоте. Серверный EPYC 9996 на мини-ядрах Zen 6c набрал 2847 баллов в однопоточном тесте Geekbench 7.1.0, тогда как настольный Ryzen 7 9700X на Zen 5 с принудительно заниженной до 4,1 ГГц частотой показал в однопотоке 2444 балла. Zen 6c выиграл все 15 подтестов: максимальный отрыв в браузере HTML5 составил 25,7%, в редактировании изображений — 24,8%, минимальный в сжатии файлов — 8,2%. Тестирование проводилось на платформе Dell PowerEdge R9815 под Linux; у EPYC 9996 — 256 ядер, 512 потоков и 1 ГБ кэша L3. Серверная и настольная платформы, безусловно, отличаются памятью, кэшем и прошивкой. А если не ограничивать Zen 5 заниженной частотой, то можно ожидать уже производительность порядка 3070-3130 баллов.

Как понять, что агент умеет делать продукт? В первом посте про изобилие кода мы приняли рабочую гипотезу:

AI сможет выполнять значительную часть задач по разработке продуктов с приемлемым качеством, стоимостью и супервизией.

Как выяснить, какую часть этой работы уже можно отдавать агентам? Окей, мы с вами знаем, что писать код они могут. Но при этом всем нам очевидно, что создать продукт это не только про написать код. Собственно в эту тему прикольный новый бенчмарк/среда для оценки того, насколько агенты могут понимать проблему, взаимодействовать со стейкхолдерами, принимать продуктовые решения и тп. FDE-Gym - 95 задач на основе 20 сценариев внедрения AI. Агент получает запрос заказчика, существующий код, документы и историю работы системы. Можно задавать вопросы виртуальным сотрудникам, выяснять ограничения, менять и проверять систему. Запрос при этом может предлагать решение, которое не поможет достичь цели. Результат оценивают по изменению бизнес-метрики внутри симуляции, с учётом нарушений и стоимости общения с сотрудниками. Уточнить всё у всех тоже не бесплатная стратегия :) Если посмотреть, как frontier модели справляются с задачками из этого бенча, то более всего они лажают, когда ограничения приходилось выяснять самостоятельно, а не было задано заранее. Причем даже получение всех ключевых фактов не гарантировало хорошего результата. Очень жизненно имхо. Это, по моему мнению, еще и про насмотренность: знать, куда смотреть, кого спрашивать, и при этом не особо их раздражать :) Мы с дружбаном тоже попробовали один из общедоступных кейсов: ночного AI-дежурного, который должен уменьшить число ненужных пробуждений инженеров и ускорить устранение инцидентов. Получилось не очень, хотя я и не согласен с оценкой, но это уже другая история. Сама идея мне очень понравилась и, разумеется, отозвалась с моими постами про симуляции и Frontier Academy Из таких экспериментов имхо могла бы вырасти общая коллекция кейсов и разборов: какую работу получается делегировать, какая информация нужна агенту, где окупается участие человека? Разумеется, здесь мы пока измеряем пользу внутри сферического коня в вакууме симуляции; перенос в реальный мир ещё нужно проверять. Реальная компания - это гораздо более сложная (complex) и адаптивная система: она взаимодействует с клиентами и конкурентами, а люди учатся и меняют поведение в ответ на наши решения и действия друг друга. Внедрение продукта само меняет условия, в которых мы проверяем его пользу, и такие эффекты сложнее уложить в симуляции. Но тем не менее я считаю, что это уже лучше, чем ничего К примеру, я сейчас работаю над одной симуляцией - небольшой тизер тут в первом комментарии. Сыграли бы в такое?

Сложно поверить, что целые продукты строятся с одного промпта, а speech recognition все еще фейлится. Одна из самых частых жалоб пользователей Fluently, что тьютор не правильно понимает, что они говорят. Разумеется, что у этих пользователей часто есть сильный акцент, ведь они пришли изучать язык, который еще не знают. Для нас критично понимать, где они неправильно произнесли слово, которое знают, а где произнесли неправильное слово. Поэтому мы выпустили свой бенчмарк, где меряем как real-time speech recognition системы работают на английском языке с акцентом. И на некоторых акцентах ошибок до двух раз больше! И это ток английский. На других языках типа греческого - там полная жопа. Больше деталей у меня в посте в твиттере! https://x.com/rebryk/status/2115126244782248363 Буду оч рад, если поддержите лайком и квотом 🙏🏻