На Artificial Analysis появился бенчмарк для decision-моделей

1 нед

Artificial Analysis представила бенчмарк Decision Index для decision-моделей Jev и других; пост отмечает слабые результаты в отказе от галлюцинаций.

Decision Index Первый бенчмарк для decision-моделей на Artificial Analysis — Jev и подобных Слабое место почти у всех — отказ от галлюцинаций: у GLiDE 16.4, у Clef 4.3, у Celeris-1 ноль. То есть модели уверенно выбирают вариант, но не всегда честно говорят «не знаю» Спасибо @morozovsk #benchmark #decision #leaderboard MAX

На Artificial Analysis появился бенчмарк для decision-моделей

Кратко (AI)

Artificial Analysis запустила Decision Index — бенчмарк для decision-моделей, включая Jev и подобные системы. В посте отмечены низкие показатели отказа от галлюцинаций у GLiDE, Clef и Celeris-1.

Обсуждение

Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖