Самая тупая ситуация в фронтиер AI сегодня заключается в том, насколько хреново он работает на других языках, кроме английского. AI-лаборатории уже даже не утруждают себя публикацией обновлений по MMLU (я уж молчу про бенчмарки качества перевода). Например, буквально сегодня я увидела очередной пост фаундера, который потратил время на оценку качества рассуждений новейших AI-моделей с помощью jev и обнаружил, что в мультиязычном мышлении от них практически никакого толка. Вы вообще представляете, что 6 миллиардов человек, говорящих на 7700 языках, не получают даже близко того же уровня возможностей AI, который доступен англоговорящим пользователям? И насколько же эти рынки недообслужены?

Шел 2163-ий день погружения в принципы проверки квантованного нейро-шизо-чуда-юда. Вместо того чтобы ловко удивлять нейротупиц, удивляюсь я сам. И самое главное когда я их тыкал носом в противоречивые данные, никто из искусственных идиотов даже и не подумал о том, что если выборки данных из моих тестов perplexity могли попасть в обучающую выборку, то даже квантованные модели перестанут на ней удивляться. Пока сам до этого недогадался. 😤 P.S. Это касается и картинки в посте выше с тестом MMLU, если он набрал дохрена балов в IQ1 кванте, это не значит, что он сверхразум, это все тот же тупица, просто он "заучил" ответы на этот тест. Но это очевидно как бы, а вот на счет Perplexity нихера не очевидно было (хотя это скорее всего я уже отупел после того как блогером стал, это база как бы, умных сюда не берут)