Проблема утечки данных в тестах квантованных моделей

Шел 2163-ий день погружения в принципы проверки квантованного нейро-шизо-чуда-юда. Вместо того чтобы ловко удивлять нейротупиц, удивляюсь я сам. И самое главное когда я их тыкал носом в противоречивые данные, никто из искусственных идиотов даже и не подумал о том, что если выборки данных из моих тестов perplexity могли попасть в обучающую выборку, то даже квантованные модели перестанут на ней удивляться. Пока сам до этого недогадался. 😤 P.S. Это касается и картинки в посте выше с тестом MMLU, если он набрал дохрена балов в IQ1 кванте, это не значит, что он сверхразум, это все тот же тупица, просто он "заучил" ответы на этот тест. Но это очевидно как бы, а вот на счет Perplexity нихера не очевидно было (хотя это скорее всего я уже отупел после того как блогером стал, это база как бы, умных сюда не берут)