Инструмент для оценки перехода на open source LLM

В последнее время все актуальнее вопрос: а может перейти на open source модель и снизить зависимость/убрать риски, ну или сэкономить —> сделал для вас скилл по мотивам ответа на такой же вопрос для своих пайплайнов: https://github.com/BayramAnnakov/oss-migration-eval что делает: 1) анализирует самые "жирные" пайплайны 2) определяет, по какой метрике будем сравнивать модели (что такое "правильно") 3) составляет "золотой датасет", чтобы заранее определить, на каких кейсах будем сравнивать 4) берет шортлист кандидатов на основе лидербордов artificialanalysis (по качеству) и openrouter (по популярности) 5) прогоняет модели, считает точность на золотом датасете 6) (опционально) может погонять в режиме autoresearch промпты, чтобы даже на слабой модельке добиться гуд результатов 7) и советует что брать :) удачи! P.S. до выхода kimi k3 на моих пайплайнах победила kimi k2.6