На AIST’26 обсудили актуализацию бенчмарков для LLM

🎤 За круглым столом на AIST’26 В заключительный день конференции провели круглый стол по бенчмаркингу, оценке моделей и тому, как в сложности задачек угнаться за способностями LLM. От нашей команды Sber AI был золотой состав: @alenusch, @SamoedR и ваша покорная слуга. Дискуссия получилась живой (не ожидаешь такого в 9 утра по Москве) и, затронув такой «больной» вопрос, затянулась сверх тайминга больше чем на час. Сошлись на том, что парадигма статического бенчмаркинга уходит и все движется в сторону регулярной актуализации заданий и cost-effective оценки LLM. Это, конечно, не все аспекты, а лишь часть, полную картину смотрите в записи круглого стола. Кажется, лучшего завершения конференции и придумать нельзя! @mashkka_ds #трудовыебудни #mashkka_kazakhstan #aist #ai