Т-Технологии представили модель T-Search для Agentic RAG

Появился способ ускорить корпоративный ИИ без дополнительных затрат на железо Т-Технологии дропнули на Hugging Face модель T-Search — первую русскоязычную модель для Agentic RAG для многошагового поиска по внутренним документам. Но самое любопытное здесь — не сам поиск, а то, как удалось сократить требования к железу. Архитектура модели позволяет запускать ее на одной Nvidia H100, хотя по качеству она сопоставима с открытыми решениями, которым обычно требуется от 16-ти и выше GPU на модуль. В сравнении с классическими RAG-системами, T-Search позволяет сократить расходы на инференс еще на 20-50% в зависимости от сценария. А благодаря возможности запускать модель на собственной инфраструктуре компании могут не расширять GPU-кластер даже при пиковых нагрузках, одновременно снижая стоимость обработки запросов. Ну и приятный бонус для бизнеса, что данные остаются внутри компании и не отправляются во внешние облачные сервисы. В корпоративном ИИ, где тысячи запросов проходят через модели каждый день, такие оптимизации часто оказываются важнее, чем очередной рекорд в бенчмарках. @cgevent