FRIDA-Decisions: эффективная модель для принятия решений
M@mashkka_dsAI-инженер
2 недОбзор создания FRIDA-Decisions, компактной 0.8B модели для принятия решений, оптимизирующей LLM-пайплайны по скорости и стоимости.
Оптимизация LLM-пайплайнов позволяет существенно снизить затраты на инфраструктуру.
- Использование специализированных компактных моделей вместо тяжелых LLM для задач роутинга и фильтрации.
- Снижение стоимости обработки запросов за счет оптимизации архитектуры и функции потерь.
- Повышение скорости работы пайплайнов благодаря однократному прогону текста для нескольких вариантов ответа.
🤖Не Jev, а FRIDA-Decisions
FRIDA-Decisions: @artyfishl поделился рецептом как в кратчайшие сроки сделали свою decision-модель — FRIDA Decisions, всего на 0,8B и по качеству сравнимую с оригинальным Jev на бенчмарках.
Спойлерить не буду, читайте статью, из которой вы узнаете:
• почему роутинг, guardrails и реранкинг не обязательно отдавать LLM
• упаковка: как прогнать текст через модель один раз сразу для всех вариантов ответа и ускорить запрос в разы
• какие результаты показывают модели на razvilka, новом открытом бенчмарке,
• честный разбор скорости и цены, вплоть до рублей за тысячу запросов
• как устроено обучение: один текст, несколько вопросов, своя функция потерь на каждый тип.
💡Полезно тем, кто строит LLM-пайплайны и платит за каждый вызов судьи.
📝 Habr
🎮 Демо
🤗 Модель
🖥 Код
📊 Бенчмарк
📓 Примеры
#jev #ai #frida
Кратко (AI)
Команда разработчиков представила FRIDA-Decisions, специализированную модель размером 0,8B, предназначенную для задач принятия решений в LLM-пайплайнах. Модель демонстрирует качество, сопоставимое с Jev, при значительно более высокой скорости и низкой стоимости обработки запросов.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖