Сравнение точности моделей Astra и GPT-5.6 Sol
С@seeallochnayaAI-инженер
1 месАнализ методологии оценки галлюцинаций и сравнение фактической точности моделей Astra и GPT-5.6 Sol на основе пользовательских данных.
Разработчики ИИ совершенствуют методы борьбы с галлюцинациями, делая ответы моделей более надежными.
- Новая методика тестирования использует реальные примеры ошибок пользователей для проверки моделей.
- Модель Astra показывает более высокую точность в сравнении с GPT-5.6 Sol.
- Улучшения заметны даже при низких настройках длины рассуждений, что важно для скорости работы.
В карточке тоже есть интересные метрики, но хотел выделить вот это:
«Мы оцениваем фактологическую точность на обезличенных диалогах из ChatGPT, которые пользователи наших предыдущих моделей отметили как содержащие фактические ошибки. Эти примеры специально отобраны для выявления случаев, наиболее подверженных галлюцинациям, поэтому ожидается, что их абсолютная частота ошибок будет намного выше реального уровня ошибок в продакшене. Эту метрику не следует интерпретировать как частоту галлюцинаций, наблюдаемую при реальной эксплуатации. Мы используем две метрики: (1) допускает ли модель вообще какую-либо ошибку (частота галлюцинаций на уровне ответа) и (2) воспроизводит ли модель ту самую конкретную ошибку, на которую указал пользователь.
Мы обнаружили, что Astra допускает существенно меньше фактических ошибок, чем GPT-5.6 Sol, и с гораздо меньшей вероятностью воспроизводит галлюцинации, о которых сообщали пользователи. Эти улучшения особенно ярко выражены при очень низких настройках длины рассуждений»
Кратко (AI)
В посте приводится описание методологии оценки фактической точности ИИ-моделей на основе диалогов с выявленными ошибками. Автор отмечает, что модель Astra демонстрирует значительно меньшее количество галлюцинаций по сравнению с GPT-5.6 Sol, особенно при ограниченных ресурсах на рассуждения.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖