bencmarkСбросить фильтр ×

Бенчмарк LLM в задаче OCR для e-commerce

S@saas_foundersAI-инженер
13 ч
провел бенчмарк LLM моделей на OCR в задаче "распознай данные со скриншота магазина и сложи в JSON" - требуется определить заголовок, категорию товара, цену, выбранные параметры/опции. Фокус был на костах, конечно же - стоимость за 1000 распознанных скриншотов с максимальным качеством при этом. Победила опять... Gemma 4 31B. В 20+ раз дешевле gemini 3.7 flash. $0.115 за 1000 распознанных скриншотов. Судьей в бенчмарке выступил мой хороший приятель Codex + 5.6 Sol Medium.
Бенчмарк LLM в задаче OCR для e-commerce

Публичный запуск поискового агента Keenable и бенчмарка Needle

Компания Keenable вышла из режима стелс-разработки, представив собственный агентский поисковый движок. Разработчики заявляют, что их решение превосходит конкурентов, включая Exai, по соотношению цены и качества.

Одновременно с запуском компания представила Needlei — динамический бенчмарк для оценки поисковых систем, который ежедневно обновляется, чтобы исключить возможность «зазубривания» ответов моделями.

5источников данных в бенчмарке

Полный разбор →

Это всё на сейчас.