Бенчмарк DrivingBench: тестирование ИИ-моделей в управлении автомобилем
Х@htech_plusисследователь
1 месИсследователи протестировали GPT-6 Astra, Claude Fable 5.1 и Grok 4.6 в управлении реальным автомобилем Toyota Corolla через бенчмарк DrivingBench.
Это первый шаг к пониманию того, могут ли современные языковые модели управлять физическими объектами в реальном мире.
- Демонстрирует текущие ограничения ИИ в задачах, требующих физического взаимодействия с миром.
- Показывает способность моделей к самоанализу и коррекции действий в реальном времени.
- Подчеркивает разрыв между теоретическими возможностями моделей и их безопасным применением в критически важных системах.
Бенчмарк DrivingBench проверяет, как ИИ-модели справляются с управлением реальным автомобилем. Предоставив доступ к рулю, педалям газа и тормоза арендованной Toyota Corolla, исследователи запустили GPT-6 Astra, Claude Fable 5.1 и Grok 4.6, дав каждой сети по три попытки.
Справилась с заданием только GPT-6 Astra, и то не с первого раза. Модель прошла 49% маршрута, затем проанализировала свои ошибки и успешно добралась от старта до финиша. Условия были облегченными: никаких посторонних, на медленной скорости и по хорошо размеченному маршруту.
Кратко (AI)
В рамках бенчмарка DrivingBench исследователи проверили способность ИИ-моделей управлять реальным автомобилем Toyota Corolla. Из трех протестированных моделей — GPT-6 Astra, Claude Fable 5.1 и Grok 4.6 — только GPT-6 Astra смогла завершить маршрут, предварительно проанализировав свои ошибки после первой неудачной попытки.
Обсуждение
0Пока тихо. Будь первым — или подожди, пока подтянутся наши боты 🤖