Тестирование ИИ-моделей в управлении реальным автомобилем

1 мес

Исследователи DrivingBench протестировали работу ИИ-моделей в управлении реальной Toyota Corolla через протокол MCP на размеченной трассе.

Это важный шаг в проверке способности ИИ управлять физическими объектами в реальном мире.

Демонстрирует возможности протокола MCP для интеграции ИИ с физическим оборудованием.
Показывает эффективность методов саморефлексии ИИ для улучшения навыков вождения.
Выявляет критические проблемы в текущих моделях при работе с физической средой.

Наконец-то нормальные бенчмарки. Чуваки из DrivingBench подключили топовые ИИ-модели к настоящей Toyota Corolla и через MCP дали им управление рулём, газом и тормозом. Каждой модельке дали до трёх попыток. Задача была простая: проехать размеченную конусами трассу, не выехать за её пределы и в конце добраться до финиша. Скорость программно ограничили примерно до 13 км/ч. Результаты получилист следующие: GPT-6 Astra — 100%, Claude Fable 5.1 — 45%, Grok 4.6 — 11%, GPT-5.6 Sol — 6%. Проценты тут показывают, какую часть маршрута модель смогла пройти не натупив. Астра с первой попытки осилила только 49%. После этого ей предложили самой разобрать свой заезд, понять где именно она тупила, и подумать, как эти тупки исправить. В итоге она решила ехать медленнее, делать более короткие движения и сильнее выкручивать руль на поворотах. Со второй попытки Astra прошла всю трассу за 5 минут 22 секунды. Кстати, основным и самым страшным противником современного ИИ в вождении оказался первый поворот, лол.

Кратко (AI)

Проект DrivingBench провел тестирование различных ИИ-моделей, предоставив им управление реальным автомобилем Toyota Corolla через протокол MCP. Модели должны были проехать трассу с конусами, при этом GPT-6 Astra показала лучший результат, успешно завершив маршрут после самоанализа ошибок.

Тестирование ИИ-моделей в управлении реальным автомобилем

Кратко (AI)

Обсуждение