HapticVLA: обучение роботов тактильному взаимодействию без сенсоров

HapticVLA: как научить робота чувствовать без датчиков касания? Одна из ключевых задач Physical AI заключается в том, чтобы научить роботов взаимодействовать с физическим миром, в том числе контролировать силу захвата и аккуратно работать с хрупкими предметами. В нашей работе HapticVLA мы предложили использовать тактильные сенсоры только во время обучения. Сначала модель учится с их помощью, а затем полученные знания переносятся в VLA-модель, которая работает без датчиков касания. В экспериментах HapticVLA достигла 86,7% успешных выполнений на трёх задачах с предметами разной степени хрупкости: пластиковой банкой, вафлями и яйцами. Наш подход позволяет использовать тактильную информацию для обучения роботов без необходимости оснащать их дополнительными сенсорами при реальном применении. Я начал работу над HapticVLA после поступления на совместную магистерскую программу AI Robotics Яндекса и Сколтеха. Параллельно с учёбой исследование заняло около полугода. Статья на arxiv — Спасибо Мише за годные инсайды прямиком с IROS! На самом деле очень сложно с нуля за полгода сделать проект, который залетит и будет принят на топовую конфу, поэтому это мощно! Накидайте Мише реакций за эксклюзив и пишите вопросы в комменты, пока он там на месте. @ai_newz