Loading...

Meta AI|HomeRobot: 开放词汇移动操纵

大模型11个月前发布 智源社区
376 0 0

HomeRobot: Open-Vocabulary Mobile Manipulation

Sriram Yenamandra, Arun Ramachandran, Karmesh Yadav, Austin Wang, Mukul Khanna, Theophile Gervet, Tsung-Yen Yang, Vidhi Jain, Alexander William Clegg, John Turner, Zsolt Kira, Manolis Savva, Angel Chang, Devendra Singh Chaplot, Dhruv Batra, Roozbeh Mottaghi, Yonatan Bisk, Chris Paxton
[Georgia Tech & Meta AI]

HomeRobot: 开放词汇移动操纵

  • 动机:在家庭环境中,移动操作机器人需要能够理解和操作各种物体,与环境互动,并能够智能地探索有限感知的世界。这个问题被称为开放词汇移动操作(OVMM):一个有用的机器人应该能够在任意家庭环境中找到并移动任意物体。然而,现有的研究并没有在大型、连续、真实世界环境中处理移动操作问题,而是大大简化了设置,例如使用离散动作空间、有限的物体集合或容易探索的小型、单房间环境。
  • 方法:为了推动该领域的研究,本文介绍了HomeRobot OVMM基准测试,其中一个智能体需要在家庭环境中导航,抓取新的物体并将它们放在目标容器上。HomeRobot有两个组成部分:一个模拟组件,在新的、高质量的多房间家庭环境中使用大量和多样的精选物体集;和一个真实世界组件,为低成本的Hello Robot Stretch提供软件栈,以鼓励实验室之间复制真实世界的实验。
  • 优势:HomeRobot提供了一个模拟环境,允许进行多样化、长期任务的实验;其真实世界的HomeRobot栈允许进行真实数据的实验,并设计了一套真实世界的测试来评估当前基线在不同条件下的性能。

一句话总结: 提出名为HomeRobot的开放词汇移动操作(OVMM)基准测试,能在模拟和真实世界环境中进行移动操作任务,以推动机器人在真实家庭环境中的应用研究。

https://arxiv.org/abs/2306.11565 

Meta AI|HomeRobot: 开放词汇移动操纵

© 版权声明

相关文章

暂无评论

暂无评论...