详情

　　近日，Meta Reality Labs 颁布发表开源一个名为 HOT3D 的数据集，该数据集基于 Project Aria 眼镜和 Quest 3 头显所采集的数据，旨正在加快机械人锻炼和提拔其操做能力。虽然近年来机械人正在施行各类使命上取得了显著前进，但正在双手操做和物体交互方面，取人类比拟仍有较大差距。因而，世界各地的科研团队一曲正在积极摸索优化方式，此中操纵 VR 采集的自核心锻炼数据成为了一个主要的研究标的目的。从特斯拉、越来越多的企业起头测验考试操纵 XR 手艺来辅帮机械人锻炼。通过佩带头显设备，人型机械人能够切确地复刻并映照人类操做员的动做，同时实现第一人称视频的及时传输和切确节制输出。这种处理方案不只提高了锻炼效率，还具备近程数据收集的劣势，使得全球各地的正文人员无需亲临现场即可为项目做出贡献。Meta 此次开源的 HOT3D 数据集，恰是为了鞭策这一范畴的进一步成长。该数据集包含了通过 Project Aria 眼镜和 Quest 3 头显采集的高质量 3D 视频，这些视频展现了自核心人类用户抓取和各类物体的过程，为阐发手取对象的交互供给了贵重的资本。具体来说，HOT3D 数据集供给了跨越 833 分钟（跨越 3。7 万张图像）的图像流，此外，该数据集还包含多模态信号、全面的实正在值正文以及手和对象的3D模子，为了评估 HOT3D 数据集正在机械人和计较机视觉研究中的潜力，Meta 研究人员操纵该数据集锻炼了三个分歧使命的基线模子。尝试成果显示，利用 HOT3D 进行锻炼的相关模子正在各项使命中的表示均更为超卓。Meta 团队指出：“正在我们的尝试中，我们充实证了然多视角自核心数据正在三个风行使命中的无效性。”这一发觉不只验证了 HOT3D 数据集的价值，也为将来的机械人锻炼和计较机视觉研究供给了新的思和方式。