发表时间:17 Mar 2024
作者单位:Shanghai AI Laboratory
Motivation:尽管MlLMs取得了进步,但传统的 MLLM 通常在通用图像文本对上进行训练,缺乏必要的机器人知识,例如可供性和物理知识,这阻碍…
24年8月来自英国爱丁堡大学和华为诺亚实验室的论文“Learning Precise Affordances from Egocentric Videos for Robotic Manipulation”。
Affordance,即目标提供的潜在动作,对于机器人操作任务至关重要。深入了解affordance可以带来更智能的人工智能系…
前言
本系列面向两种读者:(1)想浅显、直观了解论文的主要方法(2)读论文的时候有地方不理解,想深入研究论文的细节
这篇论文《Where2Act: From Pixels to Actions for Articulated 3D Objects》是斯坦福三…
对General Flow as Foundation Affordance for Scalable Robot Learning的简单理解 文章目录 1. 做的事2. 作为Affordance的General Flow2.1 General Flow Affordance2.2 General Flow属性 3. 智能体不可知的和规模感知的General Flow预测3.1 General Flow标签获取3.2 规模感知…
1.解决的问题
Knowing how to grasp is generally more challenging than what to grasp for a robot. 从单视角点云规划抓取的挑战性在于模型需要对RGB-D感知的不精确和不完整进行补偿。
GPD方法在物体CAD模型未知的情况下直接从RGB-D传感信息中检测3DoF或6DoF抓取位姿&…
Abstract 在人类空间中运作的具身智能体(embodied agents)必须能够了解其身处的环境是如何工作的:该智能体可以使用哪些对象,以及如何使用它们?FAIR(Facebook AI Research)引入了一种增强学习方法来进行交互探索&a…
Learning to Move with Affordance Maps
Abstract 自主探索和导航物理空间的能力几乎是任何移动自主agent的基本要求,从家用机器人吸尘器到自动驾驶车辆。传统的基于SLAM的探索和导航方法主要集中在利用场景几何,但没有对动态对象(如其他agents)或语义约…
更多内容关注公众号:AIRoobt
InstructPart: Affordance-based Part Segmentation from Language Instruction
InstructPart:基于语言指令的功能性部分分割
摘要:最近在视觉-语言模型(VLMs)方面的进展导致了它们在机…