相关文章

【计算机图形学】Learning Agent-Aware Affordances for Closed-Loop Interaction with Articulated Objects

对Learning Agent-Aware Affordances for Closed-Loop Interaction with Articulated Objects的简单理解 文章目录 1. 以往工作缺陷,当前工作所做内容2. 问题定义3. 智能体感知的Affordance学习3.1 基于Affordance的pose模块3.2 控制管线 1. 以往工作缺陷&#xff…

ManipVQA: Injecting Robotic Affordance and Physically Grounded Information into Multi-Modal Larg

发表时间:17 Mar 2024 作者单位:Shanghai AI Laboratory Motivation:尽管MlLMs取得了进步,但传统的 MLLM 通常在通用图像文本对上进行训练,缺乏必要的机器人知识,例如可供性和物理知识,这阻碍…

【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance Graphs

【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance Graphs 目录 【阅读笔记】Zero-Shot Human-Object Interaction Recognition via Affordance GraphsAbstractIntroductionMethodModelAffordance GraphGCNClass Representations Training Experimen…

【计算机图形学】Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation

对Learning Foresightful Dense Visual Affordance for Deformable Object Manipulation的简单理解 文章目录 1. 认为现有工作的缺陷2. 做了件什么事3. 介绍4. 相关工作4.1 感知和操纵可变形的物体4.2 用于机器人操纵的Visual Affordance 5. 问题定义6. 方法6.1 概览6.2 表示策…

从以自我为中心视频中学习用于机器人操作的精确affordance

24年8月来自英国爱丁堡大学和华为诺亚实验室的论文“Learning Precise Affordances from Egocentric Videos for Robotic Manipulation”。 Affordance,即目标提供的潜在动作,对于机器人操作任务至关重要。深入了解affordance可以带来更智能的人工智能系…

【具身智能 Affordance learning论文精读系列 】Where2Act: From Pixels to Actions for Articulated 3D Objects

前言 本系列面向两种读者:(1)想浅显、直观了解论文的主要方法(2)读论文的时候有地方不理解,想深入研究论文的细节 这篇论文《Where2Act: From Pixels to Actions for Articulated 3D Objects》是斯坦福三…

【计算机图形学】General Flow as Foundation Affordance for Scalable Robot Learning

对General Flow as Foundation Affordance for Scalable Robot Learning的简单理解 文章目录 1. 做的事2. 作为Affordance的General Flow2.1 General Flow Affordance2.2 General Flow属性 3. 智能体不可知的和规模感知的General Flow预测3.1 General Flow标签获取3.2 规模感知…

【论文阅读】Object affordance based multimodal fusion for natural Human-Robot interaction (视音信息融合)

论文来源 摘要 利用语义识别控制、视觉上基于CNN二者的模态融合控制实现人机交互,研究可识别物体的功能可供性(affordance),并进行了分类抓取的实验。 1.介绍 语音控制自然直接,是人机交互重要的手段。在给出语音命…

【具身智能 Affordance learning论文精读系列】Learning Affordance Landscapes for Interaction Exploration in 3D Env

前言 本系列面向两种读者:(1)想浅显、直观了解论文的主要方法(2)读论文的时候有地方不理解,想深入研究论文的细节 本文是NeurIPS 2020年的作品,来自FAIR(Facebook AI Research),通…

【计算机图形学】Affordance Learning from Play for Sample-Efficient Policy Learning

对Affordance Learning from Play for Sample-Efficient Policy Learning的简单理解,不包括Introduction、Related Work和Experiment 文章目录 1. 想要做的事2. 方法概览2.1 从游戏数据中学习Visual Affordance2.2 从基于模型的工作空间到强化学习的工作空间2.3 Af…

Affordance Detection of Tool Parts from Geometric Features

ICRA 2015 背景介绍 Affordence 解释:Affordence 本文提出从定位和几何原语提出两种方法学习Affordence:基于高像素的层次匹配(S-HMP)和结构化随机森林(SRF)。 S-HMP 深度特征:首先应用平滑…

Grasp Pose Detection with Affordance-based Task Constraint Learning in Single-view Point Clouds

1.解决的问题 Knowing how to grasp is generally more challenging than what to grasp for a robot. 从单视角点云规划抓取的挑战性在于模型需要对RGB-D感知的不精确和不完整进行补偿。 GPD方法在物体CAD模型未知的情况下直接从RGB-D传感信息中检测3DoF或6DoF抓取位姿&…

论文阅读学习 - AffordanceNet for Object Affordance Detection

AffordanceNet - Object Affordance Detection [Paper] [Code-Caffe] 摘要: AffordanceNet, 主要用于从 RGB 图片中同时检测多种 objects 以及其 affordance. 网络主要有两个分支:object 检测分支来对 object 进行定位和分类;affordance 检测分支来对 object 的每个像素…

【计算机图形学】AdaAfford: Learning to Adapt Manipulation Affordance for 3D Articulated Objects via Few-shot

论文全称:AdaAfford: Learning to Adapt Manipulation Affordance for 3D Articulated Objects via Few-shot Interactions 文章目录 1. 为什么做这件事 & 做了件什么事2. 介绍3. 相关工作3D shapes中的视觉affordance通过少量交互的快速适应 4. 问题定义5. 方…

【计算机图形学】DualAfford: Learning Collaborative Visual Affordance For Dual-Gripper Manipulation

文章目录 1. 为什么做件事,做了件什么事?2. 介绍3. 相关工作双gripper操纵Visual Affordance预测 4. 问题定义通用设定任务定义 5. 方法5.1 DualAfford Overview5.2 感知模块与推理5.2.1 第一个Gripper模块5.2.2 第二个Gripper模块 5.3 训练和损失5.4 协…

VRAR中的Affordance人机交互设计

这是一篇关于人机交互设计中的Affordance(示能)指南。本文将以“问题答案”的形式具体展开介绍Affordance和Signifier的重要性和AR世界中的例子以供大家学习。 1.为什么AR仍然不受欢迎? 这是由于缺乏对用户的了解、缺乏设备性能和缺乏内容造…

Learning Affordance Landscapes for Interaction Exploration in 3D Environments翻译

Abstract   在人类空间中运作的具身智能体(embodied agents)必须能够了解其身处的环境是如何工作的:该智能体可以使用哪些对象,以及如何使用它们?FAIR(Facebook AI Research)引入了一种增强学习方法来进行交互探索&a…

【计算机图形学】Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objec

Where2Explore: Few-shot Affordance Learning for Unseen Novel Categories of Articulated Objects 文章目录 1. 为什么做这件事,做了件什么事?2. 介绍3. 相关工作通过感知铰接物体实现操纵在铰接物体上的Affordance学习 4. 问题定义5. 方法5.1 建立支…

Learning to Move with Affordance Maps译文

Learning to Move with Affordance Maps Abstract 自主探索和导航物理空间的能力几乎是任何移动自主agent的基本要求,从家用机器人吸尘器到自动驾驶车辆。传统的基于SLAM的探索和导航方法主要集中在利用场景几何,但没有对动态对象(如其他agents)或语义约…

论文InstructPart: Affordance-based Part Segmentation from Language Instruction解读(卡耐基梅隆大学)

更多内容关注公众号:AIRoobt InstructPart: Affordance-based Part Segmentation from Language Instruction InstructPart:基于语言指令的功能性部分分割 摘要:最近在视觉-语言模型(VLMs)方面的进展导致了它们在机…