PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2509.19571v2cs.RO

에이전틱 장면 정책: Agentic Scene Policies

Agentic Scene Policies

다양한 언어 지시문과 물체에 걸쳐 제로샷(zero-shot)으로 일반화되는 로봇 정책을 설계하거나 학습하는 것은 로보틱스 분야의 핵심 과제입니다. 비전-언어-행동 모델(VLA)은 기존 비전-언어 모델(VLM)의 용도를 변경하여 이러한 정책을 엔드투엔드로 학습하지만, 새로운 지시문과 물체로의 일반화는 여전히 어려운 과제로 남아 있습니다. 대안으로는 명시적인 VLM 기반 3D 장면 표현과 모션 플래닝을 활용하여 모듈형 정책을 구현하는 방식이 있습니다. 모듈형 정책은 강력한 제로샷 잠재력을 보여주지만, 일반적으로 명시적인 공간 추론 없이 의미론(semantics)을 기반으로 물체를 검색하므로 전반적인 그라운딩(grounding) 능력이 심각하게 제한됩니다. 또한 기본적인 파지(grasping) 및 내비게이션 기술만을 사용하여 물체와 상호작용합니다. 본 연구에서는 장면-에이전트 도구 인터페이스를 통해 단일 에이전트 행동 공간 내에서 그라운딩 능력과 로봇 기술을 통합함으로써 이러한 한계를 해결합니다. 파트 수준 어포던스(affordance)를 활용하여 우리의 기술은 다양한 물체에 걸쳐 일반화되며 충전기 분리, 서랍 열기와 같은 제로샷 상호작용을 가능하게 합니다. 우리는 이 프레임워크를 Agentic Scene Policies(ASP)로 명명했습니다. 광범위한 실제 환경 실험을 통해 ASP가 제로샷 설정에서 선도적인 VLA보다 일관되게 우수한 성능을 발휘함을 보입니다. 또한 방 수준의 질의를 해결하기 위한 ASP의 모바일 버전을 도입하여 프레임워크의 확장성을 입증합니다. 더 많은 결과는 프로젝트 페이지(https://montrealrobotics.ca/agentic-scene-policies.github.io/)에서 확인할 수 있습니다.

arXiv:2607.05780v2cs.RO

FuncBridge: 키포인트 궤적 추론을 통한 기능적 도구 사용 일반화

FuncBridge: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning

인간은 못을 박기 위해 책, 돌, 신발 등을 손쉽게 용도 변경하여 사용하지만, 특정 도구로 훈련된 로봇은 동일한 기능을 새로운 도구로 전이하지 못합니다. 본 연구에서는 이러한 간극을 기능적 일반화(functional generalization)로 공식화합니다. 기능적으로 동등한 도구들은 접촉이 발생할 수 있는 위치나 접촉 영역이 목표를 향해 어떻게 이동해야 하는지와 같이 시각적으로 인식 가능한 기능적 의도를 공유합니다. 그러나 이러한 지각적 유사성은 해당 기능을 실현하기 위해 각 도구마다 서로 다른 모터 패턴을 요구하는 행동 공간으로 직접 이어지지 않습니다. 이러한 간극을 좁히기 위해, 어포던스(affordance) 이미지, 인간 비디오 프롬프트, 기능적 비디오 및 객체 마스크, 2D 키포인트 궤적을 포함한 중간 표현들을 탐색하였으며, 그 결과 키포인트 궤적이 기능적 표현력과 행동 접지(action groundability) 간의 균형을 가장 잘 유지함을 발견했습니다. 이를 바탕으로, 행동 실행으로부터 기능적 추론을 분리하는 2단계 프레임워크인 FuncBridge를 제안합니다. 이는 행동 없는(action-free) 데이터로부터 일반화 가능한 키포인트 궤적을 예측하도록 학습한 후, 제한된 데모를 통해 이를 로봇 행동으로 접지합니다. 타격(hitting), 쓸기(sweeping), 걸기(hooking)를 포함한 10개의 도구와 3개의 기능에 걸친 벤치마크에서, FuncBridge는 시뮬레이션과 실제 환경 모두에서 보지 못한 도구에 대해 기존 최첨단 방법들을 일관되게 능가합니다.

arXiv:2607.02549v1cs.CV

혼잡한 수납 환경에서 블레이드 삽입을 위한 3D 어포던스 학습

Learning 3D Affordances for Blade Insertion in Cluttered Stowing

많은 조작 작업은 자유 공간 어포던스(affordance)에 대한 추론을 필요로 한다: 파지(grasping)를 위한 표면 접촉 어포던스와 상호보완적으로, 확장된 강체 도구가 안전하게 이동할 수 있는 부피를 탐색하는 것이다. 로봇 수납은 이러한 작업의 대표적인 예로, 블레이드가 혼잡한 천 소재 빈(bin) 내부에서 물건들을 옆으로 밀어 삽입 공간을 만들어야 한다. 실제 생산 수납 시스템은 수백만 건의 에피소드를 생성하지만, 단일 모달 데이터를 사용하는 표준 접근법은 어포던스를 SE(3) 포즈 분포로 추론하며, 이는 잘못된 영역에서 제기된 기하학적 질문이다. VulcanVoxel은 추론을 공간적으로 유지한다: 3D 점유 필드에 대한 마스크드 오토인코더(masked autoencoder)가 장면 기하학에 조건화하여 블레이드 점유를 재구성하고, 각 복셀(voxel)에서 국소적으로 실현 가능성을 계산하며, 단일 모달 데이터로부터 다중 모달 예측을 복원한다. 블레이드 어포던스는 기하학적 실현 가능성으로 정의된 3D 공간의 부분집합인 공간적 객체이다. 포즈 파라미터는 관측되지 않은 배치의 실현 가능성을 추론하기 위한 구조를 담고 있지 않으며, 플로우 매칭(flow matching)을 포함한 표준 생성 목적 함수는 실행 정책이 생성하는 단일 모달 분포를 충실하게 학습하여 기하학적 대안을 복원할 수 없다. 인간 어노테이션 없이 실제 창고 수납 에피소드 10,000건으로 학습된 VulcanVoxel은 최고 포즈 기반 기준선(baseline)의 0.71 대비 상위 5개 커버리지 0.89를 달성하며, 지식 증류된 학생 모델이 복셀-투-복셀 방식의 1.4초 대비 30ms의 RGB-투-복셀 추론(inference)을 제공한다. 실제 블레이드 삽입 사이클의 RGB-D 관측 및 포즈 궤적이 포함된 데이터셋(dataset)을 https://www.armbench.com/blade_insertion.html에 공개하였다.

arXiv:2606.31200v1cs.AI

Agentic RAG-VLM: Affordance-Aware Retrieval-Augmented Generation with Self-Reflective Planning for Robotic Grasping

어수선한 환경에서의 로봇 파지(grasping) 문제를 해결하기 위해, Agentic RAG-VLM은 시각적 유사성 대신 물체의 물리적 어포던스(affordance)를 기반으로 경험을 검색하는 HAA-RAG, 씬 그래프(scene graph) 기반 공간 제약 추론, 14가지 실패 유형 분류와 3단계 적응형 재시도를 갖춘 자기반성(self-reflective) 에이전트 파이프라인을 통합한 프레임워크를 제안한다. 12개 작업 벤치마크에서 전체 성공률 78.3%를 달성해 VLM 단독 기준 대비 53.3%p 향상을 보였다.