PyTorchKR Papers

최신 논문

총 11편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.20992v4cs.CV

Open-CHOIR: 오픈월드 접촉 인식 기반 4D 손-물체 상호작용 복원

Open-CHOIR: Open-World Contact-Aware 4D Hand-Object Interaction Reconstruction

본 논문에서는 일상적인 오픈월드(open-world) 단안 비디오를 관절형 손 움직임, 시간에 따른 6D 포즈를 갖는 물체 형상, 접촉의 시점 및 위치와 같은 재사용 가능한 4D 상호작용 프리미티브로 변환할 수 있는지 질문을 던집니다. 이러한 기능은 실제 상호작용의 확장 가능한 마이닝을 가능하게 하며, 단순한 복원을 넘어 장면 인식 합성 및 계획을 지원할 수 있습니다. 그러나 까다로운 단안 비디오로부터 손-물체 상호작용(HOI)을 복원하는 것은 여전히 어렵습니다. 기존 방식들은 종종 알려진 물체나 정제된 장면을 가정하며, 복잡한 배경, 가림 현상, 그리고 보지 못한 물체 기하구조 하에서는 개별적으로 추정된 손과 물체의 정렬이 쉽게 어긋납니다. 이러한 환경을 해결하기 위해, 본 연구에서는 손과 물체 사이의 명시적인 결합 신호로 접촉을 사용하는 단안 카메라용 오픈월드 접촉 인식 HOI 복원 프레임워크인 Open-CHOIR를 제안합니다. Open-CHOIR는 먼저 오픈월드 시각적 사전 정보를 활용하여 대략적인 접촉 무관 4D HOI 시퀀스를 초기화합니다. 그런 다음 광선-깊이(ray-depth) 보정을 예측하고 손-물체 간의 상대적 배치를 교정한 뒤, 교정된 기하구조 상에서 프레임별 초기 접촉 대응점을 도출하는 생성형 HOI 공간 교정 모듈을 도입합니다. 마지막으로, 동적으로 업데이트되는 접촉 제약 조건을 갖춘 접촉 인식 공동 최적화를 통해 기하학적, 시간적, 접촉 일관성을 강제합니다. 통제된 비디오 및 도전적인 비디오에 대한 실험을 통해 Open-CHOIR가 최신 최고 수준(SOTA) 방법들에 비해 물체 복원, 물리적 타당성, 시간적 일관성을 향상시킴을 입증합니다. 코드, 데이터 및 사전학습된 가중치는 https://github.com/hxwork/CHOIR 에서 확인할 수 있습니다.

arXiv:2604.14944v3cs.RO

HRDexDB: 인간 및 다중 로봇 임바디먼트에 걸친 4D 정교한 파지 데이터셋

HRDexDB: A 4D Dexterous Grasping Dataset Across Human and Multiple Robot Embodiments

본 논문에서는 5개의 임바디먼트(embodiment)에 걸쳐 시간에 따른 3D 손-물체 상호작용 궤적을 캡처한 실제 환경 4D 정교한 파지(dexterous grasping) 데이터셋인 HRDexDB를 제시합니다. 이 데이터셋은 100개의 다양한 물체에 대한 3,200회의 시도로 구성됩니다. 동기화된 다중 카메라 시스템과 통합 재구성 파이프라인을 활용하여, HRDexDB는 성공/실패 어노테이션과 함께 다중 뷰 및 1인칭 시점(egocentric) RGB 관측치, 3D 손 기하구조, 로봇 상태, 물체의 6D 포즈 궤적을 제공합니다. 인간과 로봇의 손이 공통 물체와 상호작용하므로 임바디먼트별 파지 전략과 접촉 패턴에 대한 연구가 가능합니다. 본 연구는 인간-로봇 간 접촉 맵 전이, 시각적 로봇-물체 접촉 추정, 검색 보조 파지를 통해 본 데이터셋의 유용성을 입증합니다. 이러한 결과를 종합하여 HRDexDB는 인간 및 로봇 임바디먼트 전반에서 정교한 상호작용을 연구하고 학습하기 위한 유용한 자원으로 자리매김합니다.

arXiv:2510.00506v2cs.CV

3D 손 재구성을 위한 어포던스 유도 확산 사전분포

Affordance-Guided Diffusion Prior for 3D Hand Reconstruction

손의 상당 부분이 자기 자신이나 물체에 의해 심하게 가려졌을 때 3D 손 자세를 어떻게 재구성할 수 있을까? 인간은 종종 어포던스(affordance)와 같은 문맥적 지식을 활용하여 이러한 모호성을 해결한다. 어포던스에서는 물체의 형태와 기능이 해당 물체가 일반적으로 어떻게 잡히는지를 시사한다. 이러한 관찰에서 영감을 받아, 우리는 손-물체 상호작용(hand-object interaction, HOI)에 대한 어포던스 인식 텍스트 설명으로 유도되는 손 자세 정제용 생성 사전분포를 제안한다. 우리의 방법은 어포던스 설명에 조건부로 타당한 손 자세의 분포를 학습하는 확산 기반 생성 모델을 사용하며, 이 설명은 대규모 비전-언어 모델(vision-language model, VLM)로부터 추론된다. 이를 통해 가려진 영역을 더 정확하고 기능적으로 일관된 손 자세로 정제할 수 있다. 심각한 가림이 있는 3D 손-어포던스 데이터셋 HOGraspNet에서의 광범위한 실험은, 우리의 어포던스 유도 정제가 최근 회귀 방법과 문맥적 추론이 없는 확산 기반 정제 모두에 비해 손 자세 추정을 크게 개선함을 보여준다.

arXiv:2502.20805v3cs.RO

FunHOI: 기능적 텍스트 가이던스를 통한 어노테이션 없는 3D 손-물체 상호작용 생성

FunHOI: Annotation-Free 3D Hand-Object Interaction Generation via Functional Text Guidance

3D 어노테이션 없이 자연어 프롬프트로부터 기능적 의도에 맞는 손-물체 상호작용(HOI)을 생성하는 FunHOI 프레임워크를 제안하며, FGG가 기능적 텍스트를 2D HOI 가이던스 이미지로 변환하고 FGR이 스케일 정렬과 접촉 최적화를 통해 물리적으로 타당한 3D 상호작용을 구성한다. 광범위한 실험을 통해 추가 3D 어노테이션 데이터 없이도 기존 방법 대비 경쟁력 있는 재구성 품질과 기능적 의도 정렬을 달성함을 입증한다.

arXiv:2603.19013v4cs.CV

GenHOI: 폐색 인식 기반 일반화된 손-객체 포즈 추정

GenHOI: Generalized Hand-Object Pose Estimation with Occlusion Awareness

단일 RGB 이미지에서 폐색(occlusion) 환경의 3D 손-객체 포즈 추정 일반화를 위해, GenHOI는 계층적 의미론적 프롬프트와 멀티모달 마스킹 모델링, 손 사전 정보(hand priors)를 통합하는 프레임워크를 제안한다. DexYCB 및 HO3Dv2 벤치마크에서 최신 기술 수준의 성능을 달성하여 미관측 객체 및 새로운 상호작용 패턴에 대한 강인한 포즈 추론 능력을 입증한다.

arXiv:2506.10816v2cs.CV

마스크 오토인코더를 활용한 가림 인식 3D 손-물체 포즈 추정

Occlusion-Aware 3D Hand-Object Pose Estimation with Masked AutoEncoders

단안 RGB 이미지에서 심각한 가림 현상으로 인한 손-물체 포즈 추정의 한계를 극복하기 위해, 마스크 오토인코더(MAE) 기반의 HOMAE를 제안하며 손-물체 상호작용 영역에 구조적 마스킹을 적용해 가림 인식 특징을 학습한다. 다중 스케일 디코더 특징으로 부호 있는 거리 필드(SDF)를 예측하고 이를 명시적 포인트 클라우드와 융합하여 DexYCB 및 HO3Dv2 벤치마크에서 최고 성능을 달성했다.

arXiv:2505.05517v3cs.CV

Web2Grasp: 손-물체 상호작용 웹 이미지로부터 기능적 파지 학습

Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions

기능적 파지(functional grasping)는 다지 로봇 손이 물체를 효과적으로 조작할 수 있게 하는 데 필수적이다. 기존 연구는 대부분 물체를 단순히 잡는 것에 그치는 파워 그랙스(power grasp)에 집중하거나, 특정 물체에 대한 도메인 내(in-domain) 시연에 의존한다. 우리는 자연스럽고 기능적인 손-물체 상호작용(HOI)을 담은 웹 이미지에서 추출한 인간의 파지 정보를 활용하는 방법을 제안한다. 사전학습(pre-training)된 3D 재구성 모델을 사용하여 RGB 이미지로부터 3D 인간 HOI 메시(mesh)를 복원한다. 이러한 노이즈가 있는 HOI 데이터로 학습하기 위해, 우리는 (1) 손과 물체 사이의 기능적 상호작용 패턴을 학습하는 상호작용 중심(interaction-centric) 모델과 (2) 실행 불가능한 파지를 제거하는 기하학 기반 필터링, 그리고 외란(disturbance)에 견딜 수 있는 파지를 유지하기 위한 물리 시뮬레이션을 사용하는 방법을 제안한다. IssacGym 시뮬레이션에서, 재구성된 HOI 파지로 학습한 우리 모델은 웹 데이터셋의 물체에 대해 75.8%의 성공률을 달성하고, 보지 못한(unseen) 물체에도 일반화하며, 파지 성공률과 기능적 품질 모두에서 기준선 방법들을 능가한다. LEAP hand와 Inspire hand를 사용한 실세계 실험에서, 주사기, 스프레이 병, 칼, 집게(tongs) 같은 어려운 물체를 포함한 12개 물체 전반에 걸쳐 77.5%의 성공률을 달성한다. 프로젝트 웹사이트: https://web2grasp.github.io/.

arXiv:2603.11755v2cs.CV

가림 인식 희소 3D 손 관절 기반 제어 가능한 자아 중심 영상 생성

Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints

자아 중심(egocentric) 손-물체 상호작용 영상 생성에서 2D 궤적·암묵적 포즈가 가려짐 상황의 동작 불일치와 환각을 유발하는 한계를, 희소 3D 손 관절을 명시적 제어 신호로 쓰고 가림 인식 특징 추출·3D 기하 임베딩 주입으로 완화한다. 자동 주석으로 100만 개 클립을 구축한 뒤 실험에서 최신 기준선을 넘어 사실적인 손-물체 상호작용 영상을 생성했다.

arXiv:2606.15908v2cs.CV

다중 시점 시공간 추적 및 물리 인식 가우시안을 통한 고충실도 4D 손-객체 캡처

High-Fidelity 4D Hand-Object Capture via Multi-View Spatiotemporal Tracking and Physics-Aware Gaussians

구현형 AI(embodied AI)와 공간 컴퓨팅에서 고충실도 4D 손-객체 상호작용(HOI) 데이터에 대한 수요가 증가하고 있지만, 현재는 사전 스캔된 객체 템플릿과 물리적 마커에 의존해야 하는 병목 현상이 있습니다. 최근 비디오에서 4D 손-객체 상호작용을 재구성하는 방법들이 유망한 결과를 보여주었지만, 손과 객체 포즈의 초기 추정치에 매우 민감합니다. 그러나 이미지에서 이러한 포즈를 추정하는 것은 어려우며, 특히 손-객체 상호작용 시나리오에 본질적인 심한 폐색(occlusion) 상황에서 더욱 그렇습니다. 우리는 템플릿이나 마커 없이 동기화 및 보정된 다중 시점 비디오에서 손과 객체를 견고하고 정확하게 재구성하는 새로운 시스템을 제안합니다. 우리 시스템은 주요 혁신을 포함하는 두 가지 주요 구성 요소로 이루어집니다: (1) 시점 간 기하학 및 시간적 단서를 집계하여 포즈와 밀집 객체 기하학 모두에 대해 신뢰할 수 있고 메트릭 일치하는 초기화(initialization)를 제공하는 다중 시점 피드포워드 트랜스포머(transformer) 모델(model), (2) 초기 추정치를 정제하기 위해 사면체 제약 조건, 충돌 정제, 외관 분해를 통합하여 물리적으로 타당하고 시각적으로 정확한 재구성을 생성하는 손-객체 물리 인식 가우시안 기반 최적화 프레임워크입니다. 공개 벤치마크(benchmark)와 광범위한 내부 데이터셋(dataset)에서 검증된 우리 파이프라인은 매우 견고하며 인공물(artifact)이 없는 재구성을 달성하여, 자동화된 4D 에셋 생성을 위한 효율적인 기반을 제공합니다. 우리의 프로젝트 페이지는 https://zyshen021.github.io/HOSTPG/ 에서 확인할 수 있습니다.

arXiv:2606.17384v1cs.CV

손-객체 상호작용 탐지 개선 및 평가

Improving and Evaluating Hand-Object Interaction Detection

도구를 사용하거나 직접적으로 상호작용하는 손과 객체를 이해하는 것은 행동 인식부터 3D 재구성 및 로봇공학에 이르는 작업들의 핵심 단계입니다. 본 논문은 손-객체 상호작용(HOI) 이해 연구 분야에 다음과 같은 여러 기여를 제공합니다: (1) Co-DETR 아키텍처에 손-객체 및 객체-객체 상호작용을 도입하여 최첨단 방법론을 구현한 새로운 프레임워크인 HOI-DETR; (2) HD-EPIC 데이터셋에서 파생된 비디오 벤치마크와 Hands23 벤치마크를 개선하는 새로운 주석을 포함하여 4가지 다양한 데이터셋으로 구성된 포괄적인 HOI 평가 스위트, 그리고 (3) Hands23과 FineBio에서 20퍼센트 포인트 이상의 mAP 향상을 포함하여 Hands23, HOIST, FineBio 및 HD-EPIC 전반에서 최첨단 성능을 크게 향상시키는 학습된 체크포인트입니다. 우리의 소거 연구는 각 모델 구성 요소의 기여를 확인해 줍니다.

arXiv:2606.11805v1cs.CV

TextHOI-3D: 이산 멀티뷰 생성과 공동 메시 최적화를 통한 텍스트-3D 손-객체 상호작용

TextHOI-3D: Text-to-3D Hand-Object Interaction via Discrete Multi-View Generation and Joint Mesh Optimization

텍스트 조건 3D 생성은 이미지와 독립된 객체에 대해 빠르게 진전해 왔지만, 손-객체 메시를 생성하는 것은 여전히 어렵다. 출력은 언어적 의미, 뷰 간 일관성, 객체 기하학, 관절 손 형태, 그리고 물리적으로 타당한 접촉을 보존해야 한다. 우리는 텍스트 조건 시각 생성과 기하학 인식 손-객체 복원 사이의 명시적 인터페이스로 생성된 멀티뷰 관측을 사용하는 단계적 프레임워크인 TextHOI-3D를 제안한다. TextHOI-3D는 고정 카메라 손-객체 관측에 대한 compact VQ 토큰 공간을 학습하고, CLIP 조건 시각 자기회귀 모델로 텍스트에서 멀티뷰 시각 토큰을 예측하며, 사전 초기화, 멀티뷰 공동 최적화, 침투 방지 정제를 통해 통합 손-객체 메시를 복원한다. 이 설계는 의미적 생성과 기하학적 복원을 분리하면서, 이산 멀티뷰 표현으로 두 단계를 연결한다. HO3D 기반 평가에서 멀티뷰 설정은 단일 뷰 대안과 비교하여 객체 CD를 17.26 mm에서 4.92 mm로, 침투 부피를 5.3721 cm^3에서 0.2193 cm^3로 줄이면서 손 오류와 surface F-score를 개선한다. 이 결과는 멀티뷰 시각 토큰이 텍스트 기반 3D 손-객체 메시 생성을 위한 효과적인 중간 표현임을 뒷받침한다.