PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2510.06145v2cs.CV

일상 이미지에서의 양손 3D 손 동작 및 관절 움직임 예측

Bimanual 3D Hand Motion and Articulation Forecasting in Everyday Images

우리는 일상적인 환경에서 단일 이미지로부터 양손의 3D 손 동작과 관절 움직임을 예측하는 문제를 다룬다. 다양한 환경에서 3D 손 어노테이션이 부족한 문제를 해결하기 위해, 우리는 2D 손 키포인트 시퀀스를 4D 손 동작으로 끌어올리는(lift) 확산 모델(diffusion model)로 구성된 어노테이션 파이프라인을 설계한다. 예측 모델에서는 손 동작 분포의 다중모달성(multimodality)을 반영하기 위해 확산 손실(diffusion loss)을 채택한다. 6개의 데이터셋에 대한 광범위한 실험을 통해, 우리가 보완(impute)한 레이블로 학습했을 때의 이점(14% 향상)과 우리의 끌어올리기(lifting) 모델(45% 개선) 및 예측(forecasting) 모델(16.4% 향상)의 효과가 최고 성능 베이스라인 대비 확인되었으며, 특히 일상 이미지에 대한 제로샷(zero-shot) 일반화에서 그 효과가 두드러졌다.

arXiv:2607.05705v1cs.RO

IMR: 다중 에이전트 궤적 예측을 위한 반복적 모드-월드 가중 회귀

IMR: Iterative Mode-World Weighted Regression for Multi-Agent Trajectory Prediction

자율주행 차량의 다중 에이전트 궤적 예측에서 모드 다양성과 예측 정확도 간의 트레이드오프를 해결하기 위해, 모드별(mode-wise)과 월드별(world-wise) 회귀 손실을 결합한 모드-월드 가중 회귀 손실과 반복적 분할 디코더를 제안한다. 제안된 IMR 방법은 모드 붕괴(mode collapse)를 완화하면서 Argoverse 2 다중 에이전트 모션 예측 벤치마크에서 1위를 기록하였다.

arXiv:2603.09420v3cs.CV

클래스 증분 모션 예측

Class-Incremental Motion Forecasting

모션 예측은 동적 에이전트의 미래 궤적을 예측함으로써 자율주행 차량이 장면의 변화를 예측할 수 있게 합니다. 그러나 기존 접근법은 일반적으로 고정된 객체 분류 체계와 고품질 인지(perception)에 접근할 수 있는 폐쇄 세계 설정을 가정하므로, 인지가 불완전하고 새로운 객체 클래스가 시간이 지남에 따라 나타날 수 있는 실제 세계에서의 적용 가능성을 제한합니다. 본 연구에서는 클래스 증분 모션 예측을 소개합니다. 이는 새로운 객체 클래스가 시간이 지남에 따라 순차적으로 도입되고 카메라 이미지로부터 미래 객체 궤적을 직접 예측하는 새로운 설정입니다. 우리는 이 설정을 위한 최초의 엔드-투-엔드 프레임워크를 제안합니다. 이 프레임워크는 새로 도입된 클래스에 적응하면서 이전에 학습된 클래스에 대한 치명적 망각을 완화합니다. 우리의 방법은 알려진 클래스에 대한 모션 예측 의사 레이블을 생성하고 이를 오픈 어휘 분할 모델의 2D 인스턴스 마스크와 매칭합니다. 이 3D-2D 키포인트 투표 메커니즘은 일관성 없고 과도하게 확신하는 예측을 필터링하며, 쿼리 특징 분산 기반 리플레이 전략은 사전 지식을 보존하기 위해 정보가 풍부한 과거 시퀀스를 샘플링합니다. nuScenes와 Argoverse 2에 대한 광범위한 평가 결과, 우리의 접근법은 새로운 클래스에 효과적으로 적응하면서 알려진 클래스에 대한 성능을 성공적으로 유지함을 보여줍니다. 또한 실제 주행 환경으로의 제로샷 전이를 입증하고, 해당 프레임워크가 nuScenes 및 NeuroNCAP에서 오픈 루프 및 클로즈드 루프 엔드-투-엔드 클래스 증분 계획으로 자연스럽게 확장됨을 보여줍니다. 코드와 모델은 https://omen.cs.uni-freiburg.de에서 공개될 예정입니다.

arXiv:2606.18558v1cs.CV

MolmoMotion: 언어 지시를 통한 3D 점 궤적 예측

MolmoMotion: Forecasting Point Trajectories in 3D with Language Instruction

모션 예측은 시각 지능의 핵심입니다: 에이전트는 행동을 계획하고, 물리적 상호작용을 추론하며, 현실적인 미래를 합성하기 위해 객체가 어떻게 움직일지 예측해야 합니다. 우리는 월드 좌표계의 3D 점이 클래스 불특정, 시점 안정적, 컴팩트하며 다운스트림 태스크에 직접적으로 유용한 일반적인 표현을 제공한다고 주장합니다. 우리는 목표 조건부 3D 점 모션 예측 작업을 정의합니다: 짧은 비주얼 히스토리, 관심 객체 위의 3D 쿼리 포인트 집합, 의도된 목표에 대한 언어 설명이 주어지면, 모델은 각 점의 미래 3D 궤적을 예측합니다. 우리는 이 작업을 대규모로 연구하기 위한 풀 스택을 소개합니다: (1) MolmoMotion-1M은 116만 개의 제약 없는 비디오에서 주석이 달린 행동 설명 및 객체 기반 3D 점 궤적의 대규모 데이터셋입니다; (2) PointMotionBench는 111개의 객체 카테고리와 61개의 모션 유형에 걸친 인간 검증 벤치마크입니다; (3) MolmoMotion은 자기회귀 좌표 예측과 플로우 매칭 기반 궤적 생성을 모두 지원하는 일반적인 모션 예측 모델입니다. MolmoMotion은 다양한 언어 명령어로 다양한 모션 패턴을 정확하게 예측하며, PointMotionBench에서 기존 모션 예측 베이스라인을 크게 능가합니다. 마지막으로, 우리는 학습된 3D 모션 사전(prior)이 다운스트림 애플리케이션으로 잘 전이됨을 보여줍니다: 이는 로봇 조작을 위한 학습 효율성과 일반화를 개선하며, 예측된 궤적은 생성 모델이 더 현실적인 객체 모션으로 비디오를 합성할 수 있도록 효과적인 모션 가이던스를 제공합니다.