PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13549v3cs.CV

ELMA: 장기 텍스트 기반 모션 생성을 위한 조응적 구성 벤치마킹

ELMA: Benchmarking Anaphoric Compositions for Long-Term Text-to-Motion Generation

Text-guided long-term human motion generation is essential for applications such as continuously operating digital avatars. Despite recent progress on short clips, existing models struggle with multi-segment instructions that involve anaphora, where constraints established in earlier segments must be preserved over time. In this paper, we introduce a novel task of long-term motion generation from such anaphoric compositions. To address this gap, we present ELMA, an episodic long-term motion dataset with dense segment-level annotations that preserve cross-segment dependencies. Built via a fully automated collection and filtering pipeline, ELMA extracts high-quality, continuous 30-second clips from in-the-wild videos, capturing the episodic narratives necessary for long-range state modeling. Using ELMA, we benchmark representative long-term motion generation models under independent and anaphoric instruction settings, and study whether contextual fine-tuning improves long-range state modeling. Our extensive experiments provide insights into the capabilities and limitations of existing models in handling context-dependent instructions. These findings highlight the challenge of modeling cross-segment dependencies and offer valuable directions for developing more coherent and semantically consistent long-term motion generation models.

arXiv:2610.03012v1cs.CV

고정된 시간 격자에 대한 재고: 주파수 분리 기반 모션 생성

Rethinking Fixed Temporal Grids: Frequency-Disentangled Motion Generation

대부분의 인체 모션 생성 방식은 모든 토큰이 동일한 고정 시간 윈도우에 걸쳐 있는 균일한 시간 격자(temporal grid) 상의 토큰으로 모션을 인코딩합니다. 그러나 인체 모션은 시간적으로 이질적입니다. 즉, 천천히 변화하는 전역 궤적과 발 접지 및 관절 충격과 같은 빠른 일시적 이벤트가 공존합니다. 이러한 다중 스케일 역학을 동일한 시간 해상도의 토큰에 억지로 맞추면 모션 주파수가 얽히게 되어 느린 영역은 불필요하게 중복되는 반면, 사실적인 모션을 구분 짓는 빠른 디테일은 뭉개지게 됩니다. 본 논문에서는 모션을 웨이블릿 주파수 대역으로 분해하여 시간적 위치 파악과 정확한 재구성을 유지하면서 시간 스케일 전반의 역학을 분리하는 스케일 적응형 모션 표현인 \textbf{FreqMo}를 제안합니다. 이후 통합 주파수 잔차 양자화(UFRQ)를 통해 단일 공유 코드북 내에서 모든 대역을 인코딩함으로써 토큰 시퀀스를 3배 압축하고 안정적인 단일 단계 생성을 가능하게 합니다. 실험 결과, FreqMo는 고주파수 보존 능력이 대폭 향상되어 SOTA 충실도(fidelity)를 달성하며, 동일한 분해 기법이 연속 확산(diffusion) 백본에도 전이될 수 있음을 보여줍니다.

arXiv:2606.13364v1cs.LG

VideoMDM: 2D 지도로부터의 3D 인간 모션 생성을 향하여

VideoMDM: Towards 3D Human Motion Generation From 2D Supervision

VideoMDM은 3D ground truth 없이 단안 비디오의 2D 포즈만으로 3D 인간 모션 사전을 학습하는 디퓨전 기반 프레임워크로, 깊이 가중 2D 재투영 손실을 통해 3D 지도 학습과 동등한 효과를 달성한다. HumanML3D 벤치마크에서 완전 3D 지도 학습 모델과 거의 대등한 성능을 보이며 실제 비디오 데이터셋에서도 인간이 선호하는 모션을 생성한다.