PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.23817v1cs.CV

VISTA: 비디오가 주입된 양식화 텍스트-애니메이션 생성

VISTA: Video-Injected Stylized Text-to-Animation

본 논문에서는 함께 쌍을 이루는 (텍스트, 비디오, 양식화된 모션) 트리플렛(triplet) 없이도 텍스트 프롬프트의 구조적 콘텐츠와 참조 비디오의 표현력 있는 스타일을 융합하여 양식화된 3D 인간 모션을 생성하는 2단계 프레임워크인 VISTA를 제시한다. 먼저 Dual-channel Autoencoder가 모션 시퀀스와 비디오 클립을 공유 잠재 다양체(latent manifold)로 매핑한다. 그런 다음 마스크된 자기회귀 확산(masked autoregressive diffusion) 백본이 이 다양체 내에서 작동하며, 텍스트 조건화된 콘텐츠 구조를 보존하면서 전용 후기 융합(late-fusion) Dual-AdaLN 경로를 통해 비디오 유래 스타일을 주입한다. 잠재 순환 일관성(latent cycle consistency)을 갖춘 교차 배치(cross-batch) 비쌍형 학습(unpaired training) 프로토콜은 의미론적으로 풍부한 데이터셋과 스타일적으로 다양한 분리된 데이터셋 전반에 걸친 공동 학습을 가능하게 한다. 제어 가능한 애니메이션 합성의 개념 증명으로서, 렌더링된 모션 캡처 참조를 통해 VISTA를 검증했다. VISTA는 비디오 조건부 방법 중 가장 높은 스타일 인식 정확도를 달성하는 동시에 경쟁력 있는 콘텐츠 정렬을 유지하며, 분해된 3방향 분류기 없는 유도(classifier-free guidance)를 통해 추론(inference) 시 사용자가 콘텐츠-스타일 균형을 독립적으로 제어하며 보정할 수 있도록 지원한다.

arXiv:2607.22702v1cs.CV

MIME: 다중모달 상호작용 모션 인코더

MIME: Multimodal Interactive Motion Encoder

텍스트-모션 표현 학습은 빠르게 발전해 왔으며, 애니메이션, AR/VR, 체화 AI(embodied AI) 분야에서 다인 상호작용에 대한 관심이 커지고 있다. 이러한 설정에서는 언어를 개별 행위자의 역학과 행위자 간 관계 모두에 정렬하는 표현이 필요하다. 우리는 다중모달 상호작용 모션 인코더(MIME)를 제안한다. 우리가 아는 한 MIME은 두 사람 상호작용 모션을 위해 특별히 설계된 최초의 전용 다중모달 인코더이다. MIME은 명시적 상호작용 특징과 커리큘럼 기반 대조 학습을 갖춘 스트림 기반 공동 어텐션(co-attention)을 사용하여 개별 및 공유 구조를 포착한다. Inter-X 텍스트-모션 검색에서 MIME은 갤러리 크기 전반에 걸쳐 초기·후기 융합(fusion) 기준선을 일관되게 능가하며, 2,000개 샘플 갤러리에서 text-to-motion R@1 기준 상대 12.8% 개선을 달성한다. 또한 학습에 포함되지 않은(unseen) InterHuman 데이터셋에서 TIMotion과 InterMask 내부의 동결(frozen) 보조 사전(prior)으로 MIME을 추가로 평가했다. MIME은 TIMotion에서 유사한 FID를 유지하면서 의미 정렬 지표를 개선한다. 이러한 결과는 상호작용 인식 다중모달 인코딩이 다인 모션 검색을 개선하고, 데이터셋 간 전이되어 하위 모션 생성을 지원함을 보여준다.

arXiv:2607.05733v1cs.CV

ARMS: 자연스러운 솔로-소셜 모션 전환을 위한 앵커-관계형 모션 스트리밍

ARMS: Anchor-Relational Motion Streaming for Seamless Solo-Social Motion Transitions

ARMS는 텍스트 지시에 따라 솔로 행동과 인간-인간 상호작용 사이를 끊김 없이 전환하는 스트리밍 모션 생성 프레임워크로, 동역학 비대칭 표현(dynamics-asymmetric representation)과 인과적 관계형 확산 모델(causal relational diffusion model)을 통해 장기적 시간 일관성과 에이전트 간 공간적 일관성을 동시에 유지한다. 실험 결과, 기존 상호작용 중심 기준 모델 대비 전환 부드러움과 사회적 일관성이 향상되었으며, 인간-인간 상호작용 벤치마크에서도 경쟁력 있는 성능을 달성하였다.

arXiv:2602.08337v2cs.CV

인간 동작 생성을 위한 언어 유도 트랜스포머 토크나이저

Language-Guided Transformer Tokenizer for Human Motion Generation

본 논문에서는 원시 동작을 컴팩트한 이산 토큰으로 변환하는 동작 이산 토큰화(motion discrete tokenization)에 초점을 맞춘다. 이 과정은 효율적인 동작 생성에 핵심적인 것으로 입증되어 있다. 이 패러다임에서 토큰 수를 늘리는 것은 동작 재구성 품질을 향상시키는 일반적인 접근법이지만, 토큰이 많아질수록 생성 모델의 학습이 어려워진다. 높은 재구성 품질을 유지하면서 생성 복잡도를 줄이기 위해, 우리는 언어를 활용하여 효율적인 동작 토큰화를 달성하는 방법인 언어 유도 토큰화(LG-Tok, Language-Guided Tokenization)를 제안한다. LG-Tok은 토큰화 단계에서 자연어와 동작을 정렬하여 컴팩트하고 고수준의 의미적 표현을 생성한다. 이 접근법은 토큰화 및 역토큰화(detokenization) 모두를 강화할 뿐만 아니라 생성 모델의 학습을 단순화한다. 또한, 기존 토크나이저는 대부분 합성곱 아키텍처를 채택하는데, 이는 지역적 수용 영역(local receptive field)으로 인해 전역적 언어 유도를 지원하기 어렵다. 이를 위해, 우리는 어텐션 메커니즘을 활용하여 언어와 동작 간의 효과적인 정렬을 가능하게 하는 트랜스포머 기반 토크나이저를 제안한다. 아울러, 학습 중 언어 조건을 무작위로 제거하는 언어 드롭(language-drop) 기법을 설계하여, 역토크나이저가 생성 시 언어 없이도 동작할 수 있도록 한다. HumanML3D 및 Motion-X 생성 벤치마크에서 LG-Tok은 각각 Top-1 점수 0.542와 0.582를 달성하여 최신 방법(MARDM: 0.500 및 0.528)을 능가하며, FID 점수는 각각 0.057과 0.088로 기존의 0.114 및 0.147 대비 우수한 성능을 보인다. LG-Tok-mini는 절반의 토큰만 사용하면서도 경쟁력 있는 성능(Top-1: 0.521/0.588, FID: 0.085/0.071)을 유지하여, 우리의 의미적 표현의 효율성을 검증한다. 코드 및 체크포인트는 https://eanson023.github.io/LG-Tok/ 에서 이용 가능하다.

arXiv:2606.27999v1cs.CV

HumanMoveVQA: 비디오 MLLM은 동영상에서 인간 움직임을 추론할 수 있는가?

HumanMoveVQA: Can Video MLLMs reason about human movement in videos?

멀티모달 대규모 언어 모델(MLLM)이 고수준 비디오 이해에서 빠르게 발전했지만, 근본적인 병목이 여전히 남아 있다: 이러한 모델은 복잡한 인간 움직임을 거친 의미적 라벨로 압축한다. 기존 벤치마크는 대부분 장면 중심 이벤트나 국소 관절 움직임에 초점을 맞추어, 시간에 따른 공간에서의 전역 인간 움직임(궤적 및 방향 변화)을 탐색하지 못한다. 우리는 외심적(exocentric) 관점에서 전역 궤적 및 방향 추론을 평가하기 위해 설계된 최초의 포괄적 벤치마크 HumanMoveVQA를 소개한다. 우리 벤치마크는 첫 프레임에 고정된 월드 좌표계를 활용하여, 고정된 시작점에 대한 이동과 회전을 보존한다. 우리는 2D 비디오 관측을 월드 일관(world-consistent) 3D 움직임 궤적으로 승격하는 확장 가능한 다단계 파이프라인을 제안하여, 움직임 집계, 순차적 순서 지정, 궤적 수준 추론을 포함한 7개 추론 카테고리에 걸쳐 10,000개 이상의 구조화된 질문-답변 쌍을 생성한다. 광범위한 평가를 통해 최신 독점 모델의 깊은 인간 움직임 이해에 중요한 역량 격차가 드러난다. 하지만 이는 학습 가능한 문제임을 보여준다; 대상화된 월드 일관 지도 신호로 오픈소스 기준선을 미세조정하여 상당한 성능 향상을 달성했다. HumanMoveVQA는 차세대 움직임 인식 비디오 이해 모델 개발을 위한 엄격한 기하학적 기초를 확립한다.

arXiv:2606.21135v1cs.CV

Odoriko: 인체 동작을 위한 체형 인식 멀티모달 확산(diffusion) 프레임워크

Odoriko: A Shape-Aware Multimodal Diffusion Framework for Human Motion

인간 동작 생성은 텍스트, 음악, 비디오 등 다양한 입력 모달리티에서 폭넓게 연구되어 왔으며, 최근에는 이를 단일 멀티모달 프레임워크로 통합하려는 노력이 이어지고 있다. 그러나 성별과 체형 같은 형태학적(morphological) 요인이 서로 다른 운동학적(kinematic) 특성을 낳는다는 것이 알려져 있음에도, 기존 통합 프레임워크는 이를 생성에 반영하지 않고 모든 피험자를 형태학적으로 동등한 것으로 취급한다. 본 논문은 Odoriko를 제안한다. Odoriko는 피험자의 생체 형태학(bio-morphological) 정보를 합성된 동작 출력에 직접 반영하는 최초의 통합 멀티모달 동작 생성 프레임워크이다. Odoriko는 피험자 간 변이를 평균화하는 대신, 단일 모델 내에서 텍스트, 음악, 비디오 조건 모두에 걸쳐 무엇을 하라는 지시뿐 아니라 누가 움직이는지와 일관된 동작을 생성한다. 명시적인 형태학적 정보를 사용할 수 없을 때 Odoriko는 동작과 함께 피험자 형태학을 추가로 복원하여, 하나의 프레임워크에서 추정과 생성을 통합한다. 텍스트-동작, 음악-댄스, 비디오-동작 벤치마크에 걸친 광범위한 실험은 Odoriko가 표준 지표에서 기존 특화 모델과 동등하거나 이를 능가함을 보여주며, 기존 통합 프레임워크가 지원하지 않는 형태학적 일관성을 갖춘 생성을 가능하게 한다.

arXiv:2606.20888v1cs.CV

언어 모델 기반 세밀한 인간 동작 이해

Fine-grained Human Motion Understanding with Language Models

본 연구에서는 세밀한 인간 동작 이해를 위한 LLM 기반 모델인 \methodname을 제안한다. 이 모델은 동작을 각 포즈마다 명시적인 타임스탬프가 부여된 골격 포즈 시퀀스로 표현한다. 각 포즈는 신체 관절 위치를 인코딩하며, 타임스탬프 토큰으로 시간적으로 그라운딩(grounding)되어 동작 순서, 지속 시간, 리듬에 대해 추론할 수 있다. 동작-언어 추론에 어떤 supervision이 필요한지 연구하기 위해, 포즈 캡셔닝, 포즈 질의응답, 동작 캡셔닝, 동작 질의응답을 아우르는 다양한 학습 혼합 데이터를 구성한다. ablation 연구 결과, 주요 성능 향상은 포즈 및 동작 수준 supervision의 다양성에서 비롯되며, 단계적 학습은 상대적으로 작은 추가 이득을 제공한다. ground-truth 3D motion capture에 의존하는 기존 연구와 달리, 본 접근법은 통합 포즈 인코더를 통해 2D 및 3D 골격 동작 표현을 모두 지원하며, 선택적으로 비디오를 포함하여 맥락 정보를 제공할 수 있다. BABEL-QA, HuMMan-QA, CompMo, NTU-RGB+D, QEVD-Coach에 대한 광범위한 실험에서 본 방법이 여러 벤치마크에서 최첨단(state-of-the-art) 성능을 달성함을 보여주며, 세밀한 인간 동작 이해를 위한 명시적 시간 인코딩과 다양한 포즈·동작 수준 supervision의 효과를 강조한다. 특히 2D 골격 입력만 사용하는 경우에도 본 접근법은 기존 3D 기반 방법들을 능가한다.

arXiv:2606.20731v1cs.CV

XmoPipe: 대규모 실환경(in-the-wild) 인간 모션 데이터셋 구축 파이프라인

XmoPipe: A Pipeline for Large-Scale In-the-Wild Human Motion Dataset Construction

대규모 인간 모션 데이터셋은 분석, 합성, 이해를 위한 견고한 모션 모델 학습에 필수적이다. 마커 기반 모션 캡처(motion capture)는 정밀한 데이터를 제공하지만, 비용이 크고 규모와 다양성 면에서 제한적이다. 단안(monocular) 모션 캡처와 비디오-언어(video-language) 이해의 최근 발전은 제약 없는 온라인 영상에서 그럴듯한(plausible) 모션을 추출할 길을 열었다. 우리는 실환경(in-the-wild) 인간 모션 데이터셋 구축을 위한 확장 가능한(scalable) 파이프라인을 제안한다. 소수의 키워드만으로 시스템은 영상을 검색하고, 3D 신체 및 얼굴 모션을 추출하며, 고수준(high-level) 텍스트 설명을 생성한다. 이 파이프라인은 유연하여 다양한 동작, 다인원 상호작용, 또는 표현적 행동의 목표 지향적 수집을 가능하게 한다. 우리는 모션 재구성(reconstruction) 및 모션 생성(generation) 모델을 학습하여 품질을 입증하며, 전통적인 모션 캡처 데이터셋으로 학습한 모델과 비슷한 성능과 강한 교차 데이터셋(cross-dataset) 일반화(generalization)를 보인다.