PyTorchKR Papers

최신 논문

총 1,879편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11838v1cs.CV

시공간 장면 그래프 그라운딩 기반 계획-검증 비디오 보상 추론

Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding

텍스트-투-비디오(T2V) 생성을 위한 보상 모델은 사후 학습을 안내하지만, 종종 세밀한 의미적 정렬에서 실패한다. 우리는 이를 기존 추론 기반 보상 모델의 두 가지 구조적 약점으로 추적한다: 프롬프트에 기술된 모든 조건을 체계적으로 검증하지 않으며, 각 판단을 뒷받침하는 시각적 근거가 자유 형식 추론 내에 암묵적으로 남아 있다는 것이다. 우리는 시공간 장면 그래프에 기반한 계획-검증 추론을 통해 이러한 한계를 해결하는 비디오 보상 모델인 SG-PVR을 제안한다. 검증 계획은 프롬프트를 원자적 주장으로 분해하여 모든 요구사항이 확인되도록 한다. 개체, 속성, 시간적으로 정렬된 관계를 인코딩하는 시공간 장면 그래프는 비디오에서 추출되어 추론 전 과정에 걸쳐 지속적인 구조화된 시각 참조로 유지된다. 각 주장은 비디오와 장면 그래프 모두에 대해 검증되어, 판단을 명시적 시각 증거에 고정한다. SG-PVR은 세밀한 시간적 의미론을 포함한 의미적 정렬에서 강한 성능을 달성한다. 테스트 시점 재순위화기(test-time reranker)로서 T2V 생성의 구성적 정렬을 더욱 향상시킨다.

arXiv:2606.11783v1cs.CV

오픈 도메인 맞춤형 비디오 생성을 위한 포괄적 생태계

A Comprehensive Ecosystem for Open-Domain Customized Video Generation

최근 비디오 생성 분야의 진전으로 인상적인 시각적 합성 능력이 입증되었다. 그러나 오픈 도메인 맞춤형 비디오 생성은 다양한 정체성 특화 속성을 포착하는 대규모 주석 데이터셋의 부재로 인해 여전히 제한적이다. 이를 해결하기 위해, 우리는 정체성 보존 비디오 생성을 위한 최초의 공개 백만 규모 데이터셋인 PexelsCustom-1M을 제안한다. 이 데이터셋은 8,000개 이상의 카테고리에 걸쳐 100만 개의 큐레이션된 <identity, text, video> 트리플릿을 포함한다. 이를 활용하여, 우리는 사전학습된 멀티모달 Diffusion Transformer를 단 8%의 추가 학습 가능 매개변수만으로 맞춤형 비디오 생성기에 적응시키는 매개변수 효율적 프레임워크인 CustoMDiT를 제안한다. 우리 방법은 이전 최첨단(state-of-the-art)을 능가한다. 그러나 DreamBooth와 같은 벤치마크는 100개 클래스만을 다루어 실제 응용에는 불충분하다. 이를 극복하기 위해, ImageNet과 MS-COCO로부터의 교차 데이터셋 지식 융합을 통해 1,000개 이상의 카테고리를 포함하는 새로운 벤치마크 OpenCustom을 구축한다. 광범위한 실험은 우리 데이터셋과 모델 모두의 장점을 확인한다. 우리는 데이터셋, 파이프라인, 벤치마크, 구현을 포함한 전체 생태계를 오픈소스로 공개하여 후속 연구를 지원할 것이다.

arXiv:2606.11670v1cs.CV

ARGUS: 피사체 유지 비디오 생성을 위한 적층 멀티뷰 아이덴티티 모자이크 주입

ARGUS: Stacked Multi-View Identity Mosaic Injection for Subject-Preserving Video Generation

피사체 유지 비디오 생성은 정면 얼굴 유사도만으로는 해결되지 않습니다: 생성된 인물은 움직임, 큰 시점 변화, 표정 변화, 폐색, 스케일 변화, 그리고 텍스트, 첫 번째 프레임, 아이덴티티 참조 간의 충돌 전반에 걸쳐 인식 가능해야 합니다. 우리는 핵심 병목 현상이 포즈, 액세서리, 조명, 배경 및 카메라 통계와 얽혀 있는 단일 정적 관찰로 아이덴티티를 축소하는 '점 참조 패러다임(point-reference paradigm)'이라고 주장합니다. 우리는 적층 멀티뷰 아이덴티티 모자이크 주입(SMII)을 중심으로 하는 Wan 기반 프레임워크인 Argus를 소개합니다. SMII는 MLLM이 선택한 이미지/비디오 아이덴티티 정보를 3x3 적층 모자이크로 변환하고, 해당 모자이크를 현재 디퓨전 시간과 동기화한 뒤, Wan의 네이티브 토큰 공간에서 음의 시간 읽기 전용 메모리로 주입합니다. 이는 아이덴티티를 외부 클린 어댑터나 단일 참조 이미지에서 컴팩트한 동적 분포로 변환합니다. SMII를 중심으로 MLLM 아이덴티티 디렉터는 정보성이 높은 아이덴티티 순간을 선택하고 조건 충돌을 해결하며, 노-크로스 페어 반사실적 학습(no-cross-pair counterfactual training), 시간적 아이덴티티 어닐링(Temporal Identity Annealing), 적응형 자기 유사도 가이던스(Adaptive Self-Likeness Guidance)는 페어된 주체-비디오 지도 없이 강건성을 향상시킵니다. 또한 우리는 공인 아이덴티티 스트레스 벤치마크인 HardID-Celeb를 공개하고, 큰 요각(large-yaw)과 첫 프레임 폐색(first-frame-occlusion) 강건성을 측정하기 위해 YawScore와 OccScore를 도입합니다. Argus는 OpenS2V-Eval Human-Domain에서 최첨단 결과를 달성하여 64.38 Total Score, 71.86 FaceSim, 51.62 NexusScore, 79.14 NaturalScore를 기록했습니다. HardID-Celeb에서 Argus는 76.80 FaceSim을 달성했으며, 가장 강력한 베이스라인 대비 YawScore와 OccScore를 각각 12.60점과 15.10점 향상시켜, 동적 아이덴티티 메모리와 대규모 반사실적 자기 지도 학습이 피사체 유지 비디오 생성에 매우 효과적임을 입증했습니다.

arXiv:2606.08415v2cs.CV

CoVEBench: 비디오 편집 모델은 복잡한 지시를 처리할 수 있는가?

CoVEBench: Can Video Editing Models Handle Complex Instructions?

최근 텍스트 기반 비디오 편집 모델은 기초적인 작업(예: 스타일 전환(style transfer), 객체 삽입(object insertion))에는 뛰어나지만, 실제 사용자 요청은 매우 조합적(compositional)이다. 단일 프롬프트는 종종 피사체, 동작, 카메라 시점 등의 수정과 같은 여러 결합된 편집을 요구하며, 동시에 관련 없는 시공간(spatiotemporal) 콘텐츠를 엄격히 보존해야 한다. 기존 벤치마크는 고립된 편집과 조잡한 전역 지표에 크게 제한되어 있어, 모델이 이러한 복잡한 워크플로를 어떻게 처리하는지 진단하지 못한다. 이 공백을 해소하기 위해, 416개의 선별된 소스 비디오, 626개의 다중 지점 편집 지시, 9,990개의 세밀한 체크리스트 항목으로 구성된 조합적(compositional) 비디오 편집 벤치마크인 CoVEBench를 제안한다. 다양한 편집 차원을 포괄하는 CoVEBench는 MLLM 판정 기반 지시 준수(instruction compliance)와 비디오 충실도(fidelity), 그리고 비디오 품질에 대한 자동화 지표를 통해 모델을 평가한다. 광범위한 실험 결과, 조합적 편집은 여전히 심각한 난제임이 드러난다: 현재 모델들은 여러 작업을 동시에 처리할 때 편집을 누락하거나, 보존 제약을 위반하거나, 아티팩트(artifact)를 도입하는 경우가 빈번하다. CoVEBench는 비디오 편집이 현실적인 사용자 워크플로를 향해 발전하도록 돕는 도전적이고 진단적인 테스트베드(testbed)를 제공한다.

arXiv:2605.20795v2cs.CV

커넥터를 거치면 어떤 의미가 남는가? 비디오 편집에서 VLM-to-DiT 정렬 진단

What Semantics Survive the Connector? Diagnosing VLM-to-DiT Alignment in Video Editing

플로우 매칭(flow matching) 기반 비디오 생성 모델은 복잡한 지시 기반 비디오 편집을 처리하기 위해 앞단에 비전-언어 모델(VLM)을 붙이는 방식에 점점 더 의존하고 있다. 이 패러다임의 지배적인 가정은, 커넥터 모듈이 VLM의 풍부한 멀티모달 추론을 DiT의 원래 텍스트 임베딩 공간과 매끄럽게 정렬할 수 있다는 것이다. 그러나 우리는 이 정렬이 심각한 의미적 병목으로 작용하여 세밀한 구조적 변수를 훼손한다고 가설한다. 이를 검증하기는 어려운데, 종단간 평가는 정렬 실패와 생성 오류를 뒤섞어 버리고, 자연 데이터셋에는 분리된 주석이 부족하기 때문이다. 이를 엄밀히 조사하기 위해, 비디오 합성에 기반한 통제된 데이터 처리 파이프라인을 제안하여 관계 기반 편집에 초점을 맞춘 진단용 데이터셋 TRACE-Edit을 구축한다. 이 데이터셋을 활용해, 기존 비디오 편집 모델의 메타 쿼리(meta-query)와 커넥터라는 두 가지 중요한 설계를 분석하는 포괄적 진단 프로토콜을 제안한다. 네 가지 대표 모델 사례에 대한 체계적 평가 결과, 세밀한 구조적 의미는 정렬 과정에서 심각하게 훼손될 수 있음을 보여준다. 우리의 발견은 무손실 의미 전달이라는 가정을 뒤집고, VLM-to-DiT 정렬을 주요 병목으로 규명하며, 향후 멀티모달 정렬 아키텍처를 위한 새로운 진단 기반을 제공한다.

arXiv:2606.07508v1cs.CV

스트리밍 힘 제어 기반 스트리밍 비디오 생성

Streaming Video Generation with Streaming Force Control

우리는 연속적인 힘 입력을 통해 물리적 그라운딩(physically grounded) 제어를 가능하게 하는 스트리밍 비디오 생성 프레임워크인 StreamForce를 소개한다. 서로 다른 힘 유형마다 별도의 모델을 학습하거나, 고정된 힘을 가정하거나, 비인과적 처리에 의존하는 기존 비디오 모델들과 달리, StreamForce는 국소적·전역적이며 시간에 따라 변하는 힘 모두에 즉각적이고 일관되게 반응하는 인과적이고 통합된 모델이다. 이를 위해, 제어 신호로서 통합된 힘 표현을 설계하고, 힘 제어 가능한 비디오 생성을 위한 지식 증류(distillation) 파이프라인을 개발한다. 우리 모델은 자기회귀(autoregressive) 효율성과 힘 반응성을 결합하여, 안정적인 광도적(photometric) 및 동적 사실성을 유지한다. StreamForce는 단일 GPU에서 최대 16.6 FPS로 실행되며, 힘 준수와 모션 사실성 모두에서 최첨단 성능을 달성한다. 프로젝트 웹사이트: https://neu-vi.github.io/StreamForce/

arXiv:2606.07326v1cs.CV

AnchorWorld: Embodied Egocentric World Simulation with View-based Evolution Customization

Despite being a pivotal frontier, interactive world modeling remains underexplored in terms of the versatile controllability required by practical scenarios. To bridge this gap, we present AnchorWorld, a framework that advances egocentric simulation through enhanced interaction integrity and a flexible mechanism for world customization. First, we utilize 3D human motion as the primary interaction modality. To complement the out-of-view or truncated body parts in egocentric views, we introduce an auxiliary training supervision that incorporates exogenous viewpoints decoupled from the agent's first-person sensorium. It allows the model to observe the agent's full-body positioning relative to the environment, facilitating a more robust spatial grounding of human-world interactions. Furthermore, we propose a simple yet effective mechanism for customizing self-evolving worlds. This is achieved by defining anchor views within a unified world coordinate system, coupled with textual descriptions dictating the dynamic evolution of local scenes. Experimental results show that AnchorWorld significantly outperforms state-of-the-art baselines, while ablation studies validate the effectiveness of our key designs. Notably, our customization scheme exhibits promising spatio-temporal geometric consistency and adheres strictly to the prescribed evolutionary dynamics.

arXiv:2606.06497v1cs.GR

실시간 AttentionBender: 비디오 확산 트랜스포머의 세분화된 인터랙티브 네트워크 벤딩

Real-Time AttentionBender: Granular Interactive Network Bending of Video Diffusion Transformers

생성형 비디오 모델은 뛰어난 시각적 충실도를 달성했지만, 프롬프트 전용 인터페이스는 창의적 주도권이 제한적이며 모델과 함께 작업하는 아티스트들로부터 모델의 물질적 프로세스를 숨깁니다. 우리는 Real-Time AttentionBender를 제시합니다. 이 도구는 비디오 확산 트랜스포머(DiT)의 전체 깊이에 걸쳐 네트워크 벤딩(network bending) 실천을 확장하고 이를 라이브 인터랙티브 생성에 구현합니다. DayDream Scope 에코시스템 내의 플러그인으로 구축되고 오픈소스 실시간 Wan 파이프라인을 래핑하는 이 도구는 셀프 어텐션, 크로스 어텐션, 순전파 신경망을 독립적으로 조작 가능한 표면으로 노출하며, 개별 확산 스텝, DiT 레이어, 프롬프트 토큰, 히든 뉴런 수준까지 세밀한 타겟팅을 지원합니다. 라이브 조작의 즉각성은 우리가 모델과의 '물질적 친밀감(material intimacy)'이라 부르는 것을 가능하게 합니다. 이는 특정 레이어와 뉴런이 생성 비디오를 어떻게 형성하는지에 대한 반응적이고 거의 기계적인 감각입니다. 우리는 이 도구를 트랜스포머 내부에 대한 XAIxArts 탐침인 동시에 모델의 기본 표현 공간 외부의 미학을 발견하기 위한 표현적 도구로 제시합니다.

arXiv:2606.06042v2cs.CV

LoomVideo: 다중모달 입력을 비디오 생성 및 편집에 통합

LoomVideo: Unifying Multimodal Inputs into Video Generation and Editing

교차 배치된 다중모달 입력을 해석할 수 있는 통합 비디오 생성 및 편집 모델을 개발하는 것은 유망하면서도 도전적인 선행 연구 분야이다. 기존 통합 프레임워크는 주로 대규모 모델(일반적으로 130억(13B) 매개변수 이상)에 의존하며, 시퀀스 토큰을 연결하여 편집을 위해 소스 비디오 조건을 통합한다. 이 연결 방식은 불가피하게 시퀀스 길이를 두 배로 늘리며, 셀프 어텐션(self-attention) 메커니즘의 계산 복잡도를 4배로 증가시키고 감당하기 어려운 오버헤드를 초래한다. 이러한 병목을 해결하기 위해, 비디오 생성과 편집 모두를 위한 고효율 50억(5B) 매개변수 통합 아키텍처인 LoomVideo를 제안한다. LoomVideo는 표준 텍스트 인코더를 다중모달 대규모 언어 모델(Multimodal Large Language Model, MLLM)로 대체하고, Deepstack 주입 메커니즘을 사용하여 다층 MLLM 특징을 확산 트랜스포머(Diffusion Transformer, DiT)와 정렬한다. 핵심적으로, 비디오 편집을 위한 오버헤드 없는(zero-overhead) Scale-and-Add 조건화 방식을 도입한다. 깨끗한 소스 비디오 잠재 표현(latent)을 스케일링하여 노이즈가 추가된 타겟 잠재 표현에 직접 더함으로써, 이 우아한 설계는 토큰 연결의 필요성을 제거하고, 복잡한 비강체(non-rigid) 편집에 대한 강건한 성능을 유지하면서 계산 비용을 획기적으로 줄인다. 또한, 다중 참조 이미지를 처리하기 위해 Negative Temporal RoPE 전략이 매끄럽게 통합된다. 광범위한 실험 결과, 우리의 소형 5B 모델이 포괄적인 벤치마크에서 최신(state-of-the-art) 또는 매우 경쟁력 있는 성능을 달성하며, 특히 전자상거래 및 패션 생성 시나리오에서 탁월한 우수성을 보인다. 오버헤드 없는 조건화 메커니즘 덕분에 LoomVideo는 유사한 성능의 모델 대비 추론 속도에서 최소 5.41배의 가속을 달성하여, 매우 실용적이고 효율적인 비디오 기초 모델(video foundation models)의 길을 연다.

arXiv:2606.02919v3cs.CV

Pixel Cube: 현실적인 조명 재현을 통한 확산 기반 인물 동영상 리라이팅

Pixel Cube: Diffusion-based Portrait Video Relighting Through Realistic Lighting Reproduction

우리는 사실감과 시간적 일관성을 갖춘 동적 인물 동영상 리라이팅을 위한 확산(diffusion) 기반 방법을 제안한다. 본 방법은 다양한 피사체 외형, 얼굴 움직임, 머리 자세, 알려진 조명 조건을 포함하는 실제 촬영 및 렌더링된 동적 인물 동영상으로 구성된 하이브리드 학습 데이터셋을 기반으로 한다. 구체적으로, 현실적인 조명 에뮬레이션과 고속 동영상 리라이팅 데이터 수집을 위해 LED 기반 조명 시스템을 구축하였다. 사전학습된 비디오 확산 모델에 내재된 이미지 사전 정보를 활용하고, 프레임별 고동적범위(HDR) 환경 맵을 조명 제어 신호로 사용하여, 현실적이고 신원을 보존하는 동적 인물 동영상 리라이팅을 위한 고성능 생성 모델을 학습한다. 환경 맵 제어 외에도, 본 모델은 합성 배경 이미지를 활용하여 카메라의 노출 수준과 색조를 제어할 수 있다. 제안하는 모델은 주어진 새로운 환경 하에서 현실적이고 조화로운 시간적 일관성을 갖춘 리라이팅 인물 동영상을 생성하며, 피부 톤, 주름, 얼굴 털을 포함한 피사체의 표정과 세밀한 얼굴 특징을 충실히 보존한다. 본 모델은 피사체 외형, 움직임, 조명 조건 측면에서 미학습 데이터에도 우수한 일반화 성능을 보인다. 다양한 환경 맵을 사용한 실제 동영상 리라이팅에 대한 광범위한 실험을 수행하고, 인물 사진에 대한 실용적인 응용을 시연한다. 실험 결과, 본 방법은 사실감, 조명 조화, 시간적 일관성 측면에서 최첨단 성능을 달성한다.

arXiv:2604.10578v3cs.CV

Rein3D: 파노라믹 비디오 확산 모델을 활용한 강화 3D 실내 장면 생성

Rein3D: Reinforced 3D Indoor Scene Generation with Panoramic Video Diffusion Models

체화 AI(Embodied AI)와 VR 애플리케이션에 대한 수요 증가로, 희소 입력으로부터 고품질 3D 실내 장면을 합성할 필요성이 부각되고 있다. 그러나 기존 접근법은 전역적 일관성을 유지하면서 크게 보이지 않는 영역의 방대한 결측 기하를 추론하는 데 어려움을 겪으며, 종종 국소적으로는 그럴듯하지만 전역적으로는 불일치하는 재구성을 생성한다. 우리는 명시적 3D Gaussian Splatting(3DGS)과 비디오 확산 모델의 시간적 일관성 사전(prior)을 결합하여 전체 360도 실내 환경을 재구성하는 프레임워크 Rein3D를 제안한다. 우리 접근법은 "복원-정제(restore-and-refine)" 패러다임을 따른다: 원점에서 시작하는 궤적을 따라 불완전한 파노라믹 비디오를 렌더링하는 방사형 탐험 전략을 사용하여, 거친 3DGS 초기화로부터 가려진 영역을 효과적으로 드러낸다. 이 시퀀스는 파노라믹 비디오-투-비디오 확산 모델로 복원되고, 비디오 초해상도(super-resolution)를 통해 추가로 향상되어 고충실도 기하와 텍스처를 합성한다. 마지막으로, 이렇게 정제된 비디오는 의사 정답(pseudo-ground truth)으로 작용하여 전역 3D Gaussian 필드를 갱신한다. 이 작업을 지원하기 위해, 확산 기반 장면 복원을 위한 15K개 이상의 깨끗한-열화 쌍 파노라믹 비디오 데이터셋 PanoV2V-15K를 구축한다. 실험 결과 Rein3D는 사실적인(photorealistic) 전역적으로 일관된 3D 장면을 생성하며, 기존 베이스라인 대비 장거리 카메라 탐험을 크게 개선함을 보여준다.

arXiv:2602.15287v2cs.CV

일관성 보존 다양성 비디오 생성

Consistency-Preserving Diverse Video Generation

텍스트-투-비디오 생성은 비용이 많이 들기 때문에 프롬프트당 보통 소수의 샘플만 생성됩니다. 이러한 저샘플 환경에서 각 배치의 가치를 극대화하려면 높은 비디오 간 다양성이 필요합니다. 최근 방법들은 이미지 생성에서의 다양성을 향상시키지만, 비디오의 경우 비디오 내 시간적 일관성(temporal consistency)을 저하시키는 경우가 많고 비디오 디코더를 통한 비용이 많이 드는 역전파를 필요로 합니다. 우리는 플로우 매칭(flow-matching) 비디오 생성기를 위한 공동 샘플링(joint-sampling) 프레임워크를 제안하며, 이는 시간적 일관성을 보존하면서 배치 다양성을 향상시킵니다. 우리의 접근법은 다양성 기반 업데이트를 적용한 후, 시간적 일관성 목표를 감소시킬 성분만을 제거합니다. 이미지 공간 그래디언트를 피하기 위해 두 목표 모두를 경량 잠재 공간(latent-space) 모델로 계산함으로써 비디오 디코딩과 디코더 역전파를 피합니다. 최첨단 텍스트-투-비디오 플로우 매칭 모델에 대한 실험에서, 강력한 공동 샘플링 기준선에 근접한 다양성을 달성하면서 시간적 일관성과 색상 자연스러움을 크게 향상시킴을 보여줍니다. 코드는 https://github.com/XinshuangL/Diverse-Video 에서 이용 가능합니다.

arXiv:2512.00883v3cs.MM

오디오-비주얼 월드 모델: 구현된 에이전트를 위한 다감각 상상력 그라운딩

Audio-Visual World Models: Grounding Multisensory Imagination for Embodied Agents

월드 모델은 환경 역학을 시뮬레이션하여 에이전트가 미래 상태를 계획하고 추론할 수 있게 한다. 기존 접근법들은 주로 시각적 관측에 초점을 맞춰왔지만, 실제 세계의 지각은 본질적으로 다수의 감각 모달리티를 포함한다. 오디오는 음원 위치 파악 및 음향 장면 특성과 같은 중요한 공간적·시간적 단서를 제공하지만, 월드 모델에의 오디오 통합은 상대적으로 충분히 연구되지 않은 상태다. 선행 연구들은 저수준 행동 제어 하에서의 오디오-비주얼 월드 모델링을 위한 공통 채택 공식을 확립하지 못했으며, 물리적으로 그라운딩된 바이노럴 오디오와 시각적 역학을 어떻게 공동으로 포착할지 명확히 하지 못했다. 본 연구는 오디오-비주얼 월드 모델(AVWM)의 통합 공식을 제시하며, 다중 모달 환경 시뮬레이션을 동기화된 오디오-비주얼 관측을 갖는 부분 관측 마르코프 결정 과정으로 정식화한다. 이 문제에 대한 기초적 단계로서, 76개의 실내 환경에 걸쳐 행동 어노테이션이 포함된 30시간 분량의 바이노럴 오디오-비주얼 궤적으로 구성된 통제된 벤치마크 AVW-4k를 구축한다. 우리는 시각 및 청각 학습의 균형을 맞추는 새로운 모달리티 전문가 아키텍처를 갖춘 오디오-비주얼 조건부 확산 트랜스포머 AV-CDiT를 제안하며, 효과적인 다중 모달 통합을 위한 3단계 학습 전략으로 최적화한다. 이 벤치마크에서의 광범위한 실험을 통해 AV-CDiT가 시각 및 청각 모달리티 전반에 걸쳐 고품질 다중 모달 예측을 달성함을 입증한다. 더 나아가, 구현된 내비게이션에서의 실용적 유용성을 검증하며, AVWM이 연속적인 오디오-비주얼 내비게이션에서 비전-언어 모델 기반 에이전트의 성능을 향상시킴을 보인다.

arXiv:2406.00636v2cs.CV

T2LM: 다중 문장으로부터의 장기 3D 인간 동작 생성

T2LM: Long-Term 3D Human Motion Generation from Multiple Sentences

본 논문에서는 장기 3D 인간 동작 생성이라는 어려운 문제를 다룹니다. 구체적으로, 여러 문장의 스트림(즉, 문단)에서 부드럽게 연결된 동작의 긴 시퀀스를 생성하는 것을 목표합니다. 이전 장기 동작 생성 접근법은 대부분 순환(recurrent) 방법에 기반하여, 이전에 생성한 모션 청크를 다음 단계의 입력으로 사용했습니다. 하지만 이 접근법에는 두 가지 단점이 있습니다: 1) 비용이 많이 드는 순차 데이터셋에 의존한다; 2) 각 단계에서 생성된 모션 사이에 비현실적인 간격이 발생한다. 이러한 문제를 해결하기 위해, 순차 데이터 없이 학습할 수 있는 단순하지만 효과적인 연속적 장기 생성 프레임워크 T2LM을 제안합니다. T2LM은 두 가지 구성 요소로 이루어져 있습니다: 모션을 잠재 벡터 시퀀스로 압축하기 위해 학습된 1D 컨볼루션 VQVAE, 그리고 입력 텍스트에 따라 잠재 시퀀스를 예측하는 트랜스포머 기반 텍스트 인코더. 추론 시, 문장 시퀀스가 연속적인 잠재 벡터 스트림으로 변환됩니다. 이것은 VQVAE 디코더에 의해 모션으로 디코딩되며, 국소 시간 수용 영역을 가진 1D 컨볼루션의 사용은 학습 시퀀스와 생성 시퀀스 사이의 시간적 불일치를 방지합니다. VQ-VAE에 대한 이 단순한 제약은 짧은 시퀀스만으로 학습할 수 있게 하고, 더 부드러운 전환을 만들어냅니다. T2LM은 순차 데이터가 필요한 제약을 극복하는 동시에 이전 장기 생성 모델들을 능가하고, SOTA 단일 동작 생성 모델들과도 경쟁력을 보입니다.

arXiv:2606.07311v1cs.CV

CULTURESCORE: 비디오 생성 모델의 문화적 충실성 평가

CULTURESCORE: Evaluating Cultural Faithfulness in Video Generation Models

Veo 3.1, LTX-2와 같은 비디오 생성 모델이 발전함에 따라, 다양한 전 세계 문화를 정확하게 표현하는 능력은 여전히 중요하면서도 연구가 부족한 영역으로 남아 있다. VideoScore와 같은 현재 지표는 시각적 품질만 측정할 뿐, 문화적 충실성을 평가할 수단을 제공하지 않는다. 그 결과 나마스테를 악수로 바꿔 버리는 모델이 해당 제스처를 올바르게 생성하는 모델과 동일한 점수를 받는다. 우리는 CultureScore를 제안한다. 이는 문화적 충실성을 세 가지 세분화된 차원으로 분해하는 구성적 평가 프레임워크이다: 정체성(Identity, 누가 표현되는가), 맥락(Context, 문화적으로 현지화된 배경), 행동(Behavior, 규범적 제스처와 상호작용). 이 프레임워크를 10개국에 걸친 평가 스위트를 통해 구체화하였으며, 이 과정에서 세 가지 최신(state-of-the-art) 모델을 대상으로 6,180개의 생성 비디오를 확보하였다. 평가 결과, 현재 어떤 모델도 문화적으로 충실한 비디오 생성을 달성하지 못했으며, 가장 성능이 좋은 모델조차 전체 CultureScore 56.8%에 불과하다. 행동 차원이 가장 어려워 모든 모델에서 52% 미만을 기록하였다. 또한 인간 선호도 순위는 CultureScore와 방향적으로 일치하나 VideoScore와는 반대 경향을 보였다. 시각적 품질에서 최고 점수를 받은 모델이 주석 작업자들에게는 최하위로 순위가 매겨져, 문화적 충실성이 공정한(equitable) 비디오 생성을 위한 필수 기준임을 강조한다.

arXiv:2606.06903v1cs.CV

스켈레톤을 넘어서: Same2X 학습 전략으로 드라이빙 비디오에서 애니메이션을 직접 학습

Beyond Skeletons: Learning Animation Directly from Driving Videos with Same2X Training Strategy

인간 이미지 애니메이션(human image animation)은 정적 참조 이미지에서 드라이빙 비디오로부터 추출한 포즈 정보를 안내로 하여 비디오를 생성하는 것을 목표로 한다. 기존 접근법은 종종 포즈 추정기(pose estimator)에 의존하여 중간 표현을 추출하지만, 이러한 신호는 가려짐(occlusion)이나 복잡한 포즈에서 오류에 취약하다. 이러한 관찰에 기반하여, 우리는 포즈 추출을 우회하고 원시 드라이빙 비디오에서 직접 학습하는 프레임워크인 DirectAnimator를 제안한다. 우리는 모션, 표정, 정렬(alignment)을 의미론적으로 풍부하면서도 안정적인 형태로 포착하는 포즈, 얼굴, 위치 단서로 구성된 Driving Cue Triplet를 도입하고, 디노이징(denoising) 동안 신뢰할 수 있는 제어를 위해 CueFusion DiT 블록을 통해 이를 융합한다. 드라이빙과 참조의 신원(identity)이 다를 때 학습을 신뢰할 수 있게 하기 위해, 우리는 교차 ID(cross-ID) 특징을 동일 ID(same-ID) 데이터에서 학습된 특징과 정렬하여 최적화를 정규화하고 수렴을 가속하는 Same2X 학습 전략을 고안한다. 광범위한 실험은 DirectAnimator가 가려짐과 복잡한 관절 움직임(articulation)에도 견고하면서 최첨단(state-of-the-art) 시각적 품질과 신원 보존(identity preservation)을 달성하며, 더 적은 컴퓨팅 자원으로 이를 수행함을 보여준다. 프로젝트 페이지는 https://directanimator.github.io/ 에 있다.

arXiv:2606.06885v1cs.CV

FreeAnimate: 미리보기 안내 디노이징 기반 학습 불필요 인간 이미지 애니메이션

FreeAnimate: Training-Free Human Image Animation with Preview-Guided Denoising

인간 이미지 애니메이션은 주로 확산 모델(diffusion model)에 힘입어 크게 발전해 왔다. 그러나 기존 방법들은 고품질 결과를 달성하기 위해 일반적으로 상당한 학습(training) 데이터와 리소스를 요구하여, 일반화와 접근성을 제한한다. 본 연구에서는 이미지 확산 모델의 고유 능력을 활용하여 시간적 일관성, 정체성 보존, 배경 안정성을 달성하는 학습 불필요 프레임워크인 FreeAnimate를 제안한다. 우리 접근법은 생성된 미리보기 프레임에서 시간적·구조적 사전 정보(prior)를 제공하는 새로운 미리보기 생성 전략을 통합하여, 학습 없이도 포즈 정렬과 배경 일관성을 효과적으로 안내한다. 또한 FreeAnimate는 시간적 일관성과 정체성 보존을 보장하기 위해 Inversion-Boosted Attention과 Reference-Anchored Self-Attention 모듈을 도입한다. 실험 결과, FreeAnimate는 기존 학습 불필요 경쟁 방법과 학습 기반 기준선(baseline) 방법을 능가하며, 최신(state-of-the-art) 방법에 필적하는 생성 품질을 달성하고 다양한 데이터셋(dataset)에 걸쳐 강건한 일반화를 제공함을 보여준다. 프로젝트 페이지는 https://freeani.github.io/ 에 있다.

arXiv:2606.06872v1cs.CV

EgoPressDiff: 자기중심 시점 UV 도메인 손 압력 추정을 위한 멀티모달 비디오 디퓨전

EgoPressDiff: Multimodal Video Diffusion for Egocentric UV-Domain Hand-Pressure Estimation

자기중심 시점에서 손 표면 접촉 압력을 추정하는 것은 AR/VR 기기, 로봇 모방, 및 인간공학 분석에 매우 중요하다. 기존 방법은 종종 압력 신호를 이산화하고 프레임을 독립적으로 처리하여 양자화 오류와 시간적 불일치를 초래한다. 우리는 시각 입력으로부터 UV-압력 맵을 생성하는 조건부 비디오 디퓨전 프레임워크인 EgoPressDiff를 제안한다. 우리 접근법의 핵심은 멀티모달 조건화 전략으로, PoseNet과 Vertex Encoder를 도입하여 손 자세와 3D 메시 정점으로부터 특징을 효율적으로 추출한다. 이 신호들은 깊이 정보와 함께 생성 과정을 안내하여 압력 필드가 물리적으로 그라운딩되도록 한다. 이질적인 특징을 효과적으로 융합하기 위해, 우리는 결합 전에 통계적 특성을 정렬하는 Distribution-Calibrated Spatial Layer(분포 보정 공간 층)를 추가로 제안한다. EgoPressure 자기중심 시점 설정에서 평가한 결과, EgoPressDiff는 최신(state-of-the-art) 성능을 달성하여, 기존 기준선 대비 Volumetric IoU를 34% 이상 상대적으로 향상시키는 동시에 MAE를 감소시키고 높은 시간적 정확도를 유지한다. 프로젝트 페이지는 https://egopressdiff.github.io/ 입니다.

arXiv:2606.06853v1cs.CV

MotionEnhancer: 비디오 확산을 활용한 동작 강화 비전-언어 모델

MotionEnhancer: Leveraging Video Diffusion for Motion-Enhanced Vision-Language Models

최근 비전-언어 모델(VLM)을 비디오 이해 작업으로 확장하는 능력이 크게 향상되었다. 현재 VLM은 이벤트 수준이나 스토리 수준의 이해에는 탁월하지만, 미세한 동작 세부 사항을 포착하는 능력은 여전히 제한적이며, 이는 주로 고수준의 정적 의미 구조와 거시적 이벤트 논리에 초점을 맞추기 때문이다. 반면 비디오 확산 모델(VDM)은 대규모 비디오 데이터와 시간적 생성이라는 본질적 요구 사항의 이점 덕분에 동적 동작 패턴을 모델링하는 데 능숙하다. 본 논문에서는 강력한 비디오 확산 모델에서 증류한 동작 사전지식을 보조 감독으로 활용하여 어텐션 정렬을 통해 VLM의 동작 이해 능력을 강화하는 새로운 접근법인 MotionEnhancer를 제안한다. MotionEnhancer는 VDM으로부터 동작 관련 어텐션을 연산만으로 직접 추출하고 최적화하기 위해 Motion-sensitive Head Selection(MHS)과 Motion-salient Text Token Identification(MTTI)이라는 두 가지 간단한 매개변수 없는 모듈로 구성된다. MotionEnhancer는 추가 학습 매개변수, 기존 아키텍처 수정, 또는 도구 호출 없이 동작 이해를 위한 확장 가능한 해결책을 제공한다. 광범위한 실험 결과, MotionEnhancer는 두 가지 동작 수준 비디오 이해 벤치마크에서 최신 VLM 대비 일관된 성능 향상을 달성하며, 특히 동작 관련 지표에서 두드러진 개선을 보인다.