PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.00861v2cs.CV

TrajLoc: 다중 객체 모션 제어를 위한 궤적-어텐션 위치추정

TrajLoc: Trajectory-Attention Localization for Multi-Object Motion Control

TrajLoc은 이미지-비디오(I2V) 생성에서 다중 객체의 모션을 정밀하게 제어하기 위해, 각 객체 토큰의 크로스-어텐션 가중치를 목표 궤적에 정렬된 가우시안 히트맵으로 대체하는 어텐션 로컬라이제이션 기법을 제안한다. CogVideoX 5B와 WaN 2.1 14B 두 백본에서 최대 20개 객체를 동시에 제어하는 6개 데이터셋 평가 결과, 기존 최강 베이스라인 대비 평균 PSNR +4.3 dB 향상과 궤적 끝점 오차 51% 감소를 달성했다.

arXiv:2508.16943v4cs.RO

LHM-Humanoid: 복잡한 장면에서 연속적인 물체 운반을 위한 장기 휴먼 모션 제어

LHM-Humanoid: Long-Horizon Human Motion Control for Continuous Object Transport in Cluttered Scenes

물리 기반 휴먼 모션 제어는 시뮬레이션된 캐릭터가 높은 물리적 사실성을 바탕으로 걷고, 앉고, 물체를 조작할 수 있게 해줍니다. 그러나 거의 대부분의 경우 이는 상호작용 사이에 재초기화되는 짧고 고립된 클립에서만 이루어집니다. 본 연구는 이와 달리 연속적이고 리셋이 없는 장기(long-horizon) 모션을 목표로 합니다. 즉, 물리 시뮬레이션된 휴머노이드가 단일 무중단 테이크 내에서 위치가 바뀐 물체로 반복해서 걸어가 균형 잡힌 전신 자세로 들어 올리고, 장애물을 지나 운반한 뒤 목표 지점에 내려놓는 과정을 계속해서 반복하는 것입니다. 어려운 점은 개별 동작이 아니라 동작 간의 전환(transition)입니다. 리셋이 없다면 각 주기는 방금 놓아둔 물체를 건드리지 않고 다음 주기를 시작할 수 있는 상태로 끝나야 하지만, 매번 물체를 내려놓을 때마다 캐릭터는 비정형(non-canonical) 자세로 균형을 잃게 되어 단순한 엔드투엔드 강화학습(RL)은 실패하게 됩니다. 본 연구의 핵심 아이디어는 이러한 인계를 회복가능성(recoverability)이라는 양면적 문제로 다루는 것입니다. 즉, 이전의 성공을 보존하기 위해 캐릭터가 방금 놓아둔 물체에서 떨어져 나와야 하며, 균형 잡힌 연속 동작이 가능한 상태로 안착해야 합니다. 전환 과정을 수작업으로 설계하는 대신, 각 주기가 끝나는 지점이 이러한 회복 가능한 영역에 도달하도록 유도하는 방식을 학습합니다. 이를 위해 LHM-Humanoid를 소개합니다. 하나의 목표 조건부 제어기가 가져오기-운반하기-내려놓기(fetch-carry-place) 주기를 완료하고, 학습된 분리 및 후퇴 동작을 통해 최종 상태를 이 영역으로 유도하며, 이어 두 번째 제어기가 결과 상태 분포로부터 제어를 인계받습니다. 두 제어기 모두 적대적 모션 프라이어(adversarial motion prior)로 정규화(normalization)되며, 전체 시퀀스를 하나의 리셋 없는 롤아웃으로 실행하는 단일 목표 조건부 정책으로 증류(distillation)됩니다. 4가지 방 유형에 걸친 350개의 복잡한 레이아웃에서, LHM-Humanoid는 학습된 장면과 학습되지 않은 장면 모두에서 엔드투엔드 RL, 계층적 RL, 기존 물리 기반 인간-장면 상호작용 방법보다 훨씬 더 성공적이고 안정적인 장기 모션을 생성합니다.

arXiv:2610.02180v1cs.CV

Generative Cinematographer: 3D에서의 카메라 및 객체 모션 구성

Generative Cinematographer: Composing Camera and Object Motion in 3D

현재의 제어 가능한 비디오 생성 시스템은 객체 모션을 표현하기 위해 2D 모션 궤적이나 희소한 드래그 신호에 의존하는 경우가 많습니다. 특히 카메라와 객체가 동시에 움직일 때 동일한 2D 궤적이 서로 다른 3D 모션에 대응될 수 있으므로 이러한 제어 방식은 모호성을 지닙니다. 본 연구에서는 단일 이미지를 편집 가능한 3D 장면 스캐폴드로 변환하여 아티스트가 카메라와 전경 모션을 함께 저작할 수 있는 시스템인 Generative Cinematographer(GenCine)를 제안합니다. 아티스트는 카메라 경로를 지정하고 국소 3D 모션 핸들을 사용하여 선택한 전경 영역을 이동시킬 수 있습니다. 여러 핸들을 통해 피사체의 서로 다른 부분을 독립적으로 움직일 수 있어, 물리 시뮬레이터나 범주별 사전 지식(prior) 없이도 비강체(non-rigid) 모션에 대한 구분적 강체(piecewise-rigid) 근사를 제공합니다. 이러한 제어를 사전학습된(pretrained) 비디오 모델에 전달하기 위해, 이를 가이던스 맵으로 투영합니다. 이 맵은 각 프레임에서 제어된 영역이 나타나는 위치를 기록하고, 프레임 전반에 걸쳐 각 핸들에 고정된 색상을 할당하며, 제어된 점들의 현재 3D 위치를 배경과 동일한 월드 좌표계로 인코딩합니다. 이를 통해 카메라가 움직이는 상황에서도 장면에 상대적인 객체 모션을 기술할 수 있습니다. 학습을 위해 실제 비디오에서 관찰된 모션으로부터 제어 신호를 복원하고, 합성 비디오의 정답(ground-truth) 지오메트리 및 궤적을 활용합니다. 우리는 사전학습된 Wan 모델에 경량 가이던스 브랜치와 LoRA 어댑터를 학습시켜 이러한 제어를 따르도록 합니다. 실험 결과, 시점 변화 속에서도 향상된 기하학적 일관성과 카메라 상대 모션의 일관성을 보였으며, 다양한 실제 장면 전반에서 강력한 제어 성능을 입증했습니다.

arXiv:2607.02798v1cs.CV

노이즈를 추적하고, 세계를 움직여라: 제어 가능한 비디오 생성을 위한 3D 기반 모션 일관성 노이즈

Track the Noise, Move the World:3D-Grounded Motion-Consistent Noise for Controllable Video Generation

현대의 이미지-텍스트-비디오 확산 모델은 참조 이미지와 텍스트 입력을 조건으로 초기 가우시안 노이즈 텐서를 반복적으로 노이즈 제거하여 매우 사실적인 비디오를 합성할 수 있다. 그러나 기존 접근법들은 단일 생성 프로세스 내에서 객체 모션과 카메라 모션 모두에 대한 정밀하고 통합된 제어 가능성이 여전히 부족하다. 우리는 확산 모델의 입력 노이즈를 직접 구성하여 객체 궤적과 카메라 시점을 동시에 제어할 수 있는 통합 프레임워크인 UniCaMo를 제안한다. 구체적으로, UniCaMo는 잠재 비디오 프레임 전체에 걸쳐 공유된 3D 기반 모션 일관성 노이즈 공간을 구축한다. 희소 3D 포인트 트랙을 사용하여 참조 프레임의 가우시안 노이즈를 원하는 객체 궤적을 따라 워핑하며, 가상 구면 노이즈 표현은 카메라 모션에 따라 새롭게 드러나는 장면 영역에 대해 전역적으로 일관된 노이즈 값을 제공한다. 지역적인 트랙 기반 노이즈 워핑과 전역적인 구면 기반 노이즈 샘플링을 결합함으로써, UniCaMo는 객체 이동과 시점 변화 모두에서 기하학적 및 시간적 일관성을 유지한다. UniCaMo는 입력 노이즈만을 수정하기 때문에 기반 비디오 확산 모델에 보조 어댑터, 제어 브랜치, 또는 아키텍처 변경이 필요하지 않다. Wan 2.1 (14B)을 포함한 대규모 사전학습 비디오 확산 모델에 경량 LoRA 미세조정을 적용하여, UniCaMo는 표준 제어 가능한 비디오 생성 벤치마크에서 비디오 품질과 모션 제어 가능성 모두에서 최고 성능을 달성한다.

arXiv:2607.01869v1cs.CV

QWERTY: 쿼리 워핑 비디오 확산 트랜스포머를 통한 학습 없는 모션 제어

QWERTY: Training-Free Motion Control via Query-Warped Video Diffusion Transformers

QWERTY는 사전학습된 이미지-to-비디오 비디오 확산 트랜스포머(DiT)에서 추가 학습 없이 유연한 모션 제어를 가능하게 하는 프레임워크로, 쿼리의 프레임 불변 의미론적 부분공간을 워핑하여 3D 전체 어텐션을 조작한다. 의미론적-시간적 채널 분해(STCD)를 통해 프레임 비일관성 문제를 해결하고, 쿼리 워핑 노이즈를 잠재 최적화의 자기 지도로 활용함으로써 기존 학습 없는 방법 중 최고 수준의 모션 제어 성능을 달성하며 파인튜닝 기반 방법에 근접한 결과를 보인다.

arXiv:2606.20705v1cs.CV

MotionPyramid: 계층적 모션 표현과 잔차 인터페이스

MotionPyramid: Hierarchical Motion Representation and Residual Interfaces

인지에서 엣지와 같은 국소적 원시 요소에서 부품과 객체 같은 고수준 구조에 이르는 표현 계층이 관찰되는 것처럼, 모션에도 그러한 계층을 구축할 수 있는지 묻는다. 휴머노이드 제어에서 저수준 동작은 즉각적인 모터 명령을 지정하는 반면, 의미 있는 행동은 접촉, 보행 단편, 균형 회복, 도달, 전신 스킬 등 더 긴 시간 척도에 걸쳐 조직된다. 우리는 모션 데이터로부터 이러한 구조를 학습하는 계층적 동작 표현 MotionPyramid를 제안한다. 모션 추적 교사 모델에서 출발하여, 재귀적으로 쌓인 잠재 디코더 스택을 학습한다. 저수준 잠재 변수는 즉각적인 전신 모터 명령으로 디코딩되고, 고수준 잠재 변수는 하위 수준을 통해 시간적으로 확장된 모션 프로그램으로 전개된다. 사전학습 후 계층은 고정되며, 다운스트림 강화학습 정책이 서로 다른 제어 해상도의 동작 인터페이스 패밀리로 이를 재사용한다. 실험 결과, 학습된 수준들은 모션 계층을 형성한다. 더 거친 인터페이스는 탐험을 구조화된 세그먼트로 제한함으로써 초기 학습과 모션 규칙성을 개선하고, 더 세밀한 인터페이스는 피드백 제어와 최종 과제의 정밀도를 유지한다. 표현 프로브는 계층이 순회, 보간, 전이, 질적 합성을 지원하며 시간 척도 전반에 걸친 편집 가능한 제어 핸들을 드러냄을 보여준다. 마지막으로 Residual Interfaces를 도입하여, 다운스트림 정책이 고정된 계층을 통해 거친 수준, 세그먼트 수준, 프레임 수준의 잔차 명령을 유지할 수 있게 한다. 딥 네트워크의 잔차 연결 또는 skip connection과 유사하게, 이는 거친 모션 프로그램과 세밀한 잔차 보정이 하나의 컨트롤러 내에서 공존할 수 있게 한다. MotionPyramid는 모션도 인지와 마찬가지로 재사용 가능한 다수준 표현으로 조직할 수 있음을 보여주며, 구조화된 추상화를 제공하면서도 제어 가능성을 희생하지 않는다.