우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.
생성 모델의 최근 발전과 기술 혁신은 캐릭터 이미지 애니메이션의 근본적인 과제를 상당히 해결해 왔다. 그러나 기존 접근법은 주로 단일 참조 이미지로부터의 캐릭터 애니메이션에 초점을 맞추고 있어, 다중 캐릭터 상호작용 애니메이션과 같은 시나리오에서의 적용 가능성을 크게 제한한다. 이 공백을 메우기 위해 본 논문은 MultiAnimate를 제안한다. MultiAnimate는 공유 환경 내에서 다중 캐릭터의 동시 애니메이션을 가능하게 하면서 정체성 일관성과 공간적 관계를 모두 보존하는 포괄적인 프레임워크이다. 이 프레임워크는 여러 잘 설계된 메커니즘을 통해 이러한 목표를 달성한다. 첫째, 정체성별 reference net을 도입하여 다중 참조 이미지로부터 외형 추출을 가능하게 하며, 이는 단일 참조 입력에 제한된 기존 접근법과 MultiAnimate를 구별한다. 둘째, 캐릭터-포즈 바인딩(character-pose binding) 문제를 해결하기 위해 정체성 인식 포즈 인코더를 구현한다. 여기서 어텐션 메커니즘이 생성 과정에서 네트워크가 다중 포즈 시퀀스를 정확히 구분하고 처리할 수 있게 한다. 셋째, 캐릭터별 마스크 정보를 활용하여 복잡한 캐릭터 간 상호작용을 처리하는 프레임워크의 능력을 향상시키는 interaction guider 모듈을 도입한다. 이는 포즈 시퀀스를 정제하는 선택적 구성 요소로 작동한다. 광범위한 실험과 ablation 분석은 프레임워크가 다중 캐릭터 애니메이션, 특히 복잡한 모션 시퀀스를 포함하는 시나리오에서 우수함을 보여준다.
캐릭터 애니메이션에서 모션 블렌딩(motion blending)은 기존 예시들 사이를 보간하여 새로운 모션을 합성하는 것을 가능하게 한다. 현재 방법들은 일반적으로 고정된 스켈레톤 토폴로지에 제한되어, 캐릭터 간에 동일하거나 거의 동일한 골격 구조를 요구한다. 우리는 이종(heterogeneous) 스켈레톤 간 모션 블렌딩을 위한 새로운 프레임워크를 제시한다. 제안된 아키텍처는 모션 상태의 프레임별 잠재 표현(latent representation)을 추출하는 의미론적 인코더(semantic encoder)와, 이 잠재 코드에 조건화되어 캐릭터별 모션을 재구성하는 확산 기반(diffusion-based) 디코더를 결합한다. 추론 시, 두 입력 모션의 잠재 표현을 보간함으로써 블렌딩된 모션을 얻는다. 우리는 동일한 스켈레톤 토폴로지와 서로 다른 스켈레톤 토폴로지 모두에서 정의된 모션을 사용하여 Truebones Zoo 데이터셋으로 해당 방법을 학습하고 평가하며, 다양한 시나리오에서 자연스럽고 그럴듯한 블렌딩을 달성할 수 있음을 입증한다.
단안 비디오에서 리깅된 3D 캐릭터로 관절 모션을 전이할 때 발생하는 포즈 모호성과 형태학적 차이 문제를 해결하기 위해, MorphGS는 중간 3D 재구성 없이 이미지 공간 지도(supervision)를 통해 타겟 형태와 포즈를 직접 최적화하는 타겟 기반 분석-합성(analysis-by-synthesis) 프레임워크를 제안한다. 리그 결합 형태 파라미터화로 캐릭터 정체성과 관절 회전을 분리하고, 조밀한 2D-3D 대응 관계 및 확산 기반 다시점 합성을 결합하여 합성 벤치마크와 실세계 비디오 모두에서 기존 방법 대비 일관된 성능 향상을 달성했다.
생성형 3D 에셋의 폭발적 증가는 애니메이션에 대한 막대한 수요를 만들었지만, 현재의 모션 캡처(motion capture) 방법은 여전히 취약하여 종별 특화 템플릿(예: SMPL)에 제한되거나 노동 집약적인 수동 리깅(rigging)을 요구한다. 본 논문은 TopoCap을 소개하는데, 이는 단안 비디오에서 모션을 추출하고 테스트 시점 최적화 없이 이족보행 동물부터 육각보행 동물(hexapod) 및 무생물 객체에 이르는 임의의, 보지 못한 골격 토폴로지를 가진 캐릭터에 리타겟팅(retargeting)할 수 있는 최초의 통합 프레임워크이다. 핵심 통찰은 골격 구조는 조합적(combinatorial)이고 이산적(discrete)인 반면, 모션의 기저 물리는 연속적이고 저차원 매니폴드(manifold)를 차지한다는 것이다. 이 통찰을 2단계 생성 파이프라인을 통해 구현한다. 먼저, 이질적인 운동학적 체인(kinematic chain)을 공유된 고정 길이 잠재 코드(latent code)로 압축하는 Graph CVAE를 사용하여 범용 모션 매니폴드(Universal Motion Manifold)를 학습한다. 타깃 리그(rig)의 구조적 임베딩(embedding)으로 디코더를 명시적으로 조건화함으로써, 모션 역학(motion dynamics)과 골격 토폴로지를 분리(disentangle)한다. 둘째, 비디오-애니메이션 변환을 조건부 flow matching 문제로 취급하여, 시각적 특징으로부터 이러한 토폴로지 무관 코드를 예측한다. 이 일반화된 프라이어를 학습하기 위해 Objaverse-XL에서 큐레이션한 대규모 데이터셋 Mobjaverse를 소개한다. 5,000개 이상의 고유 골격 토폴로지와 200만 프레임으로 구성되며, 기존 데이터셋의 구조적 다양성을 두 자릿수(order of magnitude) 초과한다. 광범위한 실험은 \MethodMotion이 인간 및 사족동물(quadruped) 벤치마크에서 전문(specialist) 모델을 능가하면서, 3D 생물의 롱테일(long tail)에 대해 제로샷(zero-shot) 리타겟팅을 가능하게 함을 보여준다. 데이터셋은 https://huggingface.co/datasets/duckduckplz/Mobjaverse 에서 공개적으로 이용 가능하다.
현대 게임 엔진은 학습된 동작 모델로 NPC를 애니메이션하는 데 상당한 연산 자원을 소비한다. 본 논문은 각 NPC와 플레이어 카메라 사이의 거리에 따라 머신러닝 추론 정밀도를 적응적으로 조정하는 프레임워크인 AI 레벨 오브 디테일(AI LOD)을 제안한다. 핵심 아이디어는 고전적인 기하학 LOD를 반영한다: 차이가 지각되지 않는 곳에서 더 저렴한 근사치로 대체하는 것이다. 여기서 근사치는 낮은 폴리곤 메시가 아닌, 더 낮은 정밀도로 양자화된 머신러닝 모델이다. 본 연구의 기여는 AI LOD 개념 자체, 즉 추론 시 양자화가 AI 기반 캐릭터 애니메이션의 LOD 축으로 기능할 수 있다는 것이며, 더 광범위하게는 지각적 민감도가 맥락에 따라 달라지는 모든 AI 기반 런타임 시스템에도 적용 가능하다는 것이다. 개념 시연을 위한 대표 사례로 Li et al.의 합성곱 시퀀스-투-시퀀스 모델을 사용하였으며, 학습된 체크포인트를 세 가지 ONNX Runtime 변형(FP32, FP16, 텐서별 INT8)으로 내보내어 런타임에서 거리 기반 선택기에 의해 라우팅되도록 설계하였다. CMU Mocap 데이터셋에 대한 평가는 각 정밀도 계층이 할당된 거리 범위에서 지각 가능한 저하가 무시할 수 있는 수준으로 제공될 수 있음을 초기 근거로 제시하며, 거리 인식 ML 모델 정밀도 선택이 AI 기반 캐릭터 애니메이션의 실행 가능한 LOD 전략임을 뒷받침한다.
정적 신경망 포인트 재구성은 포즈가 주어진 이미지로부터 피사체를 고충실도로 포착한다. 이러한 재구성이 주어졌을 때, 우리는 촬영되었든 image-to-video(I2V) 생성으로 만들어졌든 관계없이 피사체의 단안 고정 시점 드라이빙 비디오를 따라 애니메이션하고, 리그가 적용된 재포즈 가능한 3D 자산을 복원하는 것을 목표로 한다. 기존 방법들은 직접 선형 혼합 스키닝(LBS) 또는 메시 프록시를 통해 가우시안 스플랫을 변형하는데, 프리미티브별 보정이 있더라도 관절화 시 관절 경계에서 아티팩트가 발생하기 쉽다. 우리는 이 아티팩트의 원인을 표현 방식에 있다고 본다: 각 스플랫은 표준(canonical) 포즈에서 이웃과 타일되도록 보정된 개별 형상을 담고 있다. 강체 LBS 하에서 각 스플랫은 자신의 본과 함께 이동하지만 굽을 수 없으므로, 표준 타일링이 관절 경계에서 깨져 틈과 스파이크가 생긴다. 대신 근접 어텐션 포인트 렌더링(PAPR)은 프리미티브별 형상을 담지 않는다; 각 픽셀은 변형된 프리미티브의 위치로부터 렌더 시점에 재구성되므로, 표면이 관절화에 따라 자연스럽게 재형성된다. 우리는 정적 PAPR 클라우드를 자동으로 리깅하고 단일 고정 시점 비디오로부터 직접 LBS로 구동하며, 메시 프록시, 포즈 의존 보정, 또는 카테고리 템플릿 없이 동작하는 RigPAPR를 제안한다. 합성 피사체에서 RigPAPR는 지도 시점에서 최강 기준선과 동등한 성능을 보이며, 새로운 시점에서 메시 기반 및 가우시안 스플래팅 기준선보다 PSNR 3+dB 이상 우수하며, 합성 및 실제 피사체 모두에서 더 깨끗한 관절 경계 렌더링을 달성한다.