동적 환경에서 작동하는 모션-언어 에이전트의 파국적 망각(catastrophic forgetting) 문제를 해결하기 위해, 고정된 LLM 백본 위에 오토인코더 기반 라우터를 활용한 전문가 혼합(MoE) LoRA 변형을 제안하여 태스크 레이블 없이 추론 시 태스크별 전문가를 선택한다. HumanML3D 기반 5개 태스크 벤치마크에서 M2T·T2M 양방향 모두 망각이 거의 없으며, 소프트 혼합보다 하드 라우팅 방식이 생성 품질 지표에서 유의미하게 우수함을 실험적으로 입증했다.
텍스트 기반 사람 동작 편집(human motion editing)은 양립 가능한 원본 콘텐츠를 보존하면서 요청된 변경 사항을 구현하는 것을 목표로 합니다. 기존의 확산(diffusion) 기반 편집 모델들은 편집되지 않은 부분의 보존을 위해 주로 학습된 조건화(conditioning)에 의존하지만, 디노이징(denoising)이 진행됨에 따라 출력에서 시간적 세부 정보가 손실될 수 있습니다. 본 논문에서는 원본 보존을 위해 각 역과정 단계(reverse step)에서 원본을 명시적으로 재사용하는 원본 보존 디노이징 프레임워크인 SuperMotion(\textbf{Source-Preserving Denoising framework})을 제안합니다. 먼저 원본 동작을 출력 타임라인에 정렬하고, 프레임 및 특징(feature) 차원에 걸쳐 재사용을 제어하는 보존 게이트(preservation gate)를 예측합니다. 그런 다음 클린 공간 원본 앵커(clean-space source anchor)가 학습된 보존 게이트를 활용하여 예측된 클린 동작과 정렬된 원본을 혼합하고, 보정된 추정치를 샘플링 사후확률(sampling posterior)에 직접 전달합니다. 정렬된 원본은 회귀 출력이 아닌 실제 실현된 동작이므로, 앵커는 재구성 학습된 디노이저가 매끄럽게 뭉개버리는 경향이 있는 샘플 수준의 시간적 세부 정보를 주입합니다. 효과적인 원본 재사용을 학습하기 위해, 앵커링된 추정치를 편집 대상에 대해 지도 학습하고 시간적 고주파 손실(loss)을 통해 2차 시간 차분을 일치시킵니다. 이러한 목적 함수들은 명시적인 편집 마스크를 필요로 하지 않습니다. 광범위한 실험을 통해 SuperMotion은 MotionFix에서 33.20%의 전체 풀 R@1에 도달하여 편집 정확도를 향상시키는 동시에, 요청된 변경 사항을 구현하면서 시간적 세부 정보 감쇠를 줄이고 동작의 동역학(dynamics)을 보존함을 보여줍니다. 소거 연구(ablation)를 통해 학습된 보존 게이트가 이러한 성능 향상의 원인이며, 편집되지 않은 콘텐츠를 적절히 유지하기 위해 원본을 재사용함을 확인했습니다.
본 논문에서는 모션 디퓨전 모델(motion diffusion model)에서 장기(long-horizon) 오차 누적을 완화하기 위한 사후 학습 방법인 삼각 리샘플링(Triangular Resampling, TR)을 제안합니다. FloodDiffusion의 삼각 디노이징 스케줄을 기반으로 구축된 TR은 정답(ground truth) 기반 학습 윈도우와 모델이 생성한 추론 상태 간의 불일치를 해결합니다. 완료된 모션 히스토리만 대체하는 방식은 활성 윈도우 내에서 부분적으로 디노이징된 상태의 이러한 불일치를 해결하지 못한 채로 둡니다. 따라서 TR은 롤아웃 기반 학습을 이러한 상태로 확장하고, 정답 클램핑(ground-truth clamping)을 사용하여 과도한 드리프트를 제한합니다. 재생(replay)되는 각 샘플에 대해 TR은 잠재 위치(latent position) 및 재생 업데이트 전반에 걸쳐 공유되는 단일 디노이징 임계값을 도출하고, 그래디언트 추적 없이 다단계 삼각 디노이징을 재생합니다. 각 업데이트 후, 임계값 미만의 상태는 노이즈가 매칭된 정답으로 대체되는 반면, 임계값 이상의 상태는 모델의 예측을 유지합니다. 이렇게 생성된 잠재 윈도우는 표준 학습 업데이트에 입력됩니다. 이러한 롤아웃 구성은 지도 학습(supervised training, TR)과 분포 매칭(distribution matching, TR-DMD)을 모두 지원합니다. HumanML3D 테스트 프롬프트를 사용한 120초 모션 생성에서 TR과 TR-DMD는 각각의 비 DMD 및 DMD 비교 그룹 내에서 최고 수준의(SOTA) FID AUC를 달성합니다. 지도 학습 기반 TR은 재생이 없는 매칭된 사후 학습 대비 FID AUC를 40.9%, FID 저하 기울기를 55.3% 감소시킵니다.
반복적 텍스트-모션 생성은 품질이 높고 의미적으로 정렬된 동작을 제공하지만, 여러 번의 네트워크 평가가 필요해 추론 지연이 크다. 본 논문은 오프라인 집합 증류에 기반한 엄격한 1단계 텍스트-모션 생성 프레임워크인 \textbf{MixiMotion}을 제시한다. 각 텍스트 프롬프트마다 단일 교사 궤적 하나만 증류하는 대신, MixiMotion은 여러 교사 동작으로 구성된 오프라인 뱅크를 구축하고 \textbf{asymmetric bidirectional matching}을 통해 교사와 학생 표본 집합을 정렬한다. 교사→학생 방향은 교사가 지원하는 다양한 동작의 포괴를 촉진하고, 학생→교사 방향은 지원되지 않는 생성을 억제한다. 또한 정규화된 표현 매칭을 디코딩된 모션 공간의 제약으로 보완하기 위해 미분 가능한 디코딩 공간 운동학적 감독을 도입한다. 추론 시 MixiMotion은 교사 질의, 반복 샘플링, 후보 순위화 없이 단일 네트워크 평가로 완전한 동작 시퀀스를 생성한다. ViMoGen에서 MixiMotion은 의미 정렬 점수 $0.835$를 달성해 평가된 1단계 기준선들을 능가하고, 50단계 HY-Motion-1.0-Lite 교사의 $0.858$ 점수에 근접한다. 블라인드 인간 평가에서 MixiMotion은 전체 평점 $4.33$을 얻었고(교사 $4.50$), 평가된 1-/few-step 기준선들을 능가했다. 한편 생성 지연은 $829.58$\,ms에서 $9.30$\,ms로 줄어 $89.2\times$ 속도 향상에 해당한다. 이 결과는 엄격한 1단계 텍스트-모션 생성에서 효과적인 품질-효율 트레이드오프를 보여준다.
텍스트-모션 표현 학습은 빠르게 발전해 왔으며, 애니메이션, AR/VR, 체화 AI(embodied AI) 분야에서 다인 상호작용에 대한 관심이 커지고 있다. 이러한 설정에서는 언어를 개별 행위자의 역학과 행위자 간 관계 모두에 정렬하는 표현이 필요하다. 우리는 다중모달 상호작용 모션 인코더(MIME)를 제안한다. 우리가 아는 한 MIME은 두 사람 상호작용 모션을 위해 특별히 설계된 최초의 전용 다중모달 인코더이다. MIME은 명시적 상호작용 특징과 커리큘럼 기반 대조 학습을 갖춘 스트림 기반 공동 어텐션(co-attention)을 사용하여 개별 및 공유 구조를 포착한다. Inter-X 텍스트-모션 검색에서 MIME은 갤러리 크기 전반에 걸쳐 초기·후기 융합(fusion) 기준선을 일관되게 능가하며, 2,000개 샘플 갤러리에서 text-to-motion R@1 기준 상대 12.8% 개선을 달성한다. 또한 학습에 포함되지 않은(unseen) InterHuman 데이터셋에서 TIMotion과 InterMask 내부의 동결(frozen) 보조 사전(prior)으로 MIME을 추가로 평가했다. MIME은 TIMotion에서 유사한 FID를 유지하면서 의미 정렬 지표를 개선한다. 이러한 결과는 상호작용 인식 다중모달 인코딩이 다인 모션 검색을 개선하고, 데이터셋 간 전이되어 하위 모션 생성을 지원함을 보여준다.
인간 모션 생성 모델은 근본적으로 모션 캡처(MoCap) 데이터셋의 제한된 다양성에 의해 제약받는다. 이 데이터셋은 주로 흔하고 반복적인 동작을 포함하며 복잡한 인간 움직임의 롱테일(long tail)을 포괄하지 못해, 학습된 잠재 표현에서 제한된 모션 어휘를 초래하고 드물고 조합적이며 고도로 동적인 모션에 대한 일반화가 부족하다. 본 연구에서는 대규모 합성 인간 모션을 활용하여 모션 표현 공간을 확장하는 프레임워크를 제안한다. 기존 데이터셋 분포를 넘어서는 다양하고 물리적으로 타당한 모션 시퀀스를 생성하는 데이터 생성 파이프라인을 도입하고, 이를 확장된 모션 공간에 적응하도록 재설계한 VQ-VAE 토크나이저와 통합한다. 좁은 데이터 분포에서 학습된 기존 토크나이저와 달리, 본 접근법은 학습 분포와 이산 코드북을 동시에 스케일링하여 모델이 훨씬 더 풍부한 모션 프리미티브 집합을 포착할 수 있게 한다. 합성 모션으로 학습하면 학습된 모션 어휘의 커버리지와 조합성이 크게 향상됨을 보여 주며, MotionGPT를 포함한 기존 프레임워크와 완전히 호환되면서 텍스트-투-모션(text-to-motion) 및 모션 연속 생성(motion continuation)과 같은 모션 생성 과제에서 일관된 성능 향상을 달성한다. 결과는 주요 병목이 모델 아키텍처만이 아니라 학습된 모션 표현의 제한된 지원(support)에 있다는 점을 시사한다. 표현 학습과 함께 합성 모션을 스케일링하는 것은 더 표현력 있고 제어 가능하며 일반화 가능한 인간 모션 합성을 향한 원칙적인 경로를 제공한다.
텍스트 설명 기반 인간 모션 합성에서 의미론적 충실도와 물리적 현실감의 트레이드오프를 해소하기 위해, ICMPG는 LLM 플래너가 생성한 후보 모션을 물리 시뮬레이션과 의미 정렬로 평가·선택하는 모델 예측 제어(MPC)형 폐루프 프레임워크를 제안한다. 표준·제로샷 개방 어휘 설정에서 과제별 정책 재학습 없이도 다양한 명령에 강건하게 일반화하며, 평가 벤치마크에서 기존 방법보다 물리적으로 더 타당하고 의미론적으로 더 충실한 모션을 생성한다.
텍스트-모션 생성(text-to-motion generation)은 언어로부터 현실감 있는 단일 인물 모션을 합성하는 데 있어 강력한 진전을 이루었지만, 이를 텍스트 기반 3D 인간-인간 상호작용(HHI, Human-Human Interaction) 생성으로 확장하는 것은 여전히 쉽지 않다. HHI는 단계 진행, 행위자 역할, 행위자 간 조율을 지배하는 근본적인 **소셜 구조(social structure)**를 모델링해야 하기 때문이다. 본 논문에서는 HHI 생성을 소셜 구조 모델링 및 그라운딩 문제로 정식화한다. 즉, 모델은 상호작용이 어떻게 전개되고 두 행위자가 어떻게 역할을 조율하는지를 먼저 추론한 뒤, 이 구조를 연속적이고 물리적으로 타당하며 파트너를 인식하는 3D 모션으로 실현해야 한다. 이러한 구조를 어떻게 모델링해야 하는지 연구하기 위해, 우리는 먼저 HHI 생성에 있어 대규모 언어 모델(LLM)의 능력 경계를 분석한다. 분석 결과, LLM은 단계 분해와 파트너 인식 역할을 복원함으로써 *사고(think)*할 수는 있지만, 동적이고 물리적으로 타당하며 상호작용을 인식하는 모션을 생성하는 데 실패하여 직접적으로 *움직이는(move)* 것은 불가능함을 보인다. 이는 우리의 플래너-실행기(planner-executor) 패러다임인 **LLM으로 사고하고, 모션 스킬로 움직여라(Think with LLM, Move with Motion Skill)**의 동기가 된다. LLM 플래너는 상호작용을 단계로 분해하고, 파트너 인식 행위자 역할을 할당하며, 이를 모션 시퀀스와 정렬함으로써 암묵적인 상호작용 의미론을 모션 정렬 소셜 감독(motion-aligned social supervision)으로 변환한다. 모션 실행기는 LoRA, 이전 단계 자기 조건화(previous-phase self-conditioning), 자아 상대적 파트너 조건화(ego-relative partner conditioning)를 통해 사전학습된 단독 모션 모델을 적응시켜 계획된 소셜 구조를 조율된 두 인물 모션으로 그라운딩한다. 이를 통해 우리의 Solo-to-Social 프레임워크는 소셜 조직화와 모션 실현을 연결하여, 향상된 단계 일관성, 역할 정렬, 파트너 인식 조율을 갖춘 3D HHI를 생성한다.
본 논문에서는 장기 3D 인간 동작 생성이라는 어려운 문제를 다룹니다. 구체적으로, 여러 문장의 스트림(즉, 문단)에서 부드럽게 연결된 동작의 긴 시퀀스를 생성하는 것을 목표합니다. 이전 장기 동작 생성 접근법은 대부분 순환(recurrent) 방법에 기반하여, 이전에 생성한 모션 청크를 다음 단계의 입력으로 사용했습니다. 하지만 이 접근법에는 두 가지 단점이 있습니다: 1) 비용이 많이 드는 순차 데이터셋에 의존한다; 2) 각 단계에서 생성된 모션 사이에 비현실적인 간격이 발생한다. 이러한 문제를 해결하기 위해, 순차 데이터 없이 학습할 수 있는 단순하지만 효과적인 연속적 장기 생성 프레임워크 T2LM을 제안합니다. T2LM은 두 가지 구성 요소로 이루어져 있습니다: 모션을 잠재 벡터 시퀀스로 압축하기 위해 학습된 1D 컨볼루션 VQVAE, 그리고 입력 텍스트에 따라 잠재 시퀀스를 예측하는 트랜스포머 기반 텍스트 인코더. 추론 시, 문장 시퀀스가 연속적인 잠재 벡터 스트림으로 변환됩니다. 이것은 VQVAE 디코더에 의해 모션으로 디코딩되며, 국소 시간 수용 영역을 가진 1D 컨볼루션의 사용은 학습 시퀀스와 생성 시퀀스 사이의 시간적 불일치를 방지합니다. VQ-VAE에 대한 이 단순한 제약은 짧은 시퀀스만으로 학습할 수 있게 하고, 더 부드러운 전환을 만들어냅니다. T2LM은 순차 데이터가 필요한 제약을 극복하는 동시에 이전 장기 생성 모델들을 능가하고, SOTA 단일 동작 생성 모델들과도 경쟁력을 보입니다.