arXiv:2609.33167v2 cs.CV

FloodDiffusion 2: 효율적이고 경로 제어가 가능한 스트리밍 모션 생성

FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

Yiyi Cai, Yuhan Wu, Kunhang Li, Tu Fangyuan, Xiangyue Zhang, Qiaoge Li, Zhixiang Wang, Kaipeng Zhang, Haiyang Liu

제출 2026-09-27

저자 비고

arXiv Comments

27 pages. Updated author affiliations and corresponding-author information. Code: https://github.com/AlayaLab/FloodDiffusion2

한국어 초록

우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.

원문 초록

We present FloodDiffusion 2 (FD2), an efficient and controllable framework that builds upon FloodDiffusion (FD1), a state-of-the-art streaming motion generation model. While FD1 produces plausible motion, it suffers from low efficiency and limited controllability, as its attention design requires repeated computation over the entire history, and it lacks precise trajectory control for real-world applications. To address these limitations and improve generation quality, FD2 introduces three advances. First, Partial Attention makes finalized history representations independent of the active window, enabling KV-cached inference and shared-history packing for efficient training. Second, we establish a necessary-and-sufficient Bregman criterion for regression losses to preserve diffusion's conditional-mean velocity field. This criterion guides an FK-induced quadratic loss that incorporates motion geometry without online FK evaluation. Third, FD2 introduces precise path conditioning to control the character's root trajectory while preserving natural body motion. Experiments show that FD2 reduces training computation by 4.6$\times$ and accelerates denoising by 11.29$\times$, reaching 2.303 ms per update on long sequences. Alongside these efficiency gains, FD2 improves motion quality over FD1 and achieves state-of-the-art FID scores among streaming methods, with 0.048 on SEED and 0.053 on HumanML3D.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.33167v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02660v1cs.CV공통 태그 Denoising, Computational Efficiency

SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화

SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching

확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.

arXiv:2610.02779v1cs.CV공통 태그 Denoising, Computational Efficiency

TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정

TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation

본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.

arXiv:2609.34697v2cs.CV공통 태그 Denoising, Motion Generation

장기 모션 생성을 위한 삼각 리샘플링

Triangular Resampling for Long-Horizon Motion Generation

본 논문에서는 모션 디퓨전 모델(motion diffusion model)에서 장기(long-horizon) 오차 누적을 완화하기 위한 사후 학습 방법인 삼각 리샘플링(Triangular Resampling, TR)을 제안합니다. FloodDiffusion의 삼각 디노이징 스케줄을 기반으로 구축된 TR은 정답(ground truth) 기반 학습 윈도우와 모델이 생성한 추론 상태 간의 불일치를 해결합니다. 완료된 모션 히스토리만 대체하는 방식은 활성 윈도우 내에서 부분적으로 디노이징된 상태의 이러한 불일치를 해결하지 못한 채로 둡니다. 따라서 TR은 롤아웃 기반 학습을 이러한 상태로 확장하고, 정답 클램핑(ground-truth clamping)을 사용하여 과도한 드리프트를 제한합니다. 재생(replay)되는 각 샘플에 대해 TR은 잠재 위치(latent position) 및 재생 업데이트 전반에 걸쳐 공유되는 단일 디노이징 임계값을 도출하고, 그래디언트 추적 없이 다단계 삼각 디노이징을 재생합니다. 각 업데이트 후, 임계값 미만의 상태는 노이즈가 매칭된 정답으로 대체되는 반면, 임계값 이상의 상태는 모델의 예측을 유지합니다. 이렇게 생성된 잠재 윈도우는 표준 학습 업데이트에 입력됩니다. 이러한 롤아웃 구성은 지도 학습(supervised training, TR)과 분포 매칭(distribution matching, TR-DMD)을 모두 지원합니다. HumanML3D 테스트 프롬프트를 사용한 120초 모션 생성에서 TR과 TR-DMD는 각각의 비 DMD 및 DMD 비교 그룹 내에서 최고 수준의(SOTA) FID AUC를 달성합니다. 지도 학습 기반 TR은 재생이 없는 매칭된 사후 학습 대비 FID AUC를 40.9%, FID 저하 기울기를 55.3% 감소시킵니다.

arXiv:2609.28272v1cs.CL공통 태그 Denoising, Computational Efficiency

효율적인 추론을 향하여: 확산 언어 모델을 위한 인과적 지름길 학습

Towards Efficient Reasoning: Learning Causal Shortcuts for Diffusion Language Models

확산 언어 모델(Diffusion Language Models, DLM)은 뛰어난 추론 능력으로 상당한 주목을 받아왔습니다. 그러나 양방향 어텐션(bidirectional attention) 메커니즘 하에서 DLM은 자기회귀 모델(autoregressive models, ARM)에 비해 기하급수적으로 큰 탐험(exploration) 공간에서 작동하므로, 무작위 마스킹 환경에서 추론을 유도하는 토큰에 집중하기 어렵습니다. 본 논문에서는 전체 시퀀스를 포괄하며 올바른 추론 궤적으로 명시적인 가이드를 제공하는 토큰 체인을 인과적 지름길(causal shortcut)로 정의합니다. DLM의 추론 정확도와 수렴(convergence) 속도에 인과적 지름길이 미치는 영향을 분석한 결과, 정답 수렴 효율성과 생성 정확도가 크게 향상됨을 확인했습니다. 이에 영감을 받아, 본 연구에서는 DLM을 위한 인과적 지름길 학습(Causal Shortcut Learning, CSL) 프레임워크를 제안합니다. 구체적으로, 데이터에서 인과적 지름길을 추출하는 단계별 토큰 추출 절차를 도입하고, 학습(training) 중 이러한 토큰들에 병렬 우선순위 마스킹을 적용하여 인과적 지름길을 통해 정답으로의 효율적이고 정확한 수렴을 가능하게 합니다. 여러 추론 벤치마크와 두 가지 기본 모델에 걸친 광범위한 실험을 통해 CSL이 기존 SFT 변형 베이스라인들을 일관되게 능가하며, SFT 전용 모델 대비 평균 $1.92\%$, MATH-500에서는 최대 $4.20\%$의 향상을 달성함을 입증합니다. 코드는 \href{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning}{https://github.com/ZJUDianJin/Causal-Shortcuts-Learning 에서 확인할 수 있습니다.

arXiv:2609.26972v1cs.LG공통 태그 Denoising, Computational Efficiency

TinyUDE: 리-테일러 제트 매칭을 통한 마이크로컨트롤러 기반의 솔버 없는 범용 미분 방정식

TinyUDE: Solver-Free Universal Differential Equations on Microcontrollers via Lie-Taylor Jet Matching

범용 미분 방정식(UDE) 학습(training)은 전통적으로 수치적 ODE 솔버를 통한 역전파에 의존하므로, 엣지 마이크로컨트롤러의 성능을 크게 초과하는 메모리 사용량을 발생시킵니다. 본 논문에서는 관측된 시스템 상태의 1차 및 2차 시간 도함수(derivative)에 하이브리드 벡터장을 직접 피팅하는 솔버 없는(solver-free) 학습 프레임워크인 리-테일러 제트 매칭(Lie-Taylor jet matching)을 제시합니다. 절단된 리-테일러 제트(truncated Lie-Taylor jet)인 이러한 도함수는 사비츠키-골레이(Savitzky-Golay) 필터링을 통해 온디바이스에서 온라인으로 추정되며, 자동 미분 소프트웨어 없이도 완전한 해석적 그래디언트를 생성합니다. 본 연구는 동일한 동역학, 노이즈 모델, 네트워크 아키텍처 및 평가 지표를 공유하는 기존 기준선(baseline)(고정 스텝 RK4 적분, 다중 슈팅, 정확한 이산 수반 변수법, Adam)과 비교하여 솔버를 제거하는 것이 정확도를 저하시키는지 평가합니다. 단순한 도함수 매칭은 센서 노이즈 환경에서 성능이 저하되지만, 본 연구의 노이즈 적응형 메커니즘인 전비율 위상 천이 샘플링, 레저버 버퍼, 가중치(weight) 평균화를 적용한 코사인 어닐링 최적화(optimization), 온디바이스 노이즈 추정, 다항식 미스핏 품질 게이팅을 통해 이러한 격차를 해소하고 역전시킵니다. 감쇠 진자 및 혼돈 이중 진자 실험에서, 제안하는 방법은 동일한 데이터 윈도우에서 기준선 정확도와 일치하거나 이를 능가하며 모델링되지 않은 감쇠 계수를 복원합니다. 0%에서 5%까지의 노이즈 수준 전반에서, 수 메가바이트의 솔버 테이프와 비교해 108 kB의 정적 메모리 내에서 기준선의 0.65배에 해당하는 기하평균 상대 필드 오차를 달성합니다. ESP32 마이크로컨트롤러에서의 온디바이스 실행은 61.3 kB의 정적 메모리와 업데이트당 7.24 ms(25 Hz에서 18.1% 듀티 사이클) 내에서 0.0020의 필드 오차에 도달하고 감쇠 계수를 c = 0.400(실제값 0.400)으로 복원하여, 수치 솔버 없이도 실시간 온디바이스 학습이 실현 가능함을 입증합니다.

arXiv:2609.27963v1cs.LG공통 태그 Denoising, Computational Efficiency

I-SplineFlow: 소수 스텝 생성을 위한 단조 스플라인 확률적 보간(Stochastic Interpolant) 스케줄러 학습

I-SplineFlow: Learning Monotone Spline Stochastic Interpolant Schedulers for Few-Step Generation

사전학습된 확산(diffusion) 및 플로우(flow) 모델을 이용한 소수 스텝(few-step) 생성은 네트워크가 아니라 샘플링 궤적을 최적화하는 경량 학습으로 가속할 수 있다. 최근의 한 접근법은 확률적 보간(stochastic interpolant, SI) 스케줄러를 부드러운 곡선으로 매개변수화하며, 이 곡선의 제어점은 SI 스케줄러가 만족해야 하는 세 가지 성질, 즉 고정된 경계 조건, 단조 신호 대 잡음비(SNR), 그리고 미분 가능성을 강제한다. 기존 매개변수화는 전역적으로 지지되는(globally supported) 다항식 기저를 사용하는데, 이 경우 모든 제어점이 곡선 전체를 움직이고 표현력을 높이려면 더 높은 차수가 필요하므로, 최적화 과정에서 스케줄의 멀리 떨어진 구간들이 서로 결합된다. 본 논문은 적분 단조 스플라인(integrated monotone splines, I-splines)으로 스케줄러를 매개변수화하는 *I-SplineFlow*를 제안한다. I-spline은 다항식 차수와 혼합 가중치(mixture weight)의 개수를 분리하므로, 가중치 개수를 고정한 채 모델마다 지지 폭(support width)과 매끄러움을 선택할 수 있으며, 컴팩트하게 지지되는 도함수 기저 덕분에 스케줄러 야코비안(Jacobian)의 조건수가 Bézier 기저보다 수 자릿수 더 좋다. 경계 조건과 엄격하게 단조인 SNR은 매개변수에 대한 순서 제약 없이 구성 자체로 보장되며, 속도(velocity)의 도함수는 닫힌 형태(closed-form)로 얻어진다. 확산(EDM) 모델과 플로우(ReFlow, Simple ReFlow) 모델 전반에서 I-SplineFlow는 대부분의 설정에서 Bézier 스케줄링보다 소수 스텝 FID를 개선하며, 특히 가장 낮은 NFE에서 그 개선이 가장 뚜렷하고, 학습에는 수 분밖에 걸리지 않는다. 절제 실험(ablation)은 차수의 자유도와 단조성 제약이 모두 필요함을 보여준다. 코드는 논문 채택 시 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.