arXiv:2511.21029v3 cs.CV

FlowerDance: MeanFlow for Efficient and Refined 3D Dance Generation

Kaixing Yang, Xulong Tang, Ziqiao Peng, Xiangyue Zhang, Puwei Wang, Jun He, Hongyan Liu

제출 2025-11-26

원문 초록

Music-to-dance generation aims to translate auditory signals into expressive human motion, with broad applications in virtual reality, choreography, and digital entertainment. Despite promising progress, the limited generation efficiency of existing methods leaves insufficient computational headroom for high-fidelity 3D rendering, thereby constraining the expressiveness of 3D characters during real-world applications. Thus, we propose FlowerDance, which not only generates refined motion with physical plausibility and artistic expressiveness, but also achieves significant generation efficiency on inference speed and memory utilization. Specifically, FlowerDance combines MeanFlow with Physical Consistency Constraints, which enables high-quality motion generation with only a few sampling steps. Moreover, FlowerDance leverages a simple but efficient model architecture with BiMamba-based backbone and Channel-Level Cross-Modal Fusion, which generates dance with efficient non-autoregressive manner. Meanwhile, FlowerDance supports motion editing, enabling users to interactively refine dance sequences. Extensive experiments on AIST++ and FineDance show that FlowerDance achieves state-of-the-art results in both motion quality and generation efficiency. Code will be released upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.21029v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13778v1cs.LG공통 태그 Computational Efficiency, Mamba

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2609.33167v2cs.CV공통 태그 Computational Efficiency, Motion Generation

FloodDiffusion 2: 효율적이고 경로 제어가 가능한 스트리밍 모션 생성

FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation

우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.

arXiv:2609.23010v1cs.CV공통 태그 Computational Efficiency, Motion Generation

MixiMotion: 비대칭 집합 증류를 통한 1단계 텍스트-모션 생성

MixiMotion: One-Step Text-to-Motion Generation via Asymmetric Set Distillation

반복적 텍스트-모션 생성은 품질이 높고 의미적으로 정렬된 동작을 제공하지만, 여러 번의 네트워크 평가가 필요해 추론 지연이 크다. 본 논문은 오프라인 집합 증류에 기반한 엄격한 1단계 텍스트-모션 생성 프레임워크인 \textbf{MixiMotion}을 제시한다. 각 텍스트 프롬프트마다 단일 교사 궤적 하나만 증류하는 대신, MixiMotion은 여러 교사 동작으로 구성된 오프라인 뱅크를 구축하고 \textbf{asymmetric bidirectional matching}을 통해 교사와 학생 표본 집합을 정렬한다. 교사→학생 방향은 교사가 지원하는 다양한 동작의 포괴를 촉진하고, 학생→교사 방향은 지원되지 않는 생성을 억제한다. 또한 정규화된 표현 매칭을 디코딩된 모션 공간의 제약으로 보완하기 위해 미분 가능한 디코딩 공간 운동학적 감독을 도입한다. 추론 시 MixiMotion은 교사 질의, 반복 샘플링, 후보 순위화 없이 단일 네트워크 평가로 완전한 동작 시퀀스를 생성한다. ViMoGen에서 MixiMotion은 의미 정렬 점수 $0.835$를 달성해 평가된 1단계 기준선들을 능가하고, 50단계 HY-Motion-1.0-Lite 교사의 $0.858$ 점수에 근접한다. 블라인드 인간 평가에서 MixiMotion은 전체 평점 $4.33$을 얻었고(교사 $4.50$), 평가된 1-/few-step 기준선들을 능가했다. 한편 생성 지연은 $829.58$\,ms에서 $9.30$\,ms로 줄어 $89.2\times$ 속도 향상에 해당한다. 이 결과는 엄격한 1단계 텍스트-모션 생성에서 효과적인 품질-효율 트레이드오프를 보여준다.

arXiv:2609.23061v1cs.CV공통 태그 Computational Efficiency, Mamba

HDMamba-YOLO: UAV 소형 객체를 위한 효율적 상태 공간 지각과 국소 공간 재구성

HDMamba-YOLO: Efficient State-Space Perception and Local Spatial Reconstruction for UAV Small Object

UAV 영상에서의 소형 객체 검출은 시각적 단서가 약하고, 경계가 모호하며, 객체가 밀집하고, 배경이 복잡하다는 어려움이 있다. 따라서 효과적인 검출을 위해서는 표적-배경 구별을 위한 장거리 문맥 정보와 정확한 위치 추정을 위한 명시적인 국소 2차원 구조를 유지해야 한다. 이러한 요구는 검출 파이프라인의 서로 다른 단계에서 발생하며, 균일한 특징 처리 전략으로는 자연스럽게 충족되지 않는다. 우리는 지각-재구성-정렬-상호작용 원리에 따라 구성된 단계별 이질적 SSM-CNN 검출기인 Hybrid Dual-domain Mamba-YOLO(HDMamba-YOLO)를 제안한다. EfficientVMamba 기반 EVSS는 백본에서 장거리 문맥 지각을 확립하고, PhasePatchMerging2D는 위상 인식 계층적 전환을 제공한다. DST-Wrapper와 Native C3k2-ASSAF는 FPN/PAN 집약 과정에서 지각-재구성 전환과 반복적인 국소 2차원 재구성을 수행한다. DySample은 내용 적응형 교차 스케일 리샘플링을 제공하고, OS-CVTIA는 위치 추정과 분류를 위한 거시-미시 상호작용 및 과제별 변조를 도입한다. VisDrone2019에서 HDMamba-YOLO-B는 10.042M 파라미터와 29.879 corrected GFLOPs로 mAP50 42.737%, mAP50:95 25.713%를 달성한다. HDMamba-YOLO-Lite는 5.344M 파라미터로 mAP50 41.140%, mAP50:95 24.741%를 달성한다. 통합 AI-TOD 평가 프로토콜에서 HDMamba-YOLO-B는 AP 21.621%, AP50 47.881%를 얻는다. 통제된 ablation은 UAV 소형 객체 검출에 대해 상태 공간 지각, 합성곱 재구성, 동적 정렬, 과제 상호작용의 단계별 배치를 추가로 뒷받침한다.

arXiv:2609.24049v1cs.CV공통 태그 Computational Efficiency, Mamba

U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할

U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation

정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.

arXiv:2609.24337v1cs.CV공통 태그 Computational Efficiency, Mamba

LiAuto-MindViT: 적응형 양방향 Mamba를 활용한 하이브리드 비전 백본

LiAuto-MindViT: A Hybrid Vision Backbone with Adaptive Bidirectional Mamba

Mamba 기반 모델은 장기 시퀀스 모델링에서 강력한 잠재력을 보여주었지만, 시각적 이해를 위해서는 지역 이웃 상관관계(local neighborhood correlations)와 다방향 공간 문맥(multi-directional spatial contexts)이 요구되기 때문에 이를 비전에 적용하는 것은 어려운 과제이다. 본 논문에서는 CNN, Mamba, Transformer의 강점을 시너지적으로 결합한 새로운 하이브리드 비전 백본인 LiAuto-MindViT를 제안한다. 본 설계의 핵심은 적응형 양방향 Mamba(Adaptive Bidirectional Mamba, ABM)로, 학습 가능한 알파 블렌딩(learnable alpha blending)을 적용한 양방향 선택적 스캐닝(bidirectional selective scanning)을 통해 단방향 SSM의 방향성 바이어스를 제거하며, 전수 다중 경로 라우팅(exhaustive multi-path routing)의 오버헤드 없이 콘텐츠 적응형 방향 융합(content-adaptive directional fusion)을 가능하게 한다. 추론을 더욱 가속화하기 위해, 구조적 재매개변수화(structural reparameterization)를 활용하여 지연 시간(latency)과 메모리 접근 오버헤드를 줄이는 배포 친화적인 Reparameterized ConvSE(RepConvSE) 모듈을 제안한다. 광범위한 실험을 통해 LiAuto-MindViT가 이미지 분류, 객체 검출, 시맨틱 분할(semantic segmentation)에서 최첨단(state-of-the-art) 성능을 달성함과 동시에 재매개변수화를 통한 효율적인 추론을 가능하게 함을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.