HSIDMamba: Exploring Bidirectional State-Space Models for Hyperspectral Denoising
원문 초록
Effectively discerning spatial-spectral dependencies in HSI denoising is crucial, but prevailing methods using convolution or transformers still face computational efficiency limitations. Recently, the emerging Selective State Space Model(Mamba) has risen with its nearly linear computational complexity in processing natural language sequences, which inspired us to explore its potential in handling long spectral sequences. In this paper, we propose HSIDMamba(HSDM), tailored to exploit the linear complexity for effectively capturing spatial-spectral dependencies in HSI denoising. In particular, HSDM comprises multiple Hyperspectral Continuous Scan Blocks, incorporating BCSM(Bidirectional Continuous Scanning Mechanism), scale residual, and spectral attention mechanisms to enhance the capture of long-range and local spatial-spectral information. BCSM strengthens spatial-spectral interactions by linking forward and backward scans and enhancing information from eight directions through SSM, significantly enhancing the perceptual capability of HSDM and improving denoising performance more effectively. Extensive evaluations against HSI denoising benchmarks validate the superior performance of HSDM, achieving state-of-the-art results in performance and surpassing the efficiency of the latest transformer architectures by $30\%$.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.
ReplaySSM: 상태 대신 SSM 입력 캐싱하기
ReplaySSM: Cache SSM Inputs, Not State
상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.
SketchSSM: 전체 상태에 쓰고, 간결한 스케치에서 읽기
SketchSSM: Write to the Full State, Read from a Compact Sketch
하이브리드 어텐션(hybrid-attention) 모델은 대부분의 소프트맥스 어텐션 레이어를 선형 어텐션으로 대체하여 KV 캐시 증가를 줄이고 더 큰 디코드 배치를 가능하게 하지만, 이 경우 순환 상태(recurrent-state) 접근이 주요 병목이 됩니다. ReplaySSM은 키와 값을 버퍼링하여 상태 업데이트 비용을 분할 상환하지만, 상태 업데이트 사이에 상태가 변하지 않더라도 각각의 새로운 쿼리는 여전히 전체 상태 읽기를 필요로 합니다. 본 연구에서는 저랭크(low-rank) 상태 가중 쿼리 근사가 상태 읽기 출력을 정확하게 보존함을 관찰했습니다. 미래의 쿼리는 알 수 없지만, 이를 근사하는 데 사용되는 기저 벡터(basis vector)는 오프라인에서 고정할 수 있습니다. 이러한 관찰을 바탕으로, 전체 상태 업데이트는 유지하면서 읽기를 근사하는 SketchSSM을 제안합니다. 각 상태 업데이트 시 SketchSSM은 전체 상태를 한 번 읽어 이러한 기저 벡터에 대한 출력을 사전 계산하고 이를 간결한 스케치에 저장합니다. 이후의 각 디코드 단계는 전체 상태 읽기 없이 스케치 벡터를 쿼리 종속 계수와 결합하여 출력을 재구성합니다. Mamba-2, GDN, KDA 기반의 4개 모델 전반에서 평균 스케치 랭크 8의 SketchSSM은 4개의 디코드 벤치마크에 걸쳐 FP32 전체 상태 기준선(baseline)의 평균 정확도를 유지하면서 상태 접근 트래픽을 약 10$\times$ 감소시켰으며, 4개의 RULER 검색 작업에서 재현율(recall)을 보존했습니다. 단일 NVIDIA B300 환경의 해당 랭크에서 표준 vLLM 기준선 대비 선형 어텐션 커널 속도 향상은 Mamba-2, GDN, KDA에 대해 각각 7.30$\times$, 5.02$\times$, 5.24$\times$에 달했으며, Nemotron 3 Super에서 최대 2.77$\times$ 더 높은 디코드 처리량을 달성했습니다.
SpectralCache: 스펙트럼 특징 캐싱을 통한 확산 기반 월드 모델 가속화
SpectralCache: Accelerating Diffusion-Based World Models via Spectral Feature Caching
확산(diffusion) 기반 월드 모델은 고품질의 대화형 환경 생성을 가능하게 하지만, 노이즈 제거(denoising) 과정에서 반복적인 트랜스포머(Transformer) 평가로 인해 상당한 추론(inference) 오버헤드가 발생합니다. 기존 캐싱 기법들은 주로 특징(feature)이나 토큰(token) 수준의 시간적 중복성을 활용할 뿐, 확산 특징의 기저에 있는 수학적 구조는 거의 탐색하지 않았습니다. 본 연구에서는 월드 모델의 특징이 인접한 노이즈 제거 단계 전반에 걸쳐 매우 안정적인 특이 부분공간(singular subspace)을 보이며, 이들의 특잇값(singular value)은 예측 가능한 진화 패턴을 따른다는 점을 밝혀냅니다. 이러한 관찰을 바탕으로, 안정적인 특이 부분공간을 재사용하고 선형 외삽법(linear extrapolation)을 통해 저차원 특잇값만을 추정하는 학습(training)이 필요 없는 스펙트럼 캐싱 프레임워크인 SpectralCache를 제안합니다. 나아가 인접한 전체 계산 특징 간의 스펙트럼 일관성을 활용하여, 특잇값 스케일링을 통해 계산 비용이 큰 특정 백본 평가를 건너뜁니다. 대표적인 월드 모델을 대상으로 한 광범위한 실험을 통해 SpectralCache가 생성 품질을 유지하면서 추론 효율성을 일관되게 향상시킴을 입증합니다. HunyuanWorld-Voyager-13B에서 SpectralCache는 정적 장면에 대해 65.90의 WorldScore를 유지하면서 5.22배 가속을 달성하여, 기존의 학습 불필요 캐싱 기법보다 추론 효율성 면에서 크게 우수한 성능을 보였습니다.
TRAC: 효율적인 자기회귀 비디오 생성을 위한 궤적 인식 재사용 및 적응형 보정
TRAC: Trajectory-aware Reuse and Adaptive Correction for Efficient Autoregressive Video Generation
본 논문에서는 효율적인 자기회귀(AR) 비디오 생성을 위한 학습(training) 불필요 프레임워크인 TRAC(trajectory-aware reuse and adaptive correction)을 제시합니다. 기존의 가속 기법들은 주로 양방향 어텐션(attention)을 사용하는 단일 궤적 생성을 목표로 합니다. 반면 AR 비디오 생성은 청크(chunk) 단위의 노이즈 제거 궤적들을 순차적으로 결합합니다. 그 결과, 생성 과정 전반에 걸쳐 근사 오차가 누적되고 전파됩니다. TRAC은 견고한 누적 스케줄링(RCS), 자기회귀 궤적 인식 가이던스 스케줄링(ATGS), 스펙트럼 구조 보정(SSC)의 세 가지 구성 요소로 이 문제를 해결합니다. RCS는 누적 롤아웃(rollout) 오차와 청크 간/프롬프트(prompt) 변동을 기반으로 캐시 재사용 일정을 선택합니다. ATGS는 전체 AR 궤적을 따라 CFG 갱신을 조율합니다. SSC는 첫 번째 청크의 저주파 구조를 복원하여 장기적인 구조적 손실(loss)을 바로잡습니다. SkyReels-V2 및 FramePack-F1에 대한 실험 결과, TRAC은 기존 방법들과 비교하여 AR 비디오 생성에서 가장 높은 추론(inference) 효율성과 최고의 생성 품질을 모두 달성함을 보여줍니다.
FloodDiffusion 2: 효율적이고 경로 제어가 가능한 스트리밍 모션 생성
FloodDiffusion 2: Efficient and Path Controllable Streaming Motion Generation
우리는 최신 스트리밍 모션 생성 모델인 FloodDiffusion(FD1)을 기반으로 하는 효율적이고 제어 가능한 프레임워크인 FloodDiffusion 2(FD2)를 제시한다. FD1은 그럴듯한 모션을 생성하지만, 어텐션 설계가 전체 히스토리에 대해 반복적인 계산을 요구하기 때문에 효율성이 낮고, 실제 응용을 위한 정밀한 궤적 제어가 부족하여 제어 가능성이 제한적이라는 문제가 있다. 이러한 한계를 해결하고 생성 품질을 향상시키기 위해 FD2는 세 가지 개선 사항을 도입한다. 첫째, Partial Attention은 확정된 히스토리 표현(finalized history representation)을 활성 윈도우(active window)와 독립적으로 만들어, KV 캐싱 추론(KV-cached inference)과 효율적인 학습을 위한 공유 히스토리 패킹(shared-history packing)을 가능하게 한다. 둘째, 회귀 손실(regression loss)에 대한 필요충분(necessary-and-sufficient) 브레그만(Bregman) 기준을 확립하여 디퓨전(diffusion)의 조건부 평균 속도장(conditional-mean velocity field)을 보존한다. 이 기준은 온라인 순방향 동역학(forward kinematics, FK) 평가 없이도 모션 기하학(motion geometry)을 포함하는 FK 유도 이차 손실(FK-induced quadratic loss)을 이끌어낸다. 셋째, FD2는 자연스러운 신체 모션을 유지하면서 캐릭터의 루트 궤적(root trajectory)을 제어하기 위한 정밀한 경로 조건화(path conditioning)를 도입한다. 실험 결과, FD2는 학습 연산량을 4.6배 줄이고 디노이징(denoising)을 11.29배 가속화하여 긴 시퀀스에서 업데이트당 2.303ms에 도달한다. 이러한 효율성 향상과 더불어 FD2는 FD1보다 모션 품질을 개선하며, 스트리밍 방법들 중 SEED에서 0.048, HumanML3D에서 0.053이라는 최첨단(state-of-the-art) FID 점수를 달성한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.