PyTorchKR Papers

최신 논문

총 23편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13778v1cs.LG

ReplaySSM: 상태 대신 SSM 입력 캐싱하기

ReplaySSM: Cache SSM Inputs, Not State

상태공간모델(State-space models, SSMs)은 고정 크기의 재귀 상태(recurrent state)를 유지하지만, 매 디코딩 스텝마다 이를 읽고 쓰는 것은 하이브리드 모델의 병목이 될 수 있다. 이러한 즉시적(eager) 상태 관리는 산술 강도(arithmetic intensity)가 낮은 대규모 상태 입출력(I/O)을 유발하고, 추측 디코딩(speculative decoding)에 저비용 롤백을 허용하지 않으며, 상태 양자화 오차를 이후의 재귀 업데이트에 그대로 전달한다. 우리는 재귀식을 펼쳐(unroll) 상태를 체크포인트와 최근 SSM 입력들의 버퍼로 표현하는 ReplaySSM을 제안한다. 이는 출력 계산을 체크포인트 업데이트로부터 분리한다. 체크포인트를 주기적으로 업데이트함으로써 ReplaySSM은 대부분의 스텝에서 상태 쓰기를 피하고, 주된 상태 메모리 트래픽을 대략 절반으로 줄인다. 최근 입력을 유지하는 것은 또한 추측적 롤백을 버퍼 포인터 연산으로 만들고, 중간 상태를 구체화(materialize)하지 않고도 출력만으로 검증(output-only verification)을 가능하게 한다. 동일한 분리를 통해 저정밀도 체크포인트가 대부분의 스텝에서 출력 계산을 담당하고 더 높은 정밀도의 체크포인트가 재귀 업데이트를 담당할 수 있어, 저정밀도 복사본의 라운딩 오차가 이후 업데이트로 전혀 유입되지 않는다. 우리는 ReplaySSM을 vLLM에서 Mamba-2와 Gated DeltaNet에 대해 구현했다. 서빙 배치 크기 256에서, 이는 네 개의 하이브리드 모델 전반에 걸쳐 튜닝된 vLLM 기준선 대비 표준 디코딩을 1.20–1.47배 가속하며, 두 개의 120B급 모델에서는 vLLM의 추측 디코딩 처리량의 약 1.8배를 제공한다. 상태 정밀도를 분리하는 것은 또한 공유 저정밀도 체크포인트에 비해 출력 KL 발산(KL divergence)과 다운스트림 정확도 손실을 줄인다.

arXiv:2610.13776v1cs.CV

READ: 충실한 비디오 기여도 분석을 위한 선택적 스캔 판독

READ: Reading the Selective Scan for Faithful Video Attribution

선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.

arXiv:2610.13720v1cs.CV

수중 이미지 향상을 위한 업데이트 경향성 라우팅 기반 상태 격리 Vision Mamba

State-Isolated Vision Mamba via Update-Tendency Routing for Underwater Image Enhancement

Vision Mamba는 순환적 상태 진화(recurrent state evolution)를 통해 장거리 공간적 의존성을 모델링함으로써 컨볼루션 및 트랜스포머(Transformer) 기반 아키텍처의 효율적인 대안으로 최근 부상하고 있다. 기존 연구들은 주로 토큰 직렬화(token serialization), 스캐닝 전략, 또는 전문가 라우팅(expert routing)을 개선하는 데 초점을 맞추었으나, 공간적으로 이질적인 시각적 복원을 위해 순환 상태(recurrent state)를 어떻게 조직해야 하는가라는 상태 수준의 질문은 대체로 간과해왔다. 본 논문에서는 서로 다른 업데이트 양상을 가진 토큰들이 공유된 은닉 상태(hidden state)를 반복적으로 수정하도록 강제할 경우 지속적인 콘텐츠 간 간섭이 발생함을 보이며, 이를 상태 경쟁(State Contention)이라 명명한다. 더 나아가 효과적인 순환 모델링은 토큰 순서가 아닌 토큰 호환성에 따라 상태 진화를 조직해야 한다고 주장한다. 이러한 관찰에 기반하여, Vision Mamba를 위한 새로운 순환 상태 조직 원리인 상태 격리(State Isolation)를 제안한다. 이 원리에 따르면 상태 업데이트 경향성(state-update tendency)이 호환되는 토큰들은 독립적인 순환 상태 흐름 내에서 진화한다. 이 원리를 구현하기 위해, 모델 고유의 업데이트 표현을 구성하고, 레이블 없는 클러스터링(label-free clustering)을 통해 업데이트 호환 가능한 토큰 그룹을 발견하며, 클러스터-라우트-격리(cluster--route--isolate) 패러다임에 따라 이를 격리된 Mamba 전문가(expert)들에게 라우팅하는 Δ-가이드 아키텍처인 IsoMamba를 제안한다. 또한 수중 이미지에서 파장에 따라 달라지는 복원 난이도를 보완하기 위한 동적 채널별 재가중(dynamic channel-wise reweighting) 목적함수를 개발한다. 광범위한 실험을 통해 IsoMamba가 여러 수중 이미지 향상(underwater image enhancement) 벤치마크에서 일관되게 최신 기술 수준(state-of-the-art)의 성능을 달성하면서도 더 깨끗한 은닉 상태 응답을 제공함을 입증하며, 이는 상태가 격리된 순환 모델링의 효과를 검증한다.

arXiv:2605.24928v2cs.CV

MambaDSF: 소나 소형 표적 탐지를 위한 확장 특징 융합 기반 다중 스케일 SSM

MambaDSF: Multi-Scale SSM with Dilated Feature Fusion for Sonar Small Target Detection

소나 이미징은 수중 표적 탐지를 위한 주요 모달리티이지만, 불충분한 픽셀 커버리지, 낮은 음향 대비, 이미징 거리에 따른 스케일 모호성으로 인해 소형 표적을 탐지하는 것은 여전히 어렵습니다. CNN 기반 탐지기는 국소 특징을 효율적으로 추출하지만 전역적인 음향 컨텍스트 없이는 노이즈로 인한 오경보를 억제하지 못합니다. 트랜스포머(Transformer) 기반 방법은 2차(quadratic) 계산 비용으로 장거리 의존성을 포착합니다. 기존의 맘바(Mamba) 기반 비전 모델은 효율적인 선형 비용 스캐닝을 제공하지만, 신뢰할 수 있는 소나 탐지에 필요한 피라미드 레벨 간 다중 스케일 시맨틱 정렬, 다중 수용영역 융합, 소형 표적 인지 학습 지도(supervision)가 부족합니다. 본 논문에서는 세 가지 기여를 통해 이러한 한계를 해결하는 하이브리드 프레임워크인 Mamba Dilated-Scale Fusion(MambaDSF)을 제안합니다. 선형 복잡도로 국소 에코 단서와 전역 음향 컨텍스트를 함께 포착하는 Mamba Enhanced Feature Pyramid(MambaEFP) 백본, 피라미드 레벨 간 다중 스케일 특징 정렬을 강화하는 Dilate Fusion Mamba(DFMamba) 인코더, 소형 표적 학습을 안정화하는 Scale-Adaptive Weighted IoU(SA-WIoU) 및 Cross-Scale Coherence(CSC) 손실 함수입니다. MambaDSF는 2,870만 개의 파라미터로 UATD 전방 관측 소나 벤치마크에서 91.5% mAP50을 달성하여 비교 대상인 모든 탐지기를 능가했습니다. 소형 표적 서브셋에서는 성능 향상이 +2.2%p에 달했으며, FLS 및 MD-FLS에 대한 도메인 간 평가를 통해 제안된 아키텍처의 일반화 성능을 확인했습니다. 코드는 https://github.com/IDontKnowAAA/MambaDSF 에서 공개되어 있습니다.

arXiv:2609.29384v2cs.CV

알츠하이머병 탐지를 위한 온라인 필기에서의 세그먼트 수준 위험 발견

Segment-Level Risk Discovery in Online Handwriting for Alzheimer's Disease Detection

온라인 필기는 인지 계획과 미세 운동 제어를 모두 반영하므로 알츠하이머병(AD) 탐지를 위한 비침습적이며 저비용의 행동 바이오마커를 제공합니다. 기존의 필기 기반 AD 탐지 방법들은 대체로 전역 궤적 특징이나 전체 샘플 표현에 의존하는데, 이는 개인의 필체 스타일, 과제별 변동성, 획득 잡음에 크게 영향을 받을 수 있습니다. 본 논문에서는 온라인 필기로부터 해석 가능한 AD 탐지를 수행하기 위해 건강 대조군 규범 기반 Paper-Air 선택적 궤적 상태공간 위험 네트워크인 NormPaST-Risk를 제안합니다. 전체 궤적을 단일한 총체적 표현으로 다루는 대신, 제안 방법은 AD 필기 탐지를 국소적인 질환 관련 세그먼트 발견 문제로 재구성합니다. 구체적으로, 다중 스케일 시간 인코더가 서로 다른 시간 해상도에서 획 역학을 포착하는 한편, 선택적 Paper-Air 상태공간 인코더는 장기 필기 진행 과정을 모델링하고 지면 위(on-paper) 운동 실행과 공중(in-air) 계획 및 전환 행동을 구분합니다. 비정상적 편차를 명시적으로 특성화하기 위해 건강 규범 브랜치가 건강 대조군으로부터 정상적인 필기 역학을 학습하며, 과제 인식 다중 전문가 세그먼트 위험 모듈이 은닉 상태 변화와 규범 편차로 보정된 세그먼트 수준 AD 위험을 추정합니다. 또한 약지도 세그먼트 수준 목적 함수를 통해 수동 세그먼트 주석 없이도 고위험 세그먼트를 발견할 수 있도록 합니다. DARWIN 벤치마크에 대한 실험은 제안된 프레임워크가 기존 방법들에 비해 우수한 AD/HC 분류(classification) 성능을 달성함을 입증합니다. 아울러 발견된 고위험 세그먼트는 원래 필기 궤적으로 역투영될 수 있어, AD 관련 필기 변동과 연관된 해석 가능한 근거를 제공합니다.

arXiv:2609.34409v2cs.LG

MASCIT: 자연적으로 불규칙한 시계열을 위한 마스크 인식 상태 공간 분류기

MASCIT: A Mask-Aware State Space Classifier for Naturally Irregular Time Series

자연적으로 불규칙한 시계열은 비동기 관측치, 결측값, 불균등한 길이, 비균일 샘플링이 결합되어 있는 반면, 조밀한 어댑터는 시간적 구조를 버릴 수 있습니다. 본 논문에서는 인코더에 관측 마스크를 제공하고 게이트 시간 집계에서 유효하지 않은 스텝을 제외하는 불규칙 시계열용 마스크 인식 상태 공간 분류기(MASCIT)를 제안합니다. 34개의 불규칙 시계열 데이터셋 전반에서 MASCIT은 가장 강력한 종합 점추정치를 산출했으며, 모든 데이터셋에서 3개 시드 결과를 갖춘 유일하게 평가된 신경망 모델이었습니다. MASCIT은 6개의 중복되는 불규칙성 지표 전반에서 가장 낮은 포인트 순위를 유지한 반면, 요인 절제 연구에서는 완전한 선택성보다 부분적 선택성을 선호하는 것으로 나타났습니다. 이러한 결과는 선택적 상태 공간 모델이 자연적으로 불규칙한 시계열 분류를 위한 효과적이고 실행 가능한 백본임을 뒷받침합니다.

arXiv:2609.20269v3cs.LG

배치는 자유롭고 구성은 그렇지 않다: 이종 시퀀스 믹서 스택을 위해 증명 가능하게 균형 잡힌 구조로서의 라틴 방진

Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks

GPT 이후 대부분의 트랜스포머(Transformer)는 모든 층(layer)에서 동일한 어텐션(attention) 메커니즘을 반복해 왔습니다. 그러나 이러한 설계는 검증된 결론이라기보다는 대체로 관례에 가깝습니다. 하나의 스택에 여러 시퀀스 믹서가 결합될 때 성능 향상은 메커니즘의 선택, 배치, 또는 둘 모두에서 비롯될 수 있어 인과적 귀인이 어렵습니다. 본 논문에서는 7개의 시퀀스 혼합 메커니즘을 $7\times7$ 라틴 방진(Latin square) 형태로 배치한 49개 층으로 구성된 65.9억 개 매개변수(parameter) 규모의 전문가 혼합(MoE) 모델(활성 매개변수 약 29.8억 개)인 Aether-7B-5Attn을 소개합니다. 각 메커니즘이 모든 행과 열에 정확히 한 번씩 나타나기 때문에, 이 설계는 깊이 전반에 걸쳐 균형 잡힌 노출을 보장하는 동시에 배치로 인한 교란 요인을 제거합니다. 이 원리를 평가하기 위해, 우리는 4개의 메커니즘을 16개 층에 걸쳐 $4\times4$ 라틴 방진으로 배치하고 7억 90만 개의 매개변수로 맞추었으며 실험군(arm)당 8개의 시드로 학습(training)한 매개변수 일치 프록시를 구축했습니다. 실험 결과는 명확한 분리를 보여줍니다. 분산된 이종 스택을 균형 잡힌 주기적 순환으로 재배치하더라도 검증(validation) 손실(loss)은 단 0.16%만 변하여, 정확한 배치는 거의 영향을 미치지 않음을 나타냅니다. 반면, 동일한 메커니즘들을 연속된 깊이 대역으로 클러스터링하면 0.59%의 페널티가 발생하며, 이종 스택을 동종 스택으로 교체하면 1.68%의 페널티가 발생합니다. 이러한 결과는 성능이 특정한 순열보다는 주로 깊이 전반에 분산된 이종 구성에 의존함을 시사합니다. 우리는 동종 스택 페널티가 2.63%로 증가하고 SSM 계열 메커니즘을 제거할 때 3.20%의 성능 저하가 발생하는 2.16배 더 큰 규모(15.14억 개 매개변수)에서 이 발견을 재확인했습니다. 나아가 각 메커니즘별 비용 프로파일, 영어 및 한국어 평가, 49개 전 층에 대한 인과적 안전성(safety) 감사 결과를 보고합니다. 본 연구에서는 모델 가중치, 학습 레시피, 학습 코드, 로그 및 아키텍처 소스 코드를 공개합니다.

arXiv:2609.12825v2cs.CV

SCDM: 차분 추론 기반 공간-맥락 분리 Mamba를 활용한 효율적 이미지 분류

SCDM: Spatial-Contextual Disentanglement Mamba via Differential Inference for Efficient Image Classification

상태 공간 모델(SSM), 특히 VMamba는 의료 영상 분석에서 장기 의존성을 모델링하는 효율적인 대안으로 부상했다. 그러나 시각적으로 유사한 해부학적 배경과 미묘한 병리학적 특징을 구별하는 것은 여전히 중요한 과제로 남아 있다. 기존 SSM 아키텍처는 종종 얽힌 표현을 학습하며, 정상 해부학과 질병 특이적 신호를 분리하는 명시적 메커니즘이 부족하다. 이 한계를 해결하기 위해, 선택적 표현 분리를 위해 설계된 비대칭 이중 분기 아키텍처인 Spatial-Contextual Differential Mamba(SCDM)를 제안한다. SCDM은 판별적 특징을 추출하는 Positive Branch와 정상 해부학적 맥락을 적극적으로 모델링하고 억제하는 Negative Branch를 도입한다. 이 분리는 유사성 기반 반발 게이트와 차분 추론 규칙을 통해 달성되며, 추가 분기 레이블 없이 또는 모델 용량을 늘리지 않고도 경쟁적 특징 학습을 촉진한다. RSNA Pneumonia 데이터셋에서 평가한 결과, SCDM은 표준 VMamba 및 비전-트랜스포머 기준선 대비 현저히 적은 파라미터(29.4M)와 FLOPs(1.44G)로 경쟁력 있는 분류 성능(AUC 0.858)을 달성한다. 또한 활성화 분석은 차분 메커니즘이 높은 정밀도의 지역화를 산출하며, 무관한 해부학적 방해 요소를 억제함으로써 병변을 효과적으로 분리함을 보여준다.

arXiv:2505.05491v2cs.CV

SMDDFNet: 교통 표지판 검출을 위한 상태 공간 모델링 및 동적 이중 융합 네트워크

SMDDFNet: State-space Modeling and Dynamic Dual Fusion Network for Traffic Sign Detection

교통 표지판 검출은 첨단 운전자 보조 시스템을 위한 도전적인 시각 신호 처리 태스크로, 고정된 수용 영역(receptive field)을 갖는 기존 검출기들은 작은 객체, 스케일 변화, 가림 현상 등으로 인해 한계를 보입니다. 본 논문에서는 교통 표지판 이미지를 위한 심층 학습(deep learning) 검출기인 SMDDFNet(State-space Modeling and Dynamic Dual Fusion Network)을 제안합니다. SMDDFNet은 다중 스케일 특징(feature) 표현을 강화하기 위해 동적 이중 융합(Dynamic Dual Fusion, DDF) 모듈과 상태 공간 모델링 백본을 통합합니다. DDF는 효율적인 다중 스케일 어텐션(attention)과 주파수 도메인에서의 콘텐츠 인식 동적 필터링을 결합하며, 백본은 선형 계산 복잡도로 장거리 의존성(long-range dependencies)을 포착합니다. 또한 다중 스케일 특징 융합 넥(neck)은 작은 표지판의 강건한 위치 측정을 위해 피라미드 특징을 추가로 집약합니다. TT100K, GTSDB, PASCAL VOC 및 Roboflow 100 \emph{vehicle} 서브셋에 대한 실험을 통해 SMDDFNet이 실시간 처리량을 유지하면서도 최신 검출기들과 비교하여 경쟁력 있는 정확도를 달성함을 보여줍니다. 소스 코드는 https://github.com/rainbowyuyu/SMDDFNet 에서 확인할 수 있습니다.

arXiv:2607.22718v1cs.CV

DAMamba-UNet3D: 동적 적응 스캔(Dynamic Adaptive Scan)을 갖춘 3D 의료 이미지 분할용 매개변수 효율적 Mamba 상태 공간 U-Net

DAMamba-UNet3D: A Parameter-Efficient Mamba State Space U-Net with Dynamic Adaptive Scan for 3D Medical Image Segmentation

3D 의료 이미지 분할을 위한 매개변수 효율적 SSM 기반 U-Net 아키텍처를 제안한다. 컨볼루션 U-Net은 층당 O(n) 국소 혼합을 제공하지만 명시적 전역 컨텍스트가 부족하다; 트랜스포머는 시퀀스 길이 $n$에 대해 O(n^2) 비용으로 전역 추론을 제공한다. Mamba와 같은 상태 공간 모델(SSM)은 블록당 O(n) 전역 전파를 제공한다. 그러나 기존 의료 SSM 분할기는 고정 스캔 패턴과 큰 매개변수 예산에 의존한다. 선택적 스캔 전 데이터 종속 재정렬을 학습하는 동적 적응 스캔(DAS, Dynamic Adaptive Scan)은 의료 영상에 적용되지 않았으며 3D 볼륨으로 확장되지도 않았다. 우리는 DAMamba-UNet3D를 제안한다. 이는 인코더 단계 E2–E4에 tri-plane 3D-DAS 블록을 통합하고 나머지 부분에는 컨볼루션을 유지하는 하이브리드 인코더-디코더이다(~5.3M 매개변수). BraTS 2020 5-겹 교차 검증에서 DAMamba-UNet3D는 평균 Dice 0.815±0.013(전체 볼륨 케이스별 평가)을 달성하며, SegMamba(0.824±0.014, ~70M) 대비 ~13배 낮은 매개변수 비용이다. 유사한 규모에서 인코더 전용 DAMamba와 컨볼루션 병목을 갖춘 넓은 DAS 네이티브 변형인 DAMamba-L(~70M)은 0.829±0.012에 도달하여 재학습된 SegMamba를 0.5pt 초과한다. 구성 요소 ablation은 인코더 전용 DAS 배치가 중요하며 병목 및 디코더 SSM 블록은 Dice를 낮춘다는 것을 보여준다. 종합하면, 하이브리드 U-Net에서 학습된 tri-plane DAS는 BraTS 2020에서 SegMamba의 고정 Tri-orientated Mamba(ToM) 스캔과 경쟁력 있으며, 우리의 대규모 설계에서는 이를 개선할 수 있음을 시사한다. 코드: https://github.com/marafathussain/DAMamba-UNet3D.

arXiv:2607.19787v1cs.CV

PolSAR 이미지 분류를 위한 산란 사전 특징 변조 기반 물리 인식 복소값 상태 공간 모델

Physics-Aware Complex-Valued State Space Model with Scattering-Prior Feature Modulation for PolSAR Image Classification

분극 SAR(PolSAR) 이미지 분류는 물리 인식 GeoAI의 대표적인 과제로, 토지 피복 의미론이 전자기 산란 메커니즘과 밀접하게 결합되어 있다. 기존의 많은 복소값 네트워크는 진폭-위상 정보를 보존할 수 있지만, 장거리 공간 의존성 모델링에 제한적이며 분극 사전 정보를 입력 수준 또는 얕은 보조 특징으로만 통합하는 경우가 많다. 그 결과 물리적 지식이 심층 특징 진화를 유도하는 데 충분히 활용되지 못한다. 이를 해결하기 위해 본 논문은 PolSAR 이미지 분류를 위한 산란 인식 특징 변조를 갖춘 물리 인식 복소값 상태 공간 네트워크인 CV-SSMNet을 제안한다. 제안 방법은 원래 복소 영역에서 복소값 상태 공간 모델(CV-SSM)을 구축하여 분극 진폭-위상 결합을 보존하면서 장거리 공간 의존성을 포착한다. 한편, 물리적으로 의미 있는 7가지 산란 사전 정보를 FiLM 스타일 변조 신호로 인코딩하여 특징 진화 과정에서 복소값 표현을 적응적으로 재보정한다. CV-SSMNet은 다중 스케일 복소 컨볼루션, 분기별 CV-SSM 인코딩, 사전 정보 기반 재보정, 경량 전역 컨텍스트 집계를 추가로 통합하여 국소 산란 구조부터 전역 공간 컨텍스트까지 물리적으로 유도된 표현 학습을 가능하게 한다. 3개의 L-band 벤치마크 데이터셋과 추가 P-band BIOMASS 평가에서의 실험 결과, CV-SSMNet이 경쟁력 있는 정확도, 향상된 영역 일관성, 더 나은 경계 보존을 달성함을 보여주며, 이는 복소값 장거리 GeoAI 표현 학습에 분극 산란 메커니즘을 임베딩하는 것의 효과를 뒷받침한다.

arXiv:2607.13101v1cs.LG

TSSM: 시간-변수-역사적 모델링을 통한 글로벌 관측소 기상 예측용 삼축 상태 공간 모델

TSSM: Triaxial State Space Model for Global Station Weather Forecasting with Temporal-Variable-Historical Modeling

글로벌 관측소 기상 예측(GSWF)은 주요 지역에 대한 국지적 및 극한 기상 예측에 핵심적이다. look-back 윈도우를 활용하려는 노력에도 불구하고, 기존 방법들은 정확도 향상이 제한적이며 극한 사건과 오차 누적에 어려움을 겪는다. 이러한 한계는 혼돈적인 기상 역학, 특히 부분 관측 상황에서 단기 패턴에 과도하게 의존하기 때문에 발생하며, 이는 장기 패턴을 포착하기에 불충분하다. 이 문제를 해결하기 위해, 우리는 역사 강화 시간-변수-역사적(Temporal-Variable-Historical) 패러다임을 갖춘 새로운 삼축 상태 공간 모델(TSSM)을 제안한다. 이는 시간적 look-back 윈도우를 넘어서는 장기적·대규모 주기적·전체 윈도우 기상 패턴을 보완하기 위해 주기 정렬 역사적 기상 데이터를 통합한다. 구체적으로, TSSM은 역사적 샘플을 주기 정렬 배치로 쌓아, 예측이 역사적 및 현재 관측에 의해 인과적으로 뒷받침되도록 한다. 시간, 변수, 역사적 스캐닝은 축 방향 시간 의존성, 변수 상관관계, 역사적 변화를 포착하도록 설계되었다. 이 구조는 계층적으로 공유되어 계절적 현상부터 극한 사건까지 모델링하면서 역사적 패턴 간 불일치를 완화한다. TSSM은 현재까지 가장 큰 관측소 기상 데이터셋인 Weather-5K에서 최첨단(SOTA) 성능을 달성하여 정확도와 극한 사건 지표에서 각각 10% 및 61%의 향상을 보였으며, 인간 참여 데이터셋에서 95%의 최고 또는 2위 결과를 얻었다. 그 장점은 장기 예측 및 반복 예측에서 더욱 두드러지며, 240시간에서 37.5% 향상을 달성하고 48시간×5 반복 설정에서 최대 103.5%의 향상에 이른다. 또한 TSSM은 최대 80% 관측 누락 상황에서도 90% 이상의 성능을 유지하는 반면, 베이스라인은 43% 미만으로, 글로벌 현장(in-situ) 관측 네트워크에서 신뢰할 수 있는 GSWF를 위한 견고성과 실용적 잠재력을 입증한다.

arXiv:2510.15371v2cs.CV

Cortical-SSM: EEG 신호로부터 운동 상상 디코딩을 위한 깊은 상태 공간 모델

Cortical-SSM: A Deep State Space Model for Motor Imagery Decoding from EEG Signals

운동 상상(motor imagery, MI) 중 획득한 뇌전도(electroencephalogram, EEG) 신호의 분류는 운동 장애 환자를 위한 의사소통 보조 및 재활 지원 등 상당한 응용 잠재력을 지닌다. 이러한 신호는 본질적으로 생리학적 아티팩트(예: 눈 깜박임, 삼킴)에 취약하며, 이는 지속적인 과제를 제기한다. EEG 신호 분류를 위한 트랜스포머 기반 접근법이 널리 채택되었지만, 종종 그 안의 세밀한 종속 관계를 포착하는 데 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 시간, 공간, 주파수 영역에 걸친 EEG 신호의 통합적 종속 관계를 포착하도록 깊은 상태 공간 모델을 확장한 새로운 아키텍처인 Cortical-SSM을 제안한다. 우리는 50명 이상의 피험자를 포함하는 두 개의 대규모 공개 MI EEG 데이터셋에서 방법을 검증했다. 우리의 방법은 두 벤치마크 모두에서 기준선 방법들을 능가했다. 또한, 모델에서 도출한 시각적 설명은 EEG 신호의 신경생리학적으로 관련 있는 영역을 효과적으로 포착함을 나타낸다. 이러한 결과는 Cortical-SSM이 MI EEG 디코딩을 위한 어텐션 기반 아키텍처에 대한 견고하고 해석 가능한 대안을 제공함을 시사한다. 생리학적으로 근거 있는 특징 학습을 가능하게 함으로써, 우리의 방법은 피험자 독립적 EEG 분류의 신뢰성을 향상시키고 실용적이며 임상적으로 배포 가능한 뇌-컴퓨터 인터페이스(brain-computer interface) 시스템의 개발을 지원한다.

arXiv:2607.11796v1cs.LG

선택적 상태 공간 모델에서 상태 사용을 측정하는 정확한 도구와 이를 통해 드러나는 입력 기반 이동

An Exact Instrument for State Usage in Selective State-Space Models, and the Input-Driven Migration It Reveals

Mamba와 같은 선택적 상태 공간 모델은 학습된 선택 메커니즘으로 결정되는 입력 결합을 통해 1차 모드 뱅크에 정보를 라우팅한다. 우리는 학습된 모델이 이 모드들을 어떻게 사용하는지 측정하는 정확한 도구를 제시한다. 상태 행렬이 대각 형태이므로 각 채널의 출력은 모드별 기여로 정확히 분해되며, 층(layer)·채널·윈도우별 Gram 텐서(tensor)는 임의의 예산에서 오프라인으로 모드 부분집합을 제거했을 때의 정확한 출력 오차를 산출한다. 이 도구를 Mamba-1 계열의 참조 구현과 대조한 결과 상대 오차 $2.3\times10^{-7}$로 정확함이 검증되었으며, 4,464개 구성에서 층의 배포된 가지치기(pruning) 오차를 중앙값 상대 편차 $5\times10^{-7}$로 예측하고 그 하한은 재구성 품질에 의해 결정된다. 이 도구를 Mamba-1 계열(130M--2.8B), 배포된 7B Falcon-Mamba, 그리고 Mamba-2에 적용한 결과, 학습된 모델은 입력에 따라 상태 공간을 재할당한다는 사실이 밝혀졌다. 즉, 신호를 전달하는 모드가 컨텍스트에 따라 달라지며, 가장 영향을 많이 받는 층에서 입력별 오라클은 고정 모드 집합의 출력 오차를 약 절반으로 줄인다. 고정 신호 반사실 분석을 통해 이 이동이 주로 입력 의존적 쓰기 맵 $B_t$에 기인함을 밝혔으며, 선택성과 흔히 연관되는 타임스텝은 이에 거의 기여하지 않는다. 이 측정에 기반한 입력 스케줄링 모드 가지치기는 130M부터 배포된 7B Falcon-Mamba까지 모든 규모에서 정적 순위, Hankel 기반 순위, 층 적응형 순위를 능가하며, 상태 예산의 절반으로도 가지치기 없는 모델과 동등한 성능을 보인다. 스케줄러는 첫 번째 패스에서 각 윈도우의 모드 사용량을 읽으므로 이는 실현 가능한 여유 공간을 입증하는 것이며, 배포된 연산 또는 메모리 절감은 주장하지 않는다.

arXiv:2607.08076v1cs.CV

LDFE: 이중 스트림 CNN 기반 RGB-IR 객체 검출을 위한 라플라시안 분리 특징 향상 블록

LDFE: Laplacian Decoupled Feature Enhancement Block for Dual-Stream CNN-based RGB-IR Object Detection

RGB-IR 객체 검출에서 극한 조건의 성능 저하 문제를 해결하기 위해, 라플라시안 피라미드 기반의 LDFE(Laplacian Decoupled Feature Enhancement) 블록을 제안하여 이중 스트림 CNN 백본의 멀티모달 특징을 전역-지역으로 분리한 뒤 GS2E와 LC2E 모듈로 각각 노이즈를 제거하고 융합한다. M3FD, DroneVehicle, LLVIP 등 6개 데이터셋에서 SOTA 대비 최대 6.2% mAP 향상을 달성하며 파라미터 효율성과 추론 속도 면에서도 우수한 성능을 보인다.

arXiv:2604.08435v2cs.CV

HST-HGN: 전역 피로도 평가를 위한 양방향 상태 공간 모델 기반 이종 시공간 하이퍼그래프 네트워크

HST-HGN: Heterogeneous Spatial-Temporal Hypergraph Networks with Bidirectional State Space Models for Global Fatigue Assessment

비트리밍 영상에서 운전자 피로도를 효율적으로 평가하기 위해, 계층적 이종 하이퍼그래프로 포즈 분리된 기하학적 특징과 텍스처 패치를 고차 융합하고, 선형 복잡도의 Bi-Mamba 모듈로 장거리 시간 의존성을 모델링하는 HST-HGN을 제안한다. 다양한 피로도 벤치마크에서 최고 수준의 성능을 달성하면서도 실시간 엣지 배포에 적합한 연산 효율성을 확보하였다.

arXiv:2607.03055v1cs.LG

SHiPPO: 이송된 다항식 투영을 활용한 순환 메모리

SHiPPO: Recurrent Memory with Transported Polynomial Projections

HiPPO의 고정 채널 좌표 한계를 극복하기 위해, SHiPPO(Sylvester HiPPO)는 온라인 다항식 투영 메모리를 이동하는 채널 프레임으로 이송하여 Sylvester 계수 동역학을 도출하는 새로운 순환 메모리 사전(prior)을 제안한다. Mamba 스타일의 선택적 SSM과 호환되는 스캔 효율적 실현을 도출하고, 제어된 진단 실험을 통해 이미 기록된 메모리에 대한 이송 메커니즘이 쓰기 랭크 증가와 독립적인 별개의 채널 상호작용 수단임을 실증한다.

arXiv:2607.03589v1cs.CV

비전 비인과적 사다리꼴 Mamba: 2차 동역학으로 비전 SSM에서 방향성 스캐닝 제거

Vision Non-Causal Trapezoidal Mamba: Eliminating Directional Scanning in Vision SSMs with Second-Order Dynamics

상태 공간 모델(SSM)은 Vision Transformer의 대안으로 부상했으나, 대부분의 비전 SSM은 인과적 시퀀스 모델링에서 방향성 토큰 스캐닝을 그대로 계승하고 있다. 순차적 데이터에는 효과적이지만, 방향성 스캐닝은 공간적 바이어스와 방향 민감 표현을 유발한다. 본 논문에서는 비전 비인과적 사다리꼴 Mamba(VNCT)를 제안한다. VNCT는 2차 비인과적 비전 SSM으로, 모든 이미지 토큰이 단일 패스 내에서 상호작용할 수 있게 하여 방향성 스캐닝을 제거하고 낮은 단일 이미지 추론 지연 시간을 달성한다. VNCT는 보다 방향 강건한 표현을 나타내어 이미지 회전 및 반전에 따른 성능 저하가 줄어들며, Boundary IoU를 최대 3.7포인트 향상시켜 더욱 정확한 경계 보존 및 객체 위치 추정을 가능하게 한다. ImageNet-1K 분류, COCO 객체 검출 및 인스턴스 분할, ADE20K 의미론적 분할에 걸쳐 VNCT는 방향성 스캐닝 비전 SSM과 1차 비인과적 SSM 모두를 일관되게 능가한다. 이러한 결과는 고성능 비전 SSM에 방향성 스캐닝이 불필요함을 보여주며, 2차 비인과적 상태 공간 모델링이 시각적 인식을 위한 간단하고 효율적이며 강건한 대안임을 제시한다.

arXiv:2606.30461v1cs.LG

MuonSSM: 시퀀스 모델링을 위한 상태 공간 모델의 직교화

MuonSSM: Orthogonalizing State Space Models for Sequence Modeling

기존 SSM의 1차 업데이트에서 비롯되는 스펙트럼 불균형과 장기 메모리 열화 문제를 해결하기 위해, MuonSSM은 모멘텀 기반 경로와 Newton–Schulz 정규화를 통해 메모리 업데이트의 기하학적 조건을 명시적으로 개선하는 범용 프레임워크를 제안한다. 병렬 스캔 복잡도를 유지하면서 그라디언트 전파 안정성과 스펙트럼 조건화를 이론적으로 보장하며, 언어·비전·시계열 벤치마크 전반에 걸쳐 다양한 SSM 백본에 통합 시 일관된 성능 향상을 보인다.

arXiv:2606.24650v1cs.CL

Harmonic: Hierarchical State Space Models for Efficient Long-Context Language Modeling

Harmonic은 점점 느린 시간 척도로 쌓은 3단계 계층형 상태 공간 모델(SSM)로, 하위 레벨의 원시 은닉 상태 대신 예측 오차를 상위 입력으로 쓰는 구조다. enwiki8과 WikiText-103에서 동일 토큰 예산 하 Transformer·Mamba보다 긴 문맥일수록 검증 손실(bpt)이 낮고, 64K 토큰에서는 80GB H100에서 베이스라인이 OOM인 반면 O(L) 연산으로 학습이 가능하며, TinyLlama의 어텐션을 HarmonicBlock으로 바꾼 Hallamonic은 RoPE 한계 없이 1K–8K에서 손실이 안정적이다.