arXiv:2505.12161

WaLRUS: Wavelets for Long-range Representation Using SSMs

Hossein Babaei, Mel White, Sina AlEMohammad, Richard G. Baraniuk

제출 2025-05-17

원문 초록

State-Space Models (SSMs) have proven to be powerful tools for modeling long-range dependencies in sequential data. While the recent method known as HiPPO has demonstrated strong performance, and formed the basis for machine learning models S4 and Mamba, it remains limited by its reliance on closed-form solutions for a few specific, well-behaved bases. The SaFARi framework generalized this approach, enabling the construction of SSMs from arbitrary frames, including non-orthogonal and redundant ones, thus allowing an infinite diversity of possible "species" within the SSM family. In this paper, we introduce WaLRUS (Wavelets for Long-range Representation Using SSMs), a new implementation of SaFARi built from Daubechies wavelets.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.18094v3cs.LG공통 태그 Diversity, State Space Models

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2609.24049v1cs.CV공통 태그 State Space Models, Mamba

U-PEN Mamba: 점진적 확장과 선택적 상태 공간 모델링을 활용한 효율적 망막 혈관 분할

U-PEN Mamba: Progressive Expansion with Selective State-Space Modeling for Efficient Retinal Vessel Segmentation

정확한 망막 혈관 분할은 컴퓨터 지원 안과 분석에 중요하지만, 가는 혈관, 낮은 대비, 심한 전경-배경 불균형은 인코더-디코더 네트워크에 여전히 어려운 과제로 남아 있다. 본 논문은 점진적 비선형 특징 확장과 선택적 상태 공간 모델링을 결합한 U자형 망막 혈관 분할 아키텍처인 U-PEN Mamba를 제안한다. 제안 네트워크는 점진적 확장으로 국소 혈관 응답을 풍부하게 하고, 선형 시퀀스 복잡도를 갖는 Mamba Global Context(MGC) 블록을 통해 장거리 공간 의존성을 모델링하며, 어텐션 기반 디코더 융합으로 미세 혈관 경계를 복원한다. 일관된 패치 기반 전처리 파이프라인으로 CHASE DB1과 DRIVE에서 U-PEN Mamba를 평가하고, 합성곱, 어텐션, 트랜스포머, Mamba 기반 분할 기준선과 비교한다. U-PEN Mamba는 비교 방법 중 평균 교집합 대합(mIoU)이 최고이며, 학습 가능 매개변수 21.6M으로 CHASE DB1에서 0.8394, DRIVE에서 0.8221을 달성하고 Dice 점수는 각각 0.8187, 0.8078이다. 소거 연구는 MGC 블록이 U-Net 기준선 대비 가장 큰 이득을 제공함을 보여 주며, 투영 차원과 state size는 실용적인 정확도-효율 조절을 가능하게 한다. 이 결과는 선택적 상태 공간 모델링이 매개변수 효율적 망막 혈관 분할을 위한 유망한 전역 문맥 메커니즘임을 시사한다. 코드는 https://github.com/areyesan/UPEN_Mamba 에서 이용할 수 있다.

arXiv:2607.12681v1cs.CV공통 태그 State Space Models, Mamba

MambaPSA: YOLO26의 C2PSA를 대체하는 Mamba 기반 모듈

MambaPSA: A Mamba-based Replacement for C2PSA in YOLO26

상태 공간 모델(SSM)은 최근 Mamba가 두드러지게 등장하며, 선형 계산 복잡도로 self-attention의 효율적인 대안으로 부상했다. 본 연구는 최신 NMS(Non-maximum suppression)-free 객체 검출 프레임워크인 YOLO26에 Mamba를 통합하는 방법을 탐구하며, backbone 끝의 C2PSA 블록을 대체하는 경량 Mamba 기반 모듈인 MambaPSA를 제안한다. 이 연구를 보완하기 위해 neck의 P3, P4, P5 단계에 bidirectional Vision Mamba(BiViM) 모듈을 추가로 삽입했다. PASCAL VOC 2007+2012에서의 실험 결과, MambaPSA는 파라미터를 2.9%, FLOPs를 12.1% 줄이고 CPU 추론 처리량을 17.6% 향상시켰으며(17 FPS에서 20 FPS), 정확도 변화는 미미했다(-0.1 mAP50:95). P4 BiViM 배치는 가장 큰 정확도 향상(+0.9 mAP50:95)을 보였다. 이러한 결과는 SSM이 NMS-free 경량 검출기에서 어텐션 기반 블록을 대체할 때 유리한 효율-정확도 절충을 제공함을 시사한다.

arXiv:2606.22801v1cs.CV공통 태그 State Space Models, Mamba

올인원 이미지 복원을 위한 Multi-τ Liquid-Mamba 기반 적응형 역학적 특징 학습

Learning Adaptive Dynamical Features via Multi-$τ$ Liquid-Mamba for All-in-one Image Restoration

이미지 복원은 열화된 관측에서 고품질 이미지를 복원하는 것을 목표한다. 최근 Mamba 기반 이미지 복원 모델은 선형 복잡도로 장거리 의존성을 모델링하는 데 강한 잠재력을 보여주었다. 하지만 기존 대부분의 설계는 여전히 단일 상태 진화 시간 척도에 의존하여, 올인원 이미지 복원에서 공간적으로 이질적인 및 작업 의존적인 열화 패턴에 대한 적응성이 제한된다. 본 논문에서는 선택적 상태 공간 모델링에 입력 조건부 다중 시간 척도 liquid 이산화를 도입한 적응형 상태 공간 모듈인 Multi-τ Liquid-Mamba를 제안한다. 전체 선택적 스캔 파이프라인을 변경하는 대신, 제안된 모듈은 여러 역학적 분기의 유효 이산화 단계를 조절하고 열화 인식 게이팅 가중치에 따라 응답을 적응적으로 융합한다. 이 설계는 시퀀스 길이에 대한 Mamba의 선형 스케일링 속성을 유지하면서 빠르게 변하는 국소 세부 사항과 느리게 진화하는 전역 구조를 모두 포착할 수 있게 한다. 특히 Multi-τ Liquid-Mamba는 원본 선택적 파라미터화와 하드웨어 효율적인 선택적 스캔 메커니즘을 유지하면서 유효 전이 역학을 조절하여, 기존 Mamba 기반 아키텍처에 원활하게 통합할 수 있는 플러그 앤 플레이 모듈로 만든다. 이 프레임워크를 기반으로 올인원 이미지 복원을 위한 Multi-τ Liquid-Mamba 이미지 복원 네트워크(MLMIR)를 개발한다. 광범위한 복원 벤치마크에 대한 대규모 실험에서 MLMIR은 작업 정렬된 복원 설정에서도 높은 경쟁력을 유지하면서 올인원 이미지 복원에서 일관되게 최고 수준의 성능을 달성함을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.