arXiv:2610.13720v1 cs.CV

수중 이미지 향상을 위한 업데이트 경향성 라우팅 기반 상태 격리 Vision Mamba

State-Isolated Vision Mamba via Update-Tendency Routing for Underwater Image Enhancement

Yan Luo, Laibin Chang, Zefan Feng, Yi'ang Chen, Kui Jiang, Zhengguo Li

제출 2026-10-09

한국어 초록

Vision Mamba는 순환적 상태 진화(recurrent state evolution)를 통해 장거리 공간적 의존성을 모델링함으로써 컨볼루션 및 트랜스포머(Transformer) 기반 아키텍처의 효율적인 대안으로 최근 부상하고 있다. 기존 연구들은 주로 토큰 직렬화(token serialization), 스캐닝 전략, 또는 전문가 라우팅(expert routing)을 개선하는 데 초점을 맞추었으나, 공간적으로 이질적인 시각적 복원을 위해 순환 상태(recurrent state)를 어떻게 조직해야 하는가라는 상태 수준의 질문은 대체로 간과해왔다. 본 논문에서는 서로 다른 업데이트 양상을 가진 토큰들이 공유된 은닉 상태(hidden state)를 반복적으로 수정하도록 강제할 경우 지속적인 콘텐츠 간 간섭이 발생함을 보이며, 이를 상태 경쟁(State Contention)이라 명명한다. 더 나아가 효과적인 순환 모델링은 토큰 순서가 아닌 토큰 호환성에 따라 상태 진화를 조직해야 한다고 주장한다. 이러한 관찰에 기반하여, Vision Mamba를 위한 새로운 순환 상태 조직 원리인 상태 격리(State Isolation)를 제안한다. 이 원리에 따르면 상태 업데이트 경향성(state-update tendency)이 호환되는 토큰들은 독립적인 순환 상태 흐름 내에서 진화한다. 이 원리를 구현하기 위해, 모델 고유의 업데이트 표현을 구성하고, 레이블 없는 클러스터링(label-free clustering)을 통해 업데이트 호환 가능한 토큰 그룹을 발견하며, 클러스터-라우트-격리(cluster--route--isolate) 패러다임에 따라 이를 격리된 Mamba 전문가(expert)들에게 라우팅하는 Δ-가이드 아키텍처인 IsoMamba를 제안한다. 또한 수중 이미지에서 파장에 따라 달라지는 복원 난이도를 보완하기 위한 동적 채널별 재가중(dynamic channel-wise reweighting) 목적함수를 개발한다. 광범위한 실험을 통해 IsoMamba가 여러 수중 이미지 향상(underwater image enhancement) 벤치마크에서 일관되게 최신 기술 수준(state-of-the-art)의 성능을 달성하면서도 더 깨끗한 은닉 상태 응답을 제공함을 입증하며, 이는 상태가 격리된 순환 모델링의 효과를 검증한다.

원문 초록

Vision Mamba has recently emerged as an efficient alternative to convolutional and Transformer-based architectures by modeling long-range spatial dependencies through recurrent state evolution. Existing studies primarily improve token serialization, scanning strategies, or expert routing, yet largely overlook a state level question question: how should recurrent states be organized for spatially heterogeneous visual restoration? In this paper, we show that forcing tokens with heterogeneous update behaviors to recurrently modify a shared hidden state leads to persistent cross-content interference, which we term \textbf{State Contention}. We further argue that effective recurrent modeling should organize state evolution according to token compatibility rather than token ordering. Based on this observation, we introduce \textbf{State Isolation}, a new recurrent state organization principle for Vision Mamba,tokens with compatible state-update tendencies evolve within independent recurrent state streams. To instantiate this principle, we propose \textbf{IsoMamba}, a $Δ$-guided architecture that constructs model-intrinsic update representations, discovers update-compatible token groups through label-free clustering, and routes them to isolated Mamba experts following a \textbf{cluster--route--isolate} paradigm. In addition, we develop a dynamic channel-wise reweighting objective to compensate for wavelength-dependent reconstruction difficulty in underwater images. Extensive experiments demonstrate that IsoMamba consistently achieves state-of-the-art performance on multiple underwater image enhancement benchmarks while providing cleaner hidden state responses, validating the effectiveness of state isolated recurrent modeling.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.13720v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.20269v3cs.LG공통 태그 Mixture-of-Experts, state space model

배치는 자유롭고 구성은 그렇지 않다: 이종 시퀀스 믹서 스택을 위해 증명 가능하게 균형 잡힌 구조로서의 라틴 방진

Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks

GPT 이후 대부분의 트랜스포머(Transformer)는 모든 층(layer)에서 동일한 어텐션(attention) 메커니즘을 반복해 왔습니다. 그러나 이러한 설계는 검증된 결론이라기보다는 대체로 관례에 가깝습니다. 하나의 스택에 여러 시퀀스 믹서가 결합될 때 성능 향상은 메커니즘의 선택, 배치, 또는 둘 모두에서 비롯될 수 있어 인과적 귀인이 어렵습니다. 본 논문에서는 7개의 시퀀스 혼합 메커니즘을 $7\times7$ 라틴 방진(Latin square) 형태로 배치한 49개 층으로 구성된 65.9억 개 매개변수(parameter) 규모의 전문가 혼합(MoE) 모델(활성 매개변수 약 29.8억 개)인 Aether-7B-5Attn을 소개합니다. 각 메커니즘이 모든 행과 열에 정확히 한 번씩 나타나기 때문에, 이 설계는 깊이 전반에 걸쳐 균형 잡힌 노출을 보장하는 동시에 배치로 인한 교란 요인을 제거합니다. 이 원리를 평가하기 위해, 우리는 4개의 메커니즘을 16개 층에 걸쳐 $4\times4$ 라틴 방진으로 배치하고 7억 90만 개의 매개변수로 맞추었으며 실험군(arm)당 8개의 시드로 학습(training)한 매개변수 일치 프록시를 구축했습니다. 실험 결과는 명확한 분리를 보여줍니다. 분산된 이종 스택을 균형 잡힌 주기적 순환으로 재배치하더라도 검증(validation) 손실(loss)은 단 0.16%만 변하여, 정확한 배치는 거의 영향을 미치지 않음을 나타냅니다. 반면, 동일한 메커니즘들을 연속된 깊이 대역으로 클러스터링하면 0.59%의 페널티가 발생하며, 이종 스택을 동종 스택으로 교체하면 1.68%의 페널티가 발생합니다. 이러한 결과는 성능이 특정한 순열보다는 주로 깊이 전반에 분산된 이종 구성에 의존함을 시사합니다. 우리는 동종 스택 페널티가 2.63%로 증가하고 SSM 계열 메커니즘을 제거할 때 3.20%의 성능 저하가 발생하는 2.16배 더 큰 규모(15.14억 개 매개변수)에서 이 발견을 재확인했습니다. 나아가 각 메커니즘별 비용 프로파일, 영어 및 한국어 평가, 49개 전 층에 대한 인과적 안전성(safety) 감사 결과를 보고합니다. 본 연구에서는 모델 가중치, 학습 레시피, 학습 코드, 로그 및 아키텍처 소스 코드를 공개합니다.

arXiv:2609.27317v1cs.CV공통 태그 Mixture-of-Experts, Image Restoration

날씨-콘텐츠 결합 해소: 올인원 적외선 복원을 위한 유형-심각도 가이드 점진적 분리

Breaking Weather-Content Coupling: Type-Severity Guided Progressive Disentanglement for All-in-One Infrared Restoration

적외선(IR) 영상은 자율주행, 원격 탐사 및 기타 지각(perception) 과제에 필수적이다. 그러나 악천후는 실제 열 구조와 얽힌 가짜 구조적 응답을 유발할 수 있다. 기존 IR 복원 방법은 대개 단일 열화(degradation) 유형용으로 설계되거나, 열화가 얽힌 표현에서 직접 재구성한다. 그 결과 내재적 열 구조와 날씨로 인한 가짜 응답을 구분하기 어렵고, 공간적으로 변하는 열화 심각도(severity)에도 대응하기 힘들어 아티팩트가 생기거나 약하지만 의미 있는 열 응답이 과도하게 억제된다. 이를 해결하기 위해, 복원 가이던스를 과제 수준의 날씨 의미론과 영역 수준의 열화 심각도로 분해하는 올인원 적외선 복원용 유형-심각도 가이드 점진적 분리 네트워크 TSGPD-IR을 제안한다. 구체적으로, Weather and Semantic Co-Guided Multi-Level Prompt Generation Module은 전역 날씨 의미론과 단계별 지역 특징을 결합해 적응형 프롬프트를 생성하고, 열화 유발 응답을 점진적으로 억제하면서 내재적 열 구조를 보존한다. 전역 날씨 의미론을 공간적 복원 제어와 보완하기 위해, Proxy-Supervised Regional Degradation Estimator는 수동 주석 없이 심각도 지도(supervision)를 도출하고 공간적으로 변하는 열화 사전(prior)을 예측한다. 이러한 단서에 따라 Multi-Source Collaborative Expert Selection Strategy는 공유 분기로 날씨 불변 열 구조를 보존하고, 계층적 라우팅으로 날씨별 전문가 풀과 심각도에 맞는 지역 전문가를 선택한다. 이 설계는 열화 간섭을 진짜 열 콘텐츠와 점진적으로 분리하고 영역 적응형 복원을 가능하게 하여 잔여 아티팩트와 과억제를 모두 줄인다.

arXiv:2607.24030v1cs.CL공통 태그 Mixture-of-Experts, Clustering

MoLGE: 대규모 다국어 음성 인식의 효율적 스케일링을 위한 언어 그룹 전문가 혼합

MoLGE: Mixture of Language Group Experts for Efficient Scaling of Massively Multilingual Speech Recognition

수백 개 언어를 포괄하는 대규모 다국어 자동 음성 인식(ASR) 모델은 다양한 언어적·음향적 조건에서 견고한 성능을 유지해야 한다. 그러나 이러한 모델은 종종 다국어성의 저주(curse of multilinguality)에 직면하며, 이는 모델 용량이 여러 언어에 걸쳐 희석되는 현상이다. 이 문제를 해결하기 위해, 우리는 음성 자기지도 학습 모델(S3M)을 기반으로 한 언어 그룹 전문가 혼합(MoLGE)을 제안한다. MoLGE는 유사한 언어들의 클러스터에 전용 전문가 모듈을 할당하여, 기존의 언어별 전문가 혼합(MoE) 방식에 비해 필요한 하위 모듈 수를 줄인다. 또한 S3M 아키텍처의 분리된 음향·언어 구성요소에 계층적 저랭크 적응(LoRA) 전략을 통합하여, 매개변수 효율성을 유지하면서 언어별 특성을 효율적으로 모델링할 수 있게 한다. 또한 언어학적·데이터 기반 기준 모두에 따른 언어 그룹화 전략이 전체 성능에 미치는 영향을 조사하여, 다국어 음성 시스템에서 언어 구조가 확장성(scalability)에 어떻게 영향을 미치는지에 대한 해석 가능한 관점을 제공한다. 실험에서 우리는 495개 언어를 포괄하는 다국어 벤치마크에서 MoLGE를 평가한다. 결과는 MoLGE가 학습 가능한 매개변수의 최소한의 증가만으로 밀집(dense) 다국어 기준선을 지속적으로 능가함을 보여준다. 특히 이러한 언어 그룹화 전략은 ASR 모델링의 음성학적(phonetic) 측면과 정서법적(orthographic) 측면 모두에서 상당한 개선을 가져온다. 우리의 발견은 구조화된 언어 특화(language specialization)가 다국어 ASR의 언어 커버리지를 대규모로 확장하는 효과적인 경로를 제공함을 시사한다.

arXiv:2607.21467v1cs.CV공통 태그 Clustering, Image Restoration

CLUIE: 수중 이미지 향상을 위한 군집 인식 순환 전파와 국소 구조 보상

CLUIE: Clustering-Aware Recurrent Propagation with Local Structural Compensation for Underwater Image Enhancement

수중 이미지 향상은 파장에 따른 빛 흡수, 산란, 역산란으로 인해 여전히 어려운 과제이며, 이들은 함께 색 왜곡, 대비 저하, 디테일 손실을 야기한다. 이러한 열화는 장면 깊이와 촬영 조건에 따라 달라지므로, 동일 이미지 내 서로 다른 영역은 종종 이질적인 열화 패턴을 보이며 따라서 영역 적응형 복원이 필요하다. 비전 RWKV 모델은 장거리 의존성 모델링을 위한 효율적인 선형 복잡도 해법을 제공하지만, 사전 정의된 스캔 순서는 콘텐츠와 무관하여 공간적으로 비균일한 복원 요구에 순환 상태 전파를 적응시키지 못한다. 이 한계를 해결하기 위해, 우리는 고정된 순환 전파 경로를 콘텐츠 적응형 토큰 궤적으로 재구성하는 군집 인식 RWKV 프레임워크인 CRWKV를 제안한다. 구체적으로, 의미적 특징 유사도에 따라 토큰을 그룹화하고 클러스터 간 문맥 관계로부터 동적 순회 순서를 도출하는 Clustering-aware Semantic Dynamic Reordering(CSDR)을 도입한다. 이 설계는 WKV 상태가 고정된 공간적 또는 스펙트럼 순서가 아닌 의미적으로 상관된 영역을 따라 누적되도록 한다. 동적 재정렬이 원래 공간 이웃의 국소 연속성을 방해할 수 있으므로, depth-wise 합성곱을 통해 국소 구조 응답을 추출하고 이웃 인식 의사-암응답(pseudo-dark response) 맵을 사용하여 전파 강도를 적응적으로 변조하는 Dark-response Modulated Local Propagation(DMLP)을 추가로 제안한다. 이를 통해 콘텐츠 적응형 장거리 모델링을 유지하면서 순환 집계 이전에 국소 구조 단서가 보상된다. 여러 수중 이미지 향상 벤치마크에 대한 광범위한 실험은 CRWKV가 최첨단(state-of-the-art) 정량적 성능과 우수한 시각적 품질을 달성함을 보여준다.

arXiv:2607.21118v2cs.CV공통 태그 Image Restoration

제2회 LoViF 2026 실세계 올인원 이미지 복원 챌린지: 방법과 결과

The Second LoViF 2026 Challenge on Real-World All-in-One Image Restoration: Methods and Results

본 논문은 실세계 올인원(all-in-one) 이미지 복원을 주제로 한 제2회 LoViF 챌린지에 대한 리뷰를 제시한다. 이 챌린지는 흐림, 저조도, 안개, 비, 눈 등 다양한 실세계 열화(degradation) 조건에서 통합 이미지 복원을 발전시키는 것을 목표로 한다. 통합 프레임워크 내에서 여러 열화 유형에 걸친 모델의 복원 정확도, 견고성(robustness), 일반화(generalization) 능력을 평가하기 위한 공통 벤치마크를 제공한다. 대회에는 158명의 등록 참가자가 참여했으며, 제출된 결과가 성공적으로 재현 및 검증된 후 20개 팀이 최종 순위에 포함되었다. 본 보고서는 제출된 솔루션과 해당 결과에 대한 포괄적인 분석을 제공하며, 실세계 올인원 이미지 복원 분야의 최근 진전을 강조한다. 요약된 방법과 실증적 발견은 효과적인 설계 전략을 드러내고, 실세계 저수준(low-level) 비전 분야의 향후 연구를 위한 업데이트된 벤치마크를 확립한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.