arXiv:2609.27317v1 cs.CV

날씨-콘텐츠 결합 해소: 올인원 적외선 복원을 위한 유형-심각도 가이드 점진적 분리

Breaking Weather-Content Coupling: Type-Severity Guided Progressive Disentanglement for All-in-One Infrared Restoration

Xinyao Wang, Lijun He, Zhihan Ren, Fan Li

제출 2026-09-24

한국어 초록

적외선(IR) 영상은 자율주행, 원격 탐사 및 기타 지각(perception) 과제에 필수적이다. 그러나 악천후는 실제 열 구조와 얽힌 가짜 구조적 응답을 유발할 수 있다. 기존 IR 복원 방법은 대개 단일 열화(degradation) 유형용으로 설계되거나, 열화가 얽힌 표현에서 직접 재구성한다. 그 결과 내재적 열 구조와 날씨로 인한 가짜 응답을 구분하기 어렵고, 공간적으로 변하는 열화 심각도(severity)에도 대응하기 힘들어 아티팩트가 생기거나 약하지만 의미 있는 열 응답이 과도하게 억제된다. 이를 해결하기 위해, 복원 가이던스를 과제 수준의 날씨 의미론과 영역 수준의 열화 심각도로 분해하는 올인원 적외선 복원용 유형-심각도 가이드 점진적 분리 네트워크 TSGPD-IR을 제안한다. 구체적으로, Weather and Semantic Co-Guided Multi-Level Prompt Generation Module은 전역 날씨 의미론과 단계별 지역 특징을 결합해 적응형 프롬프트를 생성하고, 열화 유발 응답을 점진적으로 억제하면서 내재적 열 구조를 보존한다. 전역 날씨 의미론을 공간적 복원 제어와 보완하기 위해, Proxy-Supervised Regional Degradation Estimator는 수동 주석 없이 심각도 지도(supervision)를 도출하고 공간적으로 변하는 열화 사전(prior)을 예측한다. 이러한 단서에 따라 Multi-Source Collaborative Expert Selection Strategy는 공유 분기로 날씨 불변 열 구조를 보존하고, 계층적 라우팅으로 날씨별 전문가 풀과 심각도에 맞는 지역 전문가를 선택한다. 이 설계는 열화 간섭을 진짜 열 콘텐츠와 점진적으로 분리하고 영역 적응형 복원을 가능하게 하여 잔여 아티팩트와 과억제를 모두 줄인다.

원문 초록

Infrared (IR) imaging is crucial for autonomous driving, remote sensing, and other perception tasks. However, adverse weather may introduce fake structural responses that are entangled with real thermal structures. Existing IR restoration methods are typically designed for a single degradation type or directly reconstruct from degradation-entangled representations. Consequently, they struggle to distinguish intrinsic thermal structures from weather-induced fake responses and to accommodate spatially varying degradation severity, leading to artifacts or the over-suppression of weak but meaningful thermal responses. To address these issues, we propose TSGPD-IR, a type-severity guided progressive disentanglement network for all-in-one infrared restoration that factorizes restoration guidance into task-level weather semantics and region-level degradation severity. Specifically, a Weather and Semantic Co-Guided Multi-Level Prompt Generation Module combines global weather semantics with stage-wise local features to generate adaptive prompts that progressively suppress degradation-induced responses while preserving intrinsic thermal structures. To complement global weather semantics with spatial restoration control, a Proxy-Supervised Regional Degradation Estimator derives severity supervision without manual annotations and predicts spatially varying degradation priors. Guided by these cues, a Multi-Source Collaborative Expert Selection Strategy uses a shared branch to preserve weather-invariant thermal structures and hierarchical routing to select weather-specific expert pools and severity-compatible regional experts. This design progressively separates degradation interference from genuine thermal content and enables region-adaptive restoration, reducing both residual artifacts and over-suppression.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.27317v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15745v1cs.CV공통 태그 Mixture-of-Experts, Autonomous Driving

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2610.13720v1cs.CV공통 태그 Mixture-of-Experts, Image Restoration

수중 이미지 향상을 위한 업데이트 경향성 라우팅 기반 상태 격리 Vision Mamba

State-Isolated Vision Mamba via Update-Tendency Routing for Underwater Image Enhancement

Vision Mamba는 순환적 상태 진화(recurrent state evolution)를 통해 장거리 공간적 의존성을 모델링함으로써 컨볼루션 및 트랜스포머(Transformer) 기반 아키텍처의 효율적인 대안으로 최근 부상하고 있다. 기존 연구들은 주로 토큰 직렬화(token serialization), 스캐닝 전략, 또는 전문가 라우팅(expert routing)을 개선하는 데 초점을 맞추었으나, 공간적으로 이질적인 시각적 복원을 위해 순환 상태(recurrent state)를 어떻게 조직해야 하는가라는 상태 수준의 질문은 대체로 간과해왔다. 본 논문에서는 서로 다른 업데이트 양상을 가진 토큰들이 공유된 은닉 상태(hidden state)를 반복적으로 수정하도록 강제할 경우 지속적인 콘텐츠 간 간섭이 발생함을 보이며, 이를 상태 경쟁(State Contention)이라 명명한다. 더 나아가 효과적인 순환 모델링은 토큰 순서가 아닌 토큰 호환성에 따라 상태 진화를 조직해야 한다고 주장한다. 이러한 관찰에 기반하여, Vision Mamba를 위한 새로운 순환 상태 조직 원리인 상태 격리(State Isolation)를 제안한다. 이 원리에 따르면 상태 업데이트 경향성(state-update tendency)이 호환되는 토큰들은 독립적인 순환 상태 흐름 내에서 진화한다. 이 원리를 구현하기 위해, 모델 고유의 업데이트 표현을 구성하고, 레이블 없는 클러스터링(label-free clustering)을 통해 업데이트 호환 가능한 토큰 그룹을 발견하며, 클러스터-라우트-격리(cluster--route--isolate) 패러다임에 따라 이를 격리된 Mamba 전문가(expert)들에게 라우팅하는 Δ-가이드 아키텍처인 IsoMamba를 제안한다. 또한 수중 이미지에서 파장에 따라 달라지는 복원 난이도를 보완하기 위한 동적 채널별 재가중(dynamic channel-wise reweighting) 목적함수를 개발한다. 광범위한 실험을 통해 IsoMamba가 여러 수중 이미지 향상(underwater image enhancement) 벤치마크에서 일관되게 최신 기술 수준(state-of-the-art)의 성능을 달성하면서도 더 깨끗한 은닉 상태 응답을 제공함을 입증하며, 이는 상태가 격리된 순환 모델링의 효과를 검증한다.

arXiv:2610.13891v1cs.CV공통 태그 Autonomous Driving, Disentanglement

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2609.24455v1cs.CV공통 태그 Mixture-of-Experts, Autonomous Driving

MECAIL: 14.6 KB 시공간 전문가를 활용한 객체 검출용 통신 인식 증분 학습

MECAIL: Communication-Aware Incremental Learning for Object Detection with 14.6 KB Spatiotemporal Experts

지능형 교통 시스템은 동적 환경에서 전반적인 성능을 지속적으로 향상하기 위해 증분 학습(IL)이 필요하다. 그러나 대부분의 엣지 디바이스는 온디바이스 IL을 지원할 연산 자원이 부족하여, 업데이트를 중앙 서버에서 전송해야 한다. 우리는 이 구성을 활용하여 주차장, 주유소, 페리, 건설 현장과 같은 특정 시공간 맥락에 맞게 고정된 베이스 모델을 적응시키는 밀집적이고 특화된 모듈 커버리지를 얻는 것을 제안한다. 그러나 V2X, Wi-Fi, 2G–5G 하드웨어를 통해 TCP, UDP, BTP를 사용하여 이러한 모듈을 엣지 디바이스에 안정적으로 전송하기 위해, 첫 TCP 윈도우에 맞추고 UDP/BTP 단편화를 최소화하기 위해 모듈당 14.6 KB의 엄격한 한도를 설정한다. 또한 이 �strict한 요구를 충족하는 최초의 방법인 통신 인식 증분 학습을 위한 전문가 혼합(MECAIL)을 도입하며, 각 새로운 도메인 또는 환경은 베이스 모델을 적응시키는 소형 전문가 네트워크가 담당한다. D-RICO와 ODinW-13에서 MECAIL을 검증하였으며, 실용적이고 대역폭 효율적인 대규모 배포를 가능하게 하면서 매개변수 집약적 접근법의 성능과 대체로 일치한다. 이를 통해 고도로 구체적이고 집중적이며 일시적인 상황에 대해 전문가가 포괄적으로 커버할 수 있다.

arXiv:2609.24526v1cs.CV공통 태그 Mixture-of-Experts, Autonomous Driving

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

토론

이 논문과 연결된 포럼 글이 아직 없습니다.