arXiv:2511.18028v2 cs.CV

MambaX: 상태 예측 제어를 이용한 이미지 초해상도

MambaX: Image Super-Resolution with State Predictive Control

Chenyu Li, Danfeng Hong, Bing Zhang, Zhaojie Pan, Naoto Yokoya, Jocelyn Chanussot

제출 2026-09-22

한국어 초록

이미지 초해상도(SR)는 센서의 근본적인 하드웨어 한계를 극복하기 위한 핵심 기술이다. 그러나 기존 접근법들은 주로 최종 해상도를 직접적으로 향상시키는 데 초점을 맞추고 있어, 중간 단계에서 발생하는 오차의 전파와 누적에 대한 효과적인 제어를 간과하는 경우가 많다. 최근 맘바(Mamba)는 전체 복원 과정을 다수의 노드를 가진 상태 시퀀스(state sequence)로 표현함으로써 중간 개입을 가능하게 하는 유망한 접근법으로 부상하였다. 그럼에도 불구하고, 맘바의 고정된 선형 매퍼(linear mapper)는 좁은 수용 영역(receptive field)과 제한된 유연성으로 인해 세밀한 이미지에서의 효과가 저해된다는 한계가 있다. 이를 해결하기 위해, 우리는 연속적인 스펙트럼 밴드를 잠재 상태 공간(latent state space)으로 매핑하고, 제어 방정식의 비선형 상태 파라미터를 동적으로 학습함으로써 SR 과제를 일반화하는 비선형 상태 예측 제어 모델인 MambaX를 구축하였다. 기존의 시퀀스 모델들과 비교하여, MambaX는 1) 동적 상태 예측 제어 학습을 사용하여 상태 공간 모델(state-space model)의 비선형 미분 계수를 근사하고, 2) 다중 모달(multimodal) SR 융합을 위한 새로운 상태 교차 제어(state cross-control) 패러다임을 도입하며, 3) 점진적 전이 학습(progressive transitional learning)을 활용하여 도메인 및 모달리티 변화(shift)로 인한 이질성을 완화한다. 우리의 평가는 단일 이미지 SR과 다중 모달 융합 기반 SR 과제 모두에서 동적 스펙트럼-상태 표현 모델의 우수한 성능을 보여주며, 임의의 차원과 모달리티에 걸쳐 스펙트럼적으로 일반화된 모델링을 발전시킬 수 있는 상당한 잠재력을 강조한다.

원문 초록

Image super-resolution (SR) is a critical technology for overcoming the inherent hardware limitations of sensors. However, existing approaches mainly focus on directly enhancing the final resolution, often neglecting effective control over error propagation and accumulation during intermediate stages. Recently, Mamba has emerged as a promising approach that can represent the entire reconstruction process as a state sequence with multiple nodes, allowing for intermediate intervention. Nonetheless, its fixed linear mapper is limited by a narrow receptive field and restricted flexibility, which hampers its effectiveness in fine-grained images. To address this, we created a nonlinear state predictive control model \textbf{MambaX} that maps consecutive spectral bands into a latent state space and generalizes the SR task by dynamically learning the nonlinear state parameters of control equations. Compared to existing sequence models, MambaX 1) employs dynamic state predictive control learning to approximate the nonlinear differential coefficients of state-space models; 2) introduces a novel state cross-control paradigm for multimodal SR fusion; and 3) utilizes progressive transitional learning to mitigate heterogeneity caused by domain and modality shifts. Our evaluation demonstrates the superior performance of the dynamic spectrum-state representation model in both single-image SR and multimodal fusion-based SR tasks, highlighting its substantial potential to advance spectrally generalized modeling across arbitrary dimensions and modalities.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.18028v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01291v2cs.CV공통 태그 Domain Adaptation, Image Restoration

ODDR: 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델

ODDR: One-Step Deshadow Diffusion via Reward Guidance

그림자 제거를 위한 심층 학습(deep learning)의 최근 발전은 이미지 품질과 사실성을 크게 향상시켰습니다. 그러나 대부분의 접근 방식은 수집 비용이 많이 들고 장면 다양성이 제한적인 경우가 많은 실제 쌍(paired) 데이터셋에 의존하므로 일반화 성능이 제한됩니다. 이러한 한계를 해결하기 위해, 우리는 실제 쌍으로 구성된 지도학습(supervision)에 의존하지 않고도 효율적이고 충실도 높은 그림자 제거를 달성하는 새로운 프레임워크인 보상 가이던스를 통한 단일 단계 그림자 제거 확산 모델(One-step Deshadow Diffusion via Reward guidance, ODDR)을 제안합니다. 본 연구의 방법은 효율적인 단일 단계 무그림자 재구성을 위해 합성 그림자 데이터로 학습된 기준선(baseline) 모델인 One-step Deshadow Diffusion(ODD)에서 시작합니다. 나아가 우리는 ShadowReward를 사용하여 ODD를 ODDR로 발전시킵니다. 주석(annotation) 작업이 많이 필요한 기존 방식과 달리, ShadowReward는 인간의 주석 없이 전적으로 학습된 그림자 제거용 최초의 보상 모델(reward model)입니다. 이는 질감 왜곡 및 경계 아티팩트와 같이 통제된 품질 저하가 적용된 합성 생성 이미지를 순위화하여 인간의 지각적 판단을 모방하도록 학습합니다. 이러한 보상 기반 미세조정(fine-tuning)을 통해 ODDR은 합성-실제 간 도메인 간극을 좁힐 수 있습니다. 광범위한 실험을 통해 ODD는 실제 쌍 지도학습에 의존하지 않고도 강력한 성능을 달성하며, ODDR은 결과를 더욱 향상시켜 단일 단계 모델로서 더 높은 연산 효율성을 유지하면서도 실제 쌍 데이터로 학습된 완전 지도학습 방식과의 격차를 좁힘을 보여줍니다.

arXiv:2610.13547v1cs.CV공통 태그 Image Super-Resolution, Image Restoration

MOSAIC: 원격 탐사 영상 초해상화를 위한 이미지 유도 프로토타입 조건화 기반 다중 스케일 객체 중심 슬롯 적응

MOSAIC: Multi-Scale Object-Centric Slot Adaptation with Image-Guided Prototype Conditioning for Remote Sensing Image Super-Resolution

사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.

arXiv:2610.04781v2cs.CV공통 태그 Image Super-Resolution, Image Restoration

적절한 잠재 공간에서의 초해상도: 동결된 비전 파운데이션 기저

Super-Resolution in The Right Latent Space: A Frozen Vision-Foundation Substrate

이미지 잠재 공간(latent space)에서 고해상도의 자연스럽고 선명한 이미지 임베딩은 하나의 다양체(manifold)를 형성합니다. 고해상도 이미지가 열화되면 해당 임베딩은 이 다양체 밖으로 밀려납니다. 따라서 실세계 초해상도(SR, super-resolution)는 열화된 임베딩을 다시 이 다양체로 매핑하는 작업이 됩니다. 이때 다양체 위의 임의의 위치가 아니라 입력이 여전히 담고 있는 시맨틱과 픽셀 세부 정보를 모두 보존하는 지점으로 매핑해야 합니다. 기존에 발표된 모든 방법은 이러한 매핑을 재구성 지향적 잠재 공간이나 픽셀 공간에서 구현합니다. 저자들은 이러한 공간이 SR에 적합하지 않은 기저(substrate)라고 주장합니다. 저해상도 및 열화된 이미지는 다양체에서 멀리 떨어진 곳에 임베딩되므로 매핑이 어렵고 연산 비용이 많이 듭니다. 또한 이러한 기저에는 시맨틱 정보가 부족하여 다양체 상의 정확한 지점을 찾아가기 어려우며, 열화가 심할 때 심각한 환각(hallucination)을 유발합니다. 따라서 적절한 잠재 공간에서 복원하는 것이 SR 작업에서 매우 중요합니다. 본 논문에서는 동결된 DINOv3-L의 23개 레이어를 융합한 잠재 공간이 SR 작업을 더 쉽게 만드는 공간 중 하나임을 보입니다. 열화된 이미지가 다양체 근처에 임베딩되며, 나아가 이 기저는 픽셀 기록부터 열화에 강건한 시맨틱에 이르기까지 계층적 정보를 포함하고 있어 모델이 다양체 상의 충실한 지점을 찾도록 유도합니다. 이 기저 위에서 415M 디코더는 재구성 및 적대적 목표 함수 하에 학습되어 열화된 임베딩을 다시 매핑하고 단일 패스로 픽셀 공간으로 디코딩합니다. 그 결과 제안하는 모델인 RAESR은 단일 H20 GPU에서 512x512 이미지당 37ms의 속도로 RealSR, DRealSR, LSDIR, DIV2K-Val 벤치마크에서 최신 적대적 및 확산 기반 복원기들 중 가장 우수한 충실도-지각 트레이드오프(fidelity-perception trade-off)를 달성합니다. 동일한 학습 방식으로 기저를 VAE 잠재 공간으로 교체했을 때는 모든 지표에서 성능이 저하되었습니다.

arXiv:2607.13319v2cs.RO공통 태그 Domain Adaptation, Model Predictive Control

다양한 지형에서의 고속 MPC를 위한 범용 차량 모델 적응 기법

Adapting Generalist Vehicle Models for High-Speed MPC Across Terrains

고속 오프로드 자율주행은 변화하는 지형 전반에서 강인성을 유지하면서도 대상 차량에 대한 정밀한 폐루프 제어(closed-loop control)를 요구합니다. 최근의 순방향 키노다이내믹스(forward kinodynamic, FKD) 예측 파운데이션 모델들은 범용 모델에서 시작하여 이를 대상 플랫폼에 특화하는 유망한 방향성을 제시합니다. 그러나 효과적인 특화는 종종 상당한 양의 실환경 데이터를 필요로 하며, 특정 환경에 적응된 모델이 특정 지형이나 주행 영역에 과적합될 수 있어 여전히 도전 과제로 남아 있습니다. 본 연구에서는 특정 차량에 대한 성능을 최적화하는 동시에 지형 간 일반화 능력을 보존함으로써 범용 모델과 특화 FKD 모델 간의 격차를 해소하는 방법론인 OptCar(Optimized Car)를 제시합니다. OptCar는 최근 상태-행동 이력을 요약한 단일 동역학 컨텍스트 토큰을 기반으로 FiLM을 사용해 다단계 예측을 조건화하는 트랜스포머 FKD 아키텍처를 도입합니다. 그런 다음 제한된 실환경 데이터와 환경별 시스템 식별을 통해 얻은 타깃 합성 롤아웃(synthetic rollout)을 활용하여 범용 모델을 특화합니다. 세 가지 지형 및 분포 외(out-of-distribution) 카트 견인 태스크에 대한 폐루프 모델 예측 제어(MPC) 실험에서, 가장 큰 성능 향상은 평가된 최고 속도이자 미끄러짐이 추적 오차를 지배하는 영역인 6 m/s에서 나타납니다. 미끄러짐이 가장 다양한 식생+비포장 지형에서 OptCar는 실제 데이터로만 파인튜닝된 AnyCar 대비 6 m/s 궤적 추적 오차를 약 55% 감소시키며, 학습 시 보지 못한 카트 적재물로 인해 동역학이 변화하는 경우에도 가장 높은 정확도를 유지합니다. 지형당 5분의 실제 데이터만으로도 OptCar는 30분의 도로 데이터로 학습된 특화 모델과 도로 환경에서 대등한 성능을 보이며, 지형이 바뀔 때는 이를 능가합니다.

arXiv:2609.32393v2math.OC공통 태그 Image Super-Resolution, Image Restoration

어닐링된 노이즈 레벨을 갖는 수렴형 Plug-and-Play 영상 복원

Convergent Plug-and-Play Image Restoration with Annealed Noise Levels

플러그 앤 플레이(Plug-and-Play, PnP) 방법은 반복 최적화(optimization) 알고리즘에 딥러닝 기반 디노이저를 통합하여 영상 역문제(inverse problem)를 해결합니다. 실제 구현에서는 반복에 따라 디노이저 노이즈 레벨 $σ$를 점차 감소시키는 경우가 많지만, 기존의 대부분의 수렴 분석은 고정된 디노이저를 가정합니다. 본 연구에서는 결정론적 방법(RED--GD 및 PnP--PGD)과 확률론적 방법(SNORE, 동변 RED, 그리고 PnP--Flow의 변형)을 아우르는, 어닐링된 노이즈 레벨을 갖는 광범위한 플러그 앤 플레이 알고리즘 계열에 대한 수렴 보장을 확립합니다. 각 방법에 대해 최종 디노이징 레벨과 연관된 명시적인 비볼록(nonconvex) 목적 함수를 식별하고, 해당 목적 함수에 대한 반복점들의 점근적 정상성(asymptotic stationarity)을 증명합니다. 우리의 분석은 노이즈 스케줄에 특정한 감쇠율을 강제하지 않으며, 학습된 그래디언트 단계 디노이저와 정확한 MMSE 디노이저를 모두 포함하는 가정을 채택합니다. 전반적으로, 본 연구의 이론적 결과는 기존 PnP 수렴 이론과 최신 영상 복원 기법에서 사용되는 감쇠 디노이징 실무 사이의 간극을 메웁니다. 우리는 이러한 스케줄의 이점을 실험적으로 입증하고, 인페인팅(inpainting), 초해상도(super-resolution), 디모자이킹(demosaicing), 단층촬영(tomography)을 포함한 여러 영상 역문제에서 예측된 수렴 거동을 보여줍니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.