HyVIC: 변분 오토인코더 기반 메트릭 주도 공간-분광 하이퍼스펙트럴 영상 압축 아키텍처
HyVIC: A Metric-Driven Spatio-Spectral Hyperspectral Image Compression Architecture Based on Variational Autoencoders
한국어 초록
원격탐사(RS)에서 하이퍼스펙트럴 데이터 아카이브가 급격히 증가함에 따라 저장 및 전송을 위한 효과적인 압축 방법이 필요해지고 있다. 학습 기반 하이퍼스펙트럴 영상(HSI) 압축 분야의 최근 발전은 복원 충실도와 압축 효율성을 모두 크게 향상시켰다. 그러나 기존 방법들은 일반적으로 자연 영상을 위해 설계된 변분 영상 압축 모델을 그대로 적용할 뿐, HSI에 내재된 독특한 공간-분광 중복성을 충분히 고려하지 않는다. 특히, 이들은 공간적 특징과 분광적 특징 학습의 균형을 맞추기 위한 명시적인 아키텍처 설계가 부족하여, RS에서 하이퍼스펙트럴 데이터의 고유한 특성을 효과적으로 활용하는 능력이 제한된다. 이 문제를 해결하기 위해, 본 논문에서는 RS 분야에서 최초로 공간-분광 특징 학습이 변분 HSI 압축의 율-왜곡(RD) 성능에 미치는 영향을 연구한다. 이를 위해, 변분 HSI 압축 내에서 구성 가능한(configurable) 공간 및 분광 특징 학습 블록을 사용할 것을 제안한다. 이를 달성하기 위해, HSI 압축을 위한 구성 가능한 변분 오토인코더(VAE)인 공간-분광 변분 하이퍼스펙트럴 영상 압축 아키텍처(HyVIC)를 소개한다. 두 개의 벤치마크 데이터셋에 대한 광범위한 실험을 통해 공간적 특징 학습과 분광적 특징 학습 간의 트레이드오프가 복원 충실도에 결정적임을 입증한다. 이에 착안하여, 제안된 모델의 하이퍼파라미터를 체계적으로 선택하기 위한 메트릭 주도 전략도 제시한다. 구체적으로, HyVIC는 다양한 압축률(CR) 범위에서 높은 공간 및 분광 복원 충실도를 달성하며, BD-PSNR 기준으로 최대 4.66dB까지 최신 기술(state of the art)을 개선한다. 코드와 사전학습된 모델 가중치는 https://git.tu-berlin.de/rsim/hyvic 에서 공개되어 있다.
원문 초록
The rapid growth of hyperspectral data archives in remote sensing (RS) necessitates effective compression methods for storage and transmission. Recent advances in learning-based hyperspectral image (HSI) compression have significantly enhanced both reconstruction fidelity and compression efficiency. However, existing methods typically adapt variational image compression models designed for natural images, without adequately accounting for the distinct spatio-spectral redundancies inherent in HSIs. In particular, they lack explicit architectural designs to balance spatial and spectral feature learning, limiting their ability to effectively leverage the unique characteristics of hyperspectral data in RS. To address this issue, in this paper, we aim to study the effects of spatio-spectral feature learning on the rate-distortion (RD) performance of variational HSI compression as a first time in RS. To this end, we propose to use configurable spatial and spectral feature learning blocks within variational HSI compression. To achieve this, we introduce spatio-spectral variational hyperspectral image compression architecture (HyVIC), a configurable variational autoencoder (VAE) for HSI compression. Extensive experiments on two benchmark datasets demonstrate that the trade-off between spatial and spectral feature learning is crucial for the reconstruction fidelity. Motivated by this, we also present a metric-driven strategy to systematically select the hyperparameters of the proposed model. In detail, HyVIC achieves high spatial and spectral reconstruction fidelity across a wide range of compression ratios (CRs) and improves the state of the art by up to 4.66dB in terms of BD-PSNR. Our code and pre-trained model weights are publicly available at https://git.tu-berlin.de/rsim/hyvic .
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.26468v4
- arXiv:2603.26468v3제출 시각 미확인
- arXiv:2603.26468v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Tree-VQ: 사전학습된 벡터 양자화기 기반 점진적 이미지 압축
Tree-VQ: Progressive Image Compression from Pretrained Vector Quantizers
점진적 이미지 압축(progressive image compression)은 수신된 접두 문맥(prefix)을 원본 소스의 재인코딩 없이 디코딩할 수 있는 단일 임베디드 표현을 필요로 한다. 최신 벡터 양자화(vector-quantized, VQ) 이미지 모델은 강력한 이산 종단점 표현을 제공하지만, 기존의 평면적인 코드워드 인덱스는 신경망 디코더에 의미 있는 중간 상태를 정의하지 못한다. 우리는 Tree-VQ를 제안한다. 이는 사전학습된 평면 VQ 토크나이저를, 인코더 할당과 학습된 모든 리프 벡터를 보존하면서, 세밀하고 임의 접두 문맥(arbitrary-prefix) 기반의 점진적 표현으로 사후 변환(post-hoc conversion)하는 방법이다. 핵심 아이디어는 원본 코드북을 균형 이진 계층 구조로 조직화하고, 내부 노드에 명시적 표현을 연결하며, 분기 결정을 깊이 우선(depth-major) 순서로 전송하는 것이다. 그 결과 이미지 헤더가 확보된 이후에는 모든 페이로드 접두 문맥이 유효한 잠재 상태를 고유하게 지정하게 된다. 즉, 추가되는 분기 비트 하나마다 정확히 하나의 토큰(token)이 정제되며, 따라서 전송은 소수의 단계 경계에서만이 아니라 사실상 임의의 페이로드 위치에서도 절단될 수 있다. 더 나아가 우리는 이러한 임의 절단에서 나타나는 전체 깊이 및 혼합 깊이 잠재 상태에 대해 하나의 공유 디코더를 적응시킴으로써, 이렇게 촘촘하게 배치된 접두 문맥들이 단순히 구문적으로 디코딩 가능할 뿐 아니라 재구성에도 실질적으로 유용하도록 만든다. Kodak 데이터셋에서 Tree-VQ는 ProGIC 대비 DISTS 기반 BD-rate 52.1% 절감을 달성하는 동시에, 단일 임베디드 비트스트림으로부터 수천 개의 유효한 임의 접두 문맥 동작점(operating point)을 제공한다.
확산 기반 생성 압축의 발전
Advances in Diffusion-Based Generative Compression
강력한 이미지 생성 성능으로 널리 알려진 확산(diffusion) 및 관련 생성 모델링 방법은 시각 미디어 응용에서 폭넓게 성공을 거두었다. 특히 확산 방법은 극히 낮은 비트율(bit-rate)에서도 사실적인 복원을 생성할 수 있는 새로운 데이터 압축 접근을 가능하게 했다. 본 글은 이미지 압축에 초점을 맞추어 생성적 손실 압축(generative lossy compression)을 위한 최근 확산 기반 방법들에 대한 통합적 리뷰를 제공한다. 이러한 방법들은 일반적으로 원본을 임베딩으로 인코딩하고, 디코딩 과정에서 확산 모델을 사용해 이를 반복적으로 정제(refine)하여 복원이 실제 데이터 분포를 근사적으로 따르도록 한다. 임베딩은 다양한 형태를 취할 수 있으며, 일반적으로 보조 엔트로피 모델(entropy model)을 통해 전송되고, 최근 연구는 채널 시뮬레이션(channel simulation)을 통한 정보 전송에 확산 모델 자체를 활용하는 방향도 탐구한다. 본 글은 rate-distortion-perception 이론의 관점에서 대표적 접근법을 검토하고, 공통 난수(common randomness)의 역할과 역문제(inverse problem)와의 연관을 강조하며, 남은 과제를 식별한다.
각도-분광 다양성 변환을 통한 소형 저비용 초분광 영상 기법
Compact Low-Cost Hyperspectral Imaging via Angular-to-Spectral Diversity Conversion
스냅샷 초분광 영상(snapshot hyperspectral imaging)은 순차적 스캐닝을 피할 수 있지만, 안정적인 복원, 저비용, 소형 광학계를 동시에 달성하는 시스템은 여전히 제한적입니다. 본 논문에서는 각도-분광 다양성 변환(angular-to-spectral diversity conversion)에 기반한 스냅샷 초분광 영상 시스템을 제시합니다. 테이퍼형 만화경(tapered kaleidoscope)은 서로 다른 입사 방향을 가진 복제된 뷰를 생성하며, 직접 부착된 복굴절 필터(birefringent filter)가 이를 뷰 채널에 의존적인 분광 투과율로 변환하여 상호보완적인 측정값을 제공함으로써 역문제(inverse problem)의 조건을 개선하고 더욱 안정적인 단일 샷 분광 복원을 가능하게 합니다. 이 시스템은 빠른 비학습 기반 복원을 위해 단순한 픽셀 단위 선형 모델(pixel-wise linear model)을 유지하며, 릴레이 광학계나 직렬 모듈 없이 상용(off-the-shelf) 부품만을 사용합니다. 저자들은 조건수(condition number) 기반 기준을 활용하여 복굴절 필터 구성을 선택하고, 합성 데이터 및 실제 데이터 모두에서 시스템을 검증합니다.
행렬 저랭크 근사를 통한 텐서 근사를 위한 구조적 손실 지표
Structural Loss Metrics for Tensor Approximation via Matrix Low-Rank Approximation
SVD를 통한 행렬화 저랭크 근사는 텐서 분해의 표준 대리(surrogate)이지만, 항별 재구성 오류는 다방향(multiway) 기하학적 열화를 포착하지 못한다. 직교 Tucker 모델 하에서, 우리는 두 가지 지표로 이 열화를 특성화한다: 랭크 절단과 노이즈 회전에 따른 기하학적 부분공간 편차를 측정하는 교차 모드 Direction Loss, 그리고 코어 텐서의 다선형(multilinear) 상호작용 왜곡을 정량화하는 Interaction Loss. 우리는 제곱 상대 재구성 오류가 직교적으로 상호작용 손실과 부분공간 밖 에너지로 분해됨을 증명하고, 플러그인 Direction Loss 추정량의 안정성을 확립하는 Wedin형 경계를 유도한다. 합성 및 초분광(hyperspectral) 데이터셋에 대한 실험은 거의 동일한 재구성 오류가 현저히 다른 구조적 손실 프로파일을 초래할 수 있음을 보여준다; 유사한 재구성 오류를 가진 초분광 패치는 Direction Loss에서 최대 4.6배의 차이를 보이며, 이는 심각한 시각적 흐림과 상관관계가 있다.
MambaRaw: 효율적인 4K RAW 이미지 복원을 위한 선택적 상태 공간 모델링
MambaRaw: Selective State Space Modeling for Efficient 4K Raw Image Reconstruction
카메라 내 JPEG 미리보기는 RAW 이미지 포맷에 널리 사용되며, 무시할 수 있는 저장 비용으로 sRGB 참조 이미지를 제공한다. 기존의 메타데이터 기반 복원 프레임워크는 RAW 이미지 복원 시 이 부가 정보를 활용할 수 있지만, 어텐션 메커니즘이 특징 맵에 대해 이차적으로 확장되기 때문에 특히 4K RAW 이미지와 같은 고해상도에서는 컨텍스트 모델의 연산 비용이 매우 커져 실용적인 적용이 어렵다. 이러한 한계를 해결하기 위해, 우리는 상태 공간 모델(SSM)을 활용하여 엔트로피 파라미터를 효율적으로 추정하는 JPEG 조건부 메타데이터 기반 RAW 이미지 복원 프레임워크인 MambaRaw를 제안한다. 핵심 기여는 두 가지 경량 모듈로 구성된 공간-에너지 결합 컨텍스트 모델링 메커니즘이다: (1) 효율성을 높이기 위해 정보 밀도가 높은 타일에 대해서만 Mamba 방식의 선택적 스캐닝을 수행하는 TileMambaBlock, (2) RAW 신호의 롱테일 에너지 분포에 맞게 특징 표현을 향상시키는 항등 초기화 잔차 모듈인 에너지 인식 정제(EAR). 세 가지 카메라 데이터셋(Sony, Olympus, Samsung)에 대한 광범위한 실험 결과, 강력한 메타데이터 기반 기준 모델 대비 일관된 성능 향상과 함께 JPEG 가이드 RAW 복원에서 우수한 효율성으로 새로운 최첨단 성능을 달성하였다. 특히 낮은 메타데이터 비트레이트 환경에서 MambaRaw는 PSNR을 1.2–1.4 dB 향상시키고 엔드투엔드 코딩 지연 시간을 약 9% 단축한다. 코드는 https://github.com/Peizeli1/MambaRaw 에서 공개되어 있다.
운용 비트율-왜곡-인지 최적화를 위한 이중 제약 디퓨전 이미지 압축
Dual-Constrained Diffusion Image Compression for Operational Rate-Distortion-Perception Optimization
비트율-왜곡-인지(RDP) 트레이드오프는 복원 결과에 분포 제약(distributional constraint)을 적용하여 고전적인 비트율-왜곡 이론을 확장함으로써, 충실도와 지각적 사실감을 동시에 제어하는 신경망 기반 이미지 압축을 위한 통합 프레임워크를 제공합니다. 기존 연구는 거의 최적의 비트율-인지 트레이드오프를 달성했으나, 전체 RDP 곡면을 명시적으로 실현하는 실용적 프레임워크는 여전히 드물며, 이는 주로 디코더에서 공통 난수(common randomness)를 도입하는 데 따른 어려움 때문입니다. 본 연구에서는 왜곡 및 멱등성(idempotence) 제약에 의해 제어되는 디퓨전 기반 디코더와 학습 가능한 코덱을 통합한 DCIC(Dual-Constrained Diffusion Image Compression)를 제안합니다. 왜곡 제약은 기본 코덱 출력에 대한 복원 충실도를 제한하며, 멱등성 제약—복원된 이미지를 재인코딩했을 때 기본 코덱의 복원 결과를 복구해야 한다는 조건—은 분포적 인지 요구사항에 대한 처리 가능한 대리 수단 역할을 합니다. 이 두 제약은 일관된 노이즈 주입을 통한 반복적 최적화로 역 노이즈 제거 과정을 유도하여, 추가 비트율 오버헤드 없이 공통 난수를 실현합니다. 고정 비트율에서 이중 감쇠 계수 $(K_D, K_P)$는 왜곡-인지 평면의 파레토 프론티어(Pareto frontier)를 공동 탐색하여, 단일 비트스트림으로부터 연속적으로 조절 가능한 충실도-사실감 트레이드오프를 가능하게 합니다. DCIC$_{RD}$ ($K_P{=}0$)와 DCIC$_{RP}$ ($K_D{=}0$)는 경계 곡선으로 나타나며, DCIC$_{RDP}$ ($K_D = K_P=1$)는 최적의 내부 운용 지점을 실현합니다. CNN, Transformer, 하이브리드 아키텍처에 걸쳐 CelebA-HQ, CLIC2020, ImageNet-1K 데이터셋에서 수행된 실험을 통해, DCIC$_{RDP}$는 모든 지각 코덱 대비 우수한 BD-PSNR을 달성함과 동시에 DCIC$_{RP}$는 BD-FID 지표에서 인지 지향 전용 방법과 대등한 성능을 보여, 전체 RDP 곡면 탐색의 실용적 가치를 검증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.