임의 해상도 멀티모달 이미지를 위한 가우시안 프리미티브 융합
Gaussian Primitive Fusion for Any-Resolution Multimodal Images
한국어 초록
멀티모달 이미지 융합은 서로 다른 모달리티의 상보적인 관측을 통합된 표현으로 결합한다. 기존 방법은 대체로 공통 이산 격자 위에서 모달리티별 기여도를 추정한다. 원천 모달리티의 고유 해상도가 서로 다를 때 이러한 격자를 구성하려면 일반적으로 리샘플링이 필요하며, 이는 아티팩트를 유발하고 이후의 융합 판단에 영향을 줄 수 있다. 이 문제를 해결하기 위해 본 연구는 이질적 해상도 융합을 공유된 연속 가우시안 공간에서 재정식화하는 가우시안 프리미티브 융합(GPF)을 제안한다. GPF는 원천 이미지를 먼저 공통 해상도로 변환하는 대신, 공유된 가우시안 기하와 모달리티별 콘텐츠 표현으로 고유 해상도 관측을 직접 피팅하고, 그 결과로 얻은 연속 표현 안에서 모달리티별 기여도를 학습한다. 최적화가 끝나면 원천을 리샘플링하지 않고 가장 높은 고유 해상도로 융합 표현을 렌더링한다. 이질적 해상도의 입력에서 GPF는 리샘플링 후 융합하는 파이프라인보다 흐림과 블록 아티팩트가 적고, 더 선명한 대상 윤곽과 더 세밀한 질감을 생성한다. 정량적으로, 보간 또는 초해상도 전단부를 갖춘 최신 융합 방법과 비교하여 여러 적외선-가시광선 벤치마크에서 최고의 결과를 달성한다.
원문 초록
Multimodal image fusion integrates complementary observations from different modalities into a unified representation. Existing methods typically estimate modality contributions on a common discrete grid. When source modalities have different native resolutions, constructing such a grid generally involves resampling, which may introduce artifacts and affect subsequent fusion decisions. To address this problem, we propose Gaussian Primitive Fusion (GPF), which reformulates heterogeneous-resolution fusion in a shared continuous Gaussian space. Instead of first converting source images to a common resolution, GPF directly fits their native-resolution observations with shared Gaussian geometry and modality-specific content representations, and learns modality contributions within the resulting continuous representation. Once optimized, the fused representation is rendered at the finest native resolution without resampling the sources. With heterogeneous-resolution inputs, GPF produces clearer target contours and finer textures, with less blurring and blocking artifacts than resample-then-fuse pipelines. Quantitatively, it achieves the best results on multiple infrared-visible benchmarks against state-of-the-art fusion methods equipped with interpolation or super-resolution frontends.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.24164v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.