PyTorchKR Papers

최신 논문

총 10편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22380v3cs.CV

IR275K: 효율적 원격 탐사를 위한 적외선 다중 프레임 초해상도 벤치마크

IR275K: A Benchmark for Infrared Multi-Frame Super-Resolution Toward Efficient Remote Sensing

Infrared multi-frame super-resolution (MFSR) exploits complementary observations to recover spatial detail, but its evaluation remains fragmented across datasets and protocols. A common benchmark is needed to evaluate reconstruction under weak texture, varying thermal contrast, and noise in the source imagery. It should also characterize reconstruction performance across different inter-frame displacement ranges. We introduce IR275K, a curated benchmark containing 594 in- frared video sequences and 275,196 frames. It provides sequence- level train/validation/test splits and a reproducible x4 evaluation protocol. Evaluation spans single-frame and multi-frame recon- struction using seven learned baselines, the CGMamba reference model, and bicubic interpolation. All learned methods are evalu- ated under both bicubic degradation and synthetic mixed sensor noise.EDVRleadstheoverallrankingunderbicubicdegradation, whereas MSDTGP leads under mixed sensor noise. DBSR leads thehigh-displacementUAVsubsetunderbothsettings.Controlled ablations using CGMamba show that real neighboring frames improve PSNR over center-frame repetition by 1.04 dB under bicubic degradation and 0.95 dB under mixed sensor noise. Center-frame conditioning also improves reconstruction under both settings. The benchmark thus reveals how reconstruction rankings and the benefits of neighboring frames depend on evaluation conditions. The complete IR275K dataset is publicly available at: https://github.com/InfraRecon7/IR275K.

arXiv:2609.27317v1cs.CV

날씨-콘텐츠 결합 해소: 올인원 적외선 복원을 위한 유형-심각도 가이드 점진적 분리

Breaking Weather-Content Coupling: Type-Severity Guided Progressive Disentanglement for All-in-One Infrared Restoration

적외선(IR) 영상은 자율주행, 원격 탐사 및 기타 지각(perception) 과제에 필수적이다. 그러나 악천후는 실제 열 구조와 얽힌 가짜 구조적 응답을 유발할 수 있다. 기존 IR 복원 방법은 대개 단일 열화(degradation) 유형용으로 설계되거나, 열화가 얽힌 표현에서 직접 재구성한다. 그 결과 내재적 열 구조와 날씨로 인한 가짜 응답을 구분하기 어렵고, 공간적으로 변하는 열화 심각도(severity)에도 대응하기 힘들어 아티팩트가 생기거나 약하지만 의미 있는 열 응답이 과도하게 억제된다. 이를 해결하기 위해, 복원 가이던스를 과제 수준의 날씨 의미론과 영역 수준의 열화 심각도로 분해하는 올인원 적외선 복원용 유형-심각도 가이드 점진적 분리 네트워크 TSGPD-IR을 제안한다. 구체적으로, Weather and Semantic Co-Guided Multi-Level Prompt Generation Module은 전역 날씨 의미론과 단계별 지역 특징을 결합해 적응형 프롬프트를 생성하고, 열화 유발 응답을 점진적으로 억제하면서 내재적 열 구조를 보존한다. 전역 날씨 의미론을 공간적 복원 제어와 보완하기 위해, Proxy-Supervised Regional Degradation Estimator는 수동 주석 없이 심각도 지도(supervision)를 도출하고 공간적으로 변하는 열화 사전(prior)을 예측한다. 이러한 단서에 따라 Multi-Source Collaborative Expert Selection Strategy는 공유 분기로 날씨 불변 열 구조를 보존하고, 계층적 라우팅으로 날씨별 전문가 풀과 심각도에 맞는 지역 전문가를 선택한다. 이 설계는 열화 간섭을 진짜 열 콘텐츠와 점진적으로 분리하고 영역 적응형 복원을 가능하게 하여 잔여 아티팩트와 과억제를 모두 줄인다.

arXiv:2607.24727v1cs.CV

소아 골격 트리아지를 위한 인공지능 기반 적외선 영상: 서술적 리뷰와 향후 전망

Infrared Imaging Empowered by Artificial Intelligence for Pediatric Skeletal Triage: A Narrative Review and Future Perspectives

배경. 소아 근골격계 외상은 소아 응급실(ED) 방문의 최대 18%를 차지하지만, 진단은 여전히 전리 방사선 촬영에 의존한다. 생애 초기의 누적 저선량 방사선은 평생 백혈병 및 뇌 악성종양 위험을 높여, 무전리 트리아지 대안의 필요성을 촉발한다. 목적. 비전리 데이터로부터 임상적으로 해석 가능한 합성 방사선 사진 재구성을 생성하기 위해 광대역 적외선(IR) 영상과 딥러닝 교차 모달 변환을 결합한 하이브리드 프레임워크에 대한 근거를 종합한다. 접근. 650 nm부터 1 mm까지 5개의 IR 스펙트럼 대역(NIR-I, NIR-II, SWIR, MIR/LWIR, THz)과 이중 기하학(transmission/reflection) 촬영이 파장별 조직 깊이 및 생화학적 민감도를 어떻게 활용하는지를 검토한다. IR 데이터를 방사선 사진 등가 재구성으로 정렬·융합하는 데 사용되는 이미지-투-이미지 변환 네트워크(Pix2Pix, CycleGAN, Swin-Unet) 및 특징 매칭 알고리즘(SuperPoint, SuperGlue, ALIKED, LightGlue)을 요약한다. 함의. 소아 해부학적 특성(더 작은 단면, 더 얇은 피질골)은 IR 투과에 유리하여, 소형·휴대용·무전리 트리아지 하드웨어를 가능하게 한다. 타당성은 fNIRS 및 경두개 광생물조절(transcranial photobiomodulation) 근거에 기반한다: 근적외선이 피부, 두개골, 피질을 통과하여 혈역학적 모니터링에 충분한 신호를 제공한다—소아 전완부 또는 원위부 다리를 통과하는 경로보다 더 길고 감쇠가 큰 경로이다. 주요 장벽: IR/X-ray 페어 데이터셋 구축, 의료기기로서의 AI 규제 경로, 체형 및 피부 색소침착에 걸친 일반화, 촬영 프로토콜 표준화. 결론. 통합 다중 스펙트럼 IR+AI 영상은 소아 골격 방사선 촬영에 대한 유망한 무전리 보완 수단이다. 진전을 위해서는 다기관 페어 데이터셋, 외부 검증된 모델, IEC 60825-1에 따른 IR 광원 안전성 인증이 필요하다.

arXiv:2607.24110v1cs.CV

BeyondFusion: 보정 불필요 적외선 초해상도 및 적외선-가시광 융합을 위한 자기 정렬 잠재 확산

BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion

모바일 적외선-가시광 영상은 일반적으로 상호 보완적 인식을 위해 소형 적외선 센서와 고해상도 가시광 카메라를 함께 사용한다. 서로 다른 광학계, 시점, 시야(field of view), 노출 시점으로 인한 교차 센서 misalignment는 실용적 배포를 저해한다. 본 논문에서는 보정 불필요한 가시광 유도 적외선 초해상도 및 적외선-가시광 융합 작업을 위한 통합 잠재 확산(latent diffusion) 프레임워크인 BeyondFusion을 제안한다. 제안 프레임워크는 작업별 학습과, 두 작업이 동일한 생성 과정의 두 가지 readout으로 최적화·실행되는 공동 학습(joint training)을 모두 지원한다. 명시적 registration이나 기하학적 warping에 의존하는 대신, BeyondFusion은 디노이징 U-Net에 교차 모달 자기 정렬(cross-modal self-aligning, CMSA) 모듈을 도입한다. CMSA는 디노이징 과정 동안 콘텐츠 적응형 교차 모달 대응 관계를 학습하기 위해 적외선 및 가시광 잠재 토큰을 공유 어텐션 공간으로 재구성한다. misalignment augmentation 모듈과 함께, 모델은 열 일관성을 유지하면서 가시광의 구조적·의미적 단서를 활용하도록 돕고, 보정되지 않은(uncalibrated) 조건에서 고주파 적외선 재구성과 정보가 풍부한 융합 영상 생성을 가능하게 한다. 공개 벤치마크와 모바일 적외선-가시광 영상 시스템에 대한 광범위한 실험은 정렬된 입력, 저해상도 적외선 관측, 합성 misalignment, 비동기 센서를 갖춘 실제 모바일 촬영 등 다양한 조건에서 강력한 성능을 보여준다. Ablation 연구, 통합 학습 분석, 하류 보행자 검출은 보정 불필요 다중 모달 영상을 위한 BeyondFusion의 효과를 추가로 검증한다.

arXiv:2607.23600v1cs.CV

ConFusion: 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 위한 연속 융합 공간 학습

ConFusion: Continuous Fusion Space Learning for Fine-Grained Controllable Infrared and Visible Image Fusion

제어 가능한 적외선-가시광선 이미지 융합은 유연한 영역 인식 변조를 통해 상호 보완적인 열 및 구조 정보를 통합하여, 다양한 사용자 요구와 하류 작업에 적응하는 융합 이미지를 생성하는 것을 목표로 한다. 그러나 기존 방법들은 일반적으로 사전 정의된 이산 제어 조건에 의존하여, 세밀한 변조 요구를 지원하지 못하는 희소한 공간을 초래한다. 이를 해결하기 위해, 우리는 가우시안 조건 공간 인식 변조를 통해 연속 융합 공간을 학습하여 인스턴스 수준의 세밀한 제어 가능한 적외선 및 가시광선 이미지 융합을 가능하게 하는 새로운 프레임워크인 ConFusion을 제안한다. ConFusion은 공동 재구성 및 텍스트 유도 의미 정렬 하에서 모달리티 불변 및 모달리티 특이 표현을 분리하기 위해 이중 분기 아키텍처를 사용한다. 가우시안 조건 인스턴스 변조 변수는 Grounded SAM 기반 인스턴스 마스크와 결합되어 Mask-Guided Specific Feature Modulator를 통해 인스턴스 수준의 세밀한 변조를 유도하며, Text-Driven Invariant Feature Enhancer는 의미적 일관성을 개선하고 융합을 향상시킨다. 추론 시, 멀티모달 대규모 언어 모델은 사용자 의도를 인스턴스 수준 변조 변수로 파싱하여 이미지 융합을 유도한다. 광범위한 실험 결과, ConFusion은 세밀한 제어 가능한 이미지 융합을 지원하면서 융합 품질과 하류 작업 모두에서 여러 지표에 걸쳐 최첨단(state-of-the-art) 성능을 달성함을 보여준다. 코드는 https://github.com/HeyufeiAnto/Confusion 에서 이용할 수 있다.

arXiv:2607.21174v1cs.CV

교차 모달리티 매니폴드 불일치 분리: 가시광 확산 사전분포를 활용한 적외선 초해상도

Decoupling Cross-Modality Manifold Discrepancy: Leveraging Visible Diffusion Priors for Infrared Super-Resolution

적외선 영상 초해상도(IISR)는 낮은 공간 해상도가 부과하는 한계를 완화한다. 기존 방법들은 IISR이 영상 선명도를 향상시키면서도 전역 분포와 구조적 정보의 일관성을 유지해야 한다는 점을 인식해 왔다. 그러나 이러한 방법들은 불충분하거나 지나치게 개입적이며, 확산 기반 모델에서는 이 문제가 더욱 두드러진다. 이를 해결하기 위해 우리는 Shift-IISR이라고 명명한 IISR용 이중 경로 확산 기반 프레임워크를 제안한다. 제안 방법은 확산 모델의 생성 능력을 유지하면서 IISR 결과의 일관성을 향상하도록 설계되었다. 구체적으로, 적외선 영상에서 모달리티 특이적 정보를 추출하고 확산 모델의 전역 분포를 정답(ground truth)에 맞추도록 유도하는 전역 표현 변조(Global Representation Modulation, GRM) 모듈을 개발한다. 또한 반복적 디노이징(denoising) 과정의 각 단계에서 모델이 구조적 정보에 집중하도록 하는 국소 구조 정제(Local Structure Refinement, LSR) 모듈을 도입한다. 광범위한 실험을 통해 제안 방법이 분포 및 구조적 일관성을 효과적으로 개선하면서도 경쟁력 있는 초해상도 성능을 유지함을 보였다. 제안한 Shift-IISR의 소스 코드는 https://github.com/Assassink8/Shift-IISR 에서 확인할 수 있다.

arXiv:2607.06552v1cs.CV

MonoIR-RS: CLIP 및 VLM 적응을 통한 적외선 원격 탐사 비전-언어 학습

MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation

적외선 원격 탐사 이미지와 언어의 정렬이 미흡한 문제를 해결하기 위해, 60만 장의 합성 적외선 이미지와 59,032개의 IR 인식 캡션을 포함한 대규모 데이터셋 MonoIR-RS를 구축하고 CLIP 및 VLM 백본을 파인튜닝하였다. IR 인식 적응을 통해 CLIP 평균 재현율을 최대 12.8포인트 향상시키고 VLM 캡셔닝의 IR 단서 커버리지를 100%로 높이면서 RGB 색상 누출을 거의 제거하였다.

arXiv:2607.06485v1cs.CV

AirflowAttack: 적외선 원격 탐지 비전-언어 모델에 대한 열-기류 적대적 섭동

AirflowAttack: Thermal-Airflow Adversarial Perturbations against Infrared Remote-Sensing Vision-Language Models

적외선(IR) 원격 탐지 비전-언어 모델(VLM)의 적대적 강건성을 최초로 다룬 AirflowAttack은 열-기류 난류 패턴을 섭동 사전으로 활용하는 경량 생성기로 단일 입력-무관 적대적 섭동을 합성한다. CLIP 대리 모델 하나만으로 최적화한 이 섭동은 다섯 개 CLIP 백본에서 평균 48.5%의 제로샷 장면 분류 ASR을 달성하며 기존 IR 특화 기준선을 크게 상회하고, 일부 VLM이 섭동을 온도 기울기와 같은 실제 열 증거로 작화하는 역설적 현상도 보고한다.

arXiv:2603.16130v4cs.CV

EPOFusion: 적외선 및 가시광선 영상 융합을 위한 노출 인식 점진적 최적화 방법

EPOFusion: Exposure aware Progressive Optimization Method for Infrared and Visible Image Fusion

과노출 환경에서 가시광 센서가 포화될 때 적외선 단서를 효과적으로 활용하지 못하는 기존 융합 방법의 한계를 해결하기 위해, 공간 안내 모듈과 멀티스케일 컨텍스트 융합 모듈을 갖춘 반복적 디코딩 헤드를 결합한 노출 인식 융합 프레임워크 EPOFusion을 제안한다. MSRS, FMB, 직접 구축한 IVOE 벤치마크 실험에서 최상의 경쟁 방법 대비 평균 상호 정보(MI) 이득 28.7%를 달성하며 포화 영역에서의 구조적 세부 정보 복원 효과를 입증했다.

arXiv:2606.27655v1cs.CV

다중 프레임 적외선 소형 표적 탐지를 위한 Temporal-Emerged Prompting 기반 Segment Anything

Temporal-Emerged Prompting for Segment Anything in Multiframe Infrared Small Target Detection

낮은 신호대잡음비(SNR) 적외선 시퀀스에서 소형 표적을 정확히 위치 추정하고 분할하는 것은 여전히 어려운 과제이다. 개별 프레임에서는 표적이 배경과 구분되지 않는 경우가 많기 때문에, 고급 기반 모델(foundation model)과 강력한 프레임 간 연관 메커니즘을 갖추었더라도 기존 방법은 여전히 이를 탐지하지 못한다. 시간이 지나면서 표적이 배경에서 점진적으로 분출(emerge)되어 구분 가능해지는 경향이 있다는 관찰에 동기를 얻어, 우리는 이러한 시간적 분출(temporal-emerged) 단서를 명시적으로 활용해 SAM을 조절하고 프롬프트하는 원칙적 프레임워크인 Temporal-Emerged Prompting for Segment Anything Model(TEP-SAM)을 제안한다. TEP-SAM은 전역 운동 패턴과 국소 운동 편차를 공동으로 모델링하여 잠재적 표적의 위치를 특정하는 방식으로 동작한다. 또한 운동 불일치(motion discrepancy)를 활용해 표적 영역 특징을 더욱 강화하고, 이를 통해 SAM용 시간적 분출 단서를 생성하여 비대화형(non-interactive) 분할을 가능하게 한다. 대규모 의미적 사전학습(pre-training)과 과제 특화 시간적 모델링을 연결함으로써 TEP-SAM은 SAM을 어려운 다중 프레임 적외선 소형 표적 탐지 과제에 효과적으로 적응시킨다. 광범위한 실험은 특히 극도로 낮은 SNR 조건과 복잡한 동적 배경에서 우리 접근법의 효과를 입증한다.