PyTorchKR Papers

최신 논문

총 5편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.19886v1cs.CV

MTVDiff: 향상된 열화상-가시광 얼굴 변환을 위한 다중모달 조건부 잠재 확산

MTVDiff: Multimodal Conditional Latent Diffusion for Enhanced Thermal-to-Visible Face Translation

열화상-가시광 얼굴 변환은 기하학적 불연속성, 의미적 속성 불일치, 신원 저하를 포함한 근본적인 과제를 제기한다. 우리는 이러한 한계를 해결하면서 신원 특성을 보존하기 위해 깊이(depth)와 텍스트 정보를 시너지적으로 통합하는 새로운 다중모달 잠재 확산 프레임워크인 MTVDiff를 제안한다. MTVDiff 프레임워크는 세 가지 핵심 기술적 기여를 제시한다: (1) 다중 스케일 열화상-깊이 특징 추출 및 융합을 위한 Dual-Branch Cross-Attention Fusion(DBCAF) 모듈, (2) 의미론적으로 유도된 생성을 위한 Gated Text-to-Visual Feature Alignment 메커니즘, (3) 적응적 다중모달 사전(prior) 통합을 위한 Spatial Feature Transformations(SFT). MCXFace 및 SpeakingFaces 데이터셋에 대한 광범위한 실험은, 우리의 다중모달 접근법이 여러 지표에서 기존 생성적 적대 신경망(GAN) 기반 및 확산 기반 접근법을 크게 능가하며, 이미지 품질과 얼굴 검증 성능 모두에서 상당한 개선을 달성함을 보여준다. FID는 최대 48.3% 감소하고 Rank-1 정확도는 최대 8.9% 향상되었다. 우리의 연구는 다양한 조명 조건에서 작동하는 얼굴 인식 시스템을 위한 견고한 해결책을 제공하며, 효과적인 다중모달 통합을 통해 교차 스펙트럼 얼굴 이미지 변환의 최신 기술(state-of-the-art)을 발전시킨다.

arXiv:2607.09205v1eess.IV

태양광 PV 패널 결함 분류를 위한 조인트-임베딩 예측 아키텍처

Joint-Embedding Predictive Architecture for Solar PV Panel Fault Classification

태양광 발전(PV) 시스템의 급속한 확장으로 인해 신뢰할 수 있고 확장 가능한 결함 분류의 필요성이 증가하고 있으며, 대규모 수동 점검은 현실적으로 어렵다. 열적외선(IR) 영상은 PV 결함을 식별하기 위한 비접촉 솔루션을 제공하지만, 클래스 불균형, 제한된 텍스처 정보, 미묘한 열 차이로 인해 정확한 분류는 여전히 어려운 과제로 남아 있다. 본 연구에서는 열적외선 PV 결함 분류에 대한 조인트-임베딩 예측 아키텍처(JEPA)의 적용 가능성을 다양한 시나리오에서 조사하고, JEPA 기반 자기지도(self-supervised) 표현 학습과 EfficientNetV2-S 기반 지도(supervised) 합성곱 특징 추출을 결합한 다중 브랜치 아키텍처인 JEFFNet(JEPA-EFFicientNet)을 제안한다. JEFFNet은 JEPA 사전학습된 Vision 트랜스포머의 의미론적 표현과 EfficientNetV2-S의 합성곱 특징을 융합하여 상호 보완적인 특징 학습을 가능하게 한다. JEFFNet은 두 개의 공개 열적외선 데이터셋인 PVF-10과 InfraredSolarModules(ISM)에서 다중 클래스 및 파생 이진(정상/결함) 분류 모두에 대해 평가된다. PVF-10에서 JEFFNet은 10-클래스 과제에서 F1-score 93.21, 정확도 94.33을 달성하였고, 파생 2-클래스 과제에서는 F1-score 97.53, 정확도 96.41을 달성하였다. ISM에서 JEFFNet은 12-클래스 과제에서 F1-score 72.60, 정확도 83.88을 달성하였고, 파생 2-클래스 과제에서는 F1-score 94.69, 정확도 94.78을 달성하였다. 또한 JEFFNet은 GEPFNet의 205.91M에 비해 108.6M의 매개변수만을 사용하여 47.2%의 매개변수 절감을 이룬다. 이러한 결과는 자기지도 의미론적 특징과 지도 합성곱 특징의 결합이 열적외선 PV 결함 분류를 위한 효과적이고 매개변수 효율적인 솔루션을 제공함을 보여준다. 소스 코드는 https://github.com/Azimi2kht/JEFFNet 에서 공개적으로 제공된다.

arXiv:2607.07962v1cs.CV

열화상 이미징을 넘어서: 시간 분해 열 관측으로부터 열물리적 특성 추론

Beyond Thermal Imaging: Inferring Thermophysical Properties from Time-Resolved Thermal Observations

열화상 관측으로부터 기하학과 열물리적 특성을 동시에 추론하는 새로운 프레임워크 ThermoField를 제안하며, 온도 분포를 시각적 속성이 아닌 열전달 물리 과정의 측정값으로 해석하여 공간적으로 변화하는 신경 필드(neural field)로 표현한다. 미분 가능한 열전달 시뮬레이터와 신경 장면 표현을 결합함으로써, 복잡한 3D 장면에서 열 확산도(thermal diffusivity) 추정과 미관측 환경 조건에서의 열 진화 예측을 가능하게 한다.

arXiv:2606.27128v1cs.CV

FlameVQA: 방사형 열 감독을 활용한 물리적 정합 UAV 산불 VQA 벤치마크

FlameVQA: A Physically-Grounded UAV Wildfire VQA Benchmark with Radiometric Thermal Supervision

FlameVQA는 FLAME 3의 UAV RGB와 방사형 열화상 TIFF를 결합한 다지선다형 VQA 벤치마크로, 검출·위치 추정·범위 추정·교차 모달 추론·비행 계획 등 6가지 산불 운용 역량을 이미지당 34문항으로 평가한다. MLLM 베이스라인에서는 교차 모달 단서가 분명할 때 성능이 높았으나, 짙은 연기 속 존재 검출과 커버리지 추정에서 실패가 뚜렷해 현행 MLLM은 재난·산불 모니터링을 위한 도메인 특화 적응이 필요함을 보여준다.

arXiv:2606.11326v1cs.CV

DarkVGGT: 주간 성능 저하 없이 열적 기하학을 활용한 어둠 속 시각화

DarkVGGT: Seeing Through Darkness Using Thermal Geometry without Daylight Tax

최근 피드포워드 3D 재구성 방법들은 이미지 스트림으로부터 효율적인 엔드-투-엔드 장면 기하학 추정에서 강력한 성능과 유연성을 보여주었습니다. 그러나 가시광 외관에 대한 의존성으로 인해, RGB 단서가 심각하게 저하되고 기하학적 증거가 모호해지는 어둡고 가시성이 낮은 환경에서는 취약합니다. 이 문제를 해결하기 위해, 저조도 장면에서 견고한 3D 추정을 위해 물리 인식 열 모델링을 사용하는 RGB-T 피드포워드 기하학 프레임워크인 DarkVGGT를 제안합니다. DarkVGGT는 두 가지 상호 보완적인 모듈을 도입합니다. 첫째, 물리학에서 영감을 받은 열 인자화는 기하학적 모호성을 야기할 수 있는 희소한 반사 잔차를 분리하면서, 방사성이 지배적이고 기하학적으로 일관된 열 단서를 추출합니다. 둘째, 기하학 공유 열 라우팅은 열 특정 패턴으로부터 모달리티 불변 기하학적 구조를 분리하여, RGB 스트림에 신뢰도 인식 구조적 가이던스를 선택적으로 주입합니다. 이러한 구성 요소들은 밝은 환경에서의 성능을 대부분 보존하면서, RGB 조건이 저하된 상황에서 정확한 열 정보 기반 기하학 추정을 가능하게 합니다. 가시성이 낮은 RGB-T 벤치마크에 대한 실험 결과, 기존 피드포워드 기하학 베이스라인 대비 깊이 및 카메라 포즈 추정 모두에서 일관된 개선이 있음을 입증했습니다.