PyTorchKR Papers

최신 논문

총 160편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.09583v2cs.CV

Promptable Concept Segmentation from Above: Evaluating Zero-Shot Textual and Visual Prompting of SAM 3 in Remote Sensing

Large-scale foundation models such as the Segment Anything Model 3 (SAM 3) promise a transition toward open-vocabulary, training-free computer vision. However, their capacity to generalize out-of-distribution to the top-down geometric structures of Earth Observation imagery remains largely unquantified. We present a multi-task empirical evaluation of SAM 3 across remote sensing scene classification, object detection, and instance segmentation, without any fine-tuning. For scene classification, we repurpose its decoupled binary presence head as a standalone zero-shot classifier. For detection and segmentation, we compare textual and visual prompts, where a visual prompt reveals one true instance of the target class in the image being segmented. Text alone performs poorly, while adding a visual prompt raises accuracy sharply, and combining both raises or lowers accuracy depending on the task. We also compare SAM 3's text-only performance against several general-domain, open-vocabulary detection and segmentation models under the same evaluation protocol, and find that it leads all of them on both benchmarks. Its accuracy without a visual prompt nonetheless remains limited, motivating parameter-efficient fine-tuning as a direction for future work.

arXiv:2606.17413v3cs.LG

라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색

Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows

Space-based monitoring of atmospheric carbon dioxide (CO$_2$) constrains the global carbon budget. NASA's Orbiting Carbon Observatory-2 (OCO-2) estimates column-averaged dry-air mole fractions of CO$_2$ (XCO$_2$) from high-resolution spectra, but operational retrievals are computationally expensive and impose stringent Gaussianity assumptions on the retrieved posterior. We present a deep learning framework that addresses both through amortized probabilistic inference. Lacking ground truth for real observations, we train and evaluate on a high-fidelity OCO-2 simulation ensemble with calibrated forward-model errors, comparing against the version-10 operational full-physics retrieval, without its bias correction, on the same radiances. Our architecture encodes each spectral band separately and estimates posteriors of the full CO$_2$ column, or summaries thereof, with Laplace approximations and conditional normalizing flows. Once trained, inference costs milliseconds per sounding rather than minutes. Trained on simulations that explicitly include forward-model discrepancy, our retrievals are more accurate than the operational one for XCO$_2$ on both data partitions we consider, and competitive on profiles. The flow represents asymmetric posteriors that a Gaussian cannot, a gain attributable to shape rather than scale, and its advantage in predictive density persists where its accuracy advantage does not. These results are established on a land-only ensemble against one configuration of the operational algorithm. On held-out reference soundings and two unseen months the XCO$_2$ and density advantages persist. For XCO$_2$, coverage is near nominal on February data and, though below nominal on the unseen months, remains far closer to it than the operational retrieval's.

arXiv:2609.27149v2cs.CV

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

Change Detection (CD) in remote sensing requires jointly modeling bitemporal context and fine-grained spatial details to accurately localize changed regions. While dense attention effectively captures bitemporal relationships, its computational cost limits scalability to high-resolution imagery. In contrast, conventional feature fusion and coarse decoding often struggle to distinguish true changes from appearance variations and preserve object boundaries. To overcome these limitations, we propose Bitemporal Mamba-Diffusion for Change Detection (BMD-CD), a framework that integrates temporally structured state-space modeling with logit-space diffusion refinement. BMD-CD first converts deep bitemporal features into region tokens and organizes them into explicit temporal partitions for bidirectional state-space propagation. It then employs a Learnable Trigonometric Fusion (LTF) module to integrate temporal information and a Conditional Diffusion Decoder that refines coarse predictions in logit space with a short DDIM schedule to generate fine-grained, high-resolution change maps. Extensive experiments on LEVIR-CD, WHU-CD, DSIFN-CD, CDD, and S2Looking demonstrate the effectiveness of the proposed approach. BMD-CD achieves IoU scores of 0.923, 0.957, 0.882, and 0.979 on WHU-CD, DSIFN-CD, LEVIR-CD, and CDD, respectively, and further exhibits strong zero-shot robustness on ValaisCD and B-FLAIR-test.

arXiv:2609.23427v3cs.CV

RSPDBench: 물리적으로 근거한 원격탐사 제품 열화 하에서 지구관측 과업에 대한 비전 파운데이션 모델 벤치마킹

RSPDBench: Benchmarking Vision Foundation Models on Earth Observation Tasks Under Physically Grounded Remote-Sensing Product Degradations

Vision foundation models for Earth observation (EO) are commonly evaluated on clean benchmarks, but operational EO products can already contain spatial, radiometric, alignment, noise, and harmonization defects before reaching the model. Generic image corruptions and broad domain shifts do not isolate these product-level failures. We introduce \textbf{RSPDBench}, a physically grounded \textbf{r}emote-\textbf{s}ensing-\textbf{p}roduct \textbf{d}egradation \textbf{b}enchmark that evaluates seven foundation-model entries and two supervised baselines on five EO datasets under primitive degradations and compound product chains. Its degradation parameters follow published Sentinel-2 and Landsat~8 specifications and are checked against Sentinel-2's paired $10\,\mathrm{m}$ and $20\,\mathrm{m}$ near-infrared bands. We evaluate each model under its own native protocol and measure robustness as the drop from its own clean baseline. Our analysis reveals that degradation sensitivity is strongly structured: (i) the resolution-conditioned encoder is the most robust to resolution loss yet the most sensitive to radiometric gain on satellite products, (ii) the same physical defect can hurt one model while helping another, and (iii) model rankings under resolution loss and radiometric gain are largely reversed. Compound chains add up to $38$ percentage points of drop beyond their strongest component. On m-BigEarthNet, retraining the probe on degraded views removes about 75\% of the noise and harmonization losses, but resolution loss still costs about 20\% of the clean score. EO robustness must therefore be measured against the structured defects of remote-sensing products, not by clean accuracy or generic perturbations alone. Code: https://github.com/Tanjim131/RSPDBench

arXiv:2607.22380v3cs.CV

IR275K: 효율적 원격 탐사를 위한 적외선 다중 프레임 초해상도 벤치마크

IR275K: A Benchmark for Infrared Multi-Frame Super-Resolution Toward Efficient Remote Sensing

Infrared multi-frame super-resolution (MFSR) exploits complementary observations to recover spatial detail, but its evaluation remains fragmented across datasets and protocols. A common benchmark is needed to evaluate reconstruction under weak texture, varying thermal contrast, and noise in the source imagery. It should also characterize reconstruction performance across different inter-frame displacement ranges. We introduce IR275K, a curated benchmark containing 594 in- frared video sequences and 275,196 frames. It provides sequence- level train/validation/test splits and a reproducible x4 evaluation protocol. Evaluation spans single-frame and multi-frame recon- struction using seven learned baselines, the CGMamba reference model, and bicubic interpolation. All learned methods are evalu- ated under both bicubic degradation and synthetic mixed sensor noise.EDVRleadstheoverallrankingunderbicubicdegradation, whereas MSDTGP leads under mixed sensor noise. DBSR leads thehigh-displacementUAVsubsetunderbothsettings.Controlled ablations using CGMamba show that real neighboring frames improve PSNR over center-frame repetition by 1.04 dB under bicubic degradation and 0.95 dB under mixed sensor noise. Center-frame conditioning also improves reconstruction under both settings. The benchmark thus reveals how reconstruction rankings and the benefits of neighboring frames depend on evaluation conditions. The complete IR275K dataset is publicly available at: https://github.com/InfraRecon7/IR275K.

arXiv:2610.15813v1cs.CV

ChangeT$^3$: 원격 탐사 변화 탐지를 위한 비전 테스트 시간 학습 평가

ChangeT$^3$: Evaluating Vision Test-Time Training for Remote Sensing Change Detection

양시성(bitemporal) 원격 탐사 변화 탐지에는 촬영 시점 간의 변화와 관련된 문맥 정보를 포착하면서도 공간적 세부 정보를 보존하는 표현이 필요합니다. 시각적 테스트 시간 학습(visual test-time training)은 소형 내부 모델(inner model)을 각 이미지에 적응시킴으로써 명시적인 토큰 간 어텐션(token-to-token attention)에 대한 대안을 제시합니다. 본 논문(letter)에서는 기존의 계층적 ViT$^3$-Tiny 인코더와 다중 스케일 ChangeFormer 디코더를 결합한 바닐라 샴(Siamese) 구성인 ChangeT$^3$를 설명합니다. 두 이미지 스트림은 학습된 인코더 매개변수를 공유하는 반면, 이들의 빠른 가중치(fast weights)는 각자의 공간적 특징으로부터 독립적으로 계산됩니다. 각 인코더 블록은 계승된 전역 단순화 SwiGLU 및 국소 적응형 깊이별 합성곱(depthwise-convolution) 분기를 유지합니다. 시간적 비교는 디코더를 통해 네 가지 해상도에서 쌍을 이루는 특징들의 학습된 융합을 거쳐 수행되며, 이후 조방(coarse)-정밀(fine) 집계 및 이진 예측이 이어집니다. 이러한 분리는 추가적인 시간적 상호작용 모듈을 도입하지 않고도 이미지 조건부 내부 업데이트를 검토할 수 있는 직접적인 환경을 제공합니다. ChangeFormer 대조군과 동일한 디코더, 학습 레시피 및 계산 비용(budget)으로 LEVIR-CD+에서 처음부터 학습(trained from scratch)했을 때, ChangeT$^3$는 80.61$\pm$0.90의 F1 점수를 기록하여 ChangeFormer의 78.84$\pm$0.21과 대비되는 성능을 보였습니다(각각 세 개의 시드 기준). 본 데이터셋의 표준 프로토콜에 따라 체크포인트는 테스트 분할에서 선택되었습니다. 두 내부 업데이트를 모두 비활성화한 상태로 학습한 동일 인코더는 78.63$\pm$0.20을 기록했습니다. 두 모델 모두 SYSU-CD, DSIFN-CD 또는 WHU-CD로 제로샷(zero-shot) 전이되지 않으며, ChangeT$^3$는 매개변수 및 연산 수가 유사함에도 불구하고 작은 입력 크기에서 둘 중 더 느립니다.

arXiv:2610.15742v1cs.CV

RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리

RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification

멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.

arXiv:2610.13857v1cs.CV

위성 영상을 활용한 건물 피해 평가 과제 재고

Revisiting the Task of Building Damage Assessment by Satellite Imaging

지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.

arXiv:2610.13636v1cs.CV

원격 탐사 시각적 질의응답에서 답변-그라운딩 일관성 벤치마킹

Benchmarking Answer-Grounding Consistency in Remote Sensing Visual Question Answering

그라운디드 원격 탐사 시각적 질의응답(grounded remote sensing visual question answering)에서 모델은 텍스트 답변을 생성하고 이미지 내 관련 객체를 그라운딩(grounding) 근거로 식별합니다. 기존 평가는 답변의 정확성과 위치 특정(localization) 품질을 측정하지만, 답변-그라운딩 일관성을 직접적으로 평가하지는 않습니다. 본 연구에서는 근거 지지(evidence support), 즉 그라운딩 근거가 모델 자신의 답변을 뒷받침하는지 여부를 통해 이러한 일관성을 평가하는 답변-근거 지지 프로토콜(AESP)을 제안합니다. AESP는 존재 유무, 개수 세기, 비교 질문에 대해 태스크별 규칙을 적용합니다. 나아가 질문, 참조 답변, 모든 관련 객체 수준 주석을 포함하는 15,027개 샘플로 구성된 Grounded Remote Sensing Visual Question Answering(G-RSVQA) 벤치마크를 구축합니다. 7개의 그라운디드 비전-언어(vision-language) 모델에 대한 실험 결과, 세 가지 질문 유형 모두에서 근거 지지 실패가 나타남을 확인했습니다. 근거 평가 부분집합에서 정답의 최대 50.82%는 제공된 그라운딩 근거에 의해 뒷받침되지 않았습니다.

arXiv:2610.13547v1cs.CV

MOSAIC: 원격 탐사 영상 초해상화를 위한 이미지 유도 프로토타입 조건화 기반 다중 스케일 객체 중심 슬롯 적응

MOSAIC: Multi-Scale Object-Centric Slot Adaptation with Image-Guided Prototype Conditioning for Remote Sensing Image Super-Resolution

사전학습된 확산 트랜스포머(diffusion Transformer)는 영상 복원을 위한 강력한 생성 사전 정보(generative prior)를 제공하지만, 이를 구조에 민감한 태스크에 적응시키는 것은 여전히 어렵습니다. 기존 방법들은 주로 조밀한(dense) 저해상도 특징을 조건으로 활용하는데, 이는 두드러진 객체와 지배적인 배경을 서로 얽히게 만들고 스케일 및 샘플 전반에 걸쳐 반복되는 구조에 대해 제한적인 추상화만을 제공하는 경우가 많습니다. 본 논문에서는 생성 모델 적응을 위해 간결한 구조적 조건을 학습하는 객체 중심 표현 학습 프레임워크인 MOSAIC을 제안합니다. MOSAIC은 열화된 관측 영상을 상호보완적인 객체 수준 및 레이아웃 수준의 단서를 포착하는 구조적 슬롯으로 정리하고, 이를 여러 해상도에 걸쳐 통합하며, 공유된 프로토타입 메모리에서 반복되는 사전 정보를 검색하여 불완전한 영상 고유 정보를 보완합니다. 이렇게 도출된 표현은 경량 잔차 변조(residual modulation)를 통해 고정된(frozen) 확산 트랜스포머의 선택된 레이어에 주입되어 사전학습된 생성 사전 정보를 보존합니다. 우리는 소형 객체, 반복적인 구조, 대규모 스케일 변화로 인해 도전적인 시험대가 되는 원격 탐사 영상 초해상화에 MOSAIC을 적용합니다. UCMerced, AID, RSSCN7 데이터셋에 대한 실험 결과, $\times 2$ 및 $\times 4$ 설정 전반에서 일관된 PSNR 향상을 보였으며 $\times 4$에서 우수한 LPIPS 결과를 나타냈습니다. 정성적 결과 또한 소형 객체, 구조적 경계, 반복적인 공간 패턴의 보존 성능이 향상되었음을 입증합니다.

arXiv:2610.13535v1cs.CV

위치뿐만 아니라 존재 여부도 파악하기: 열린 집합 원격 탐사 시각적 그라운딩을 위한 앵커 탐침 지식 증류

Knowing Whether, Not Just Where: Anchor-Probing Distillation for Open-Set Remote Sensing Visual Grounding

원격 탐사(remote sensing)에서의 열린 집합(open-set) 시각적 그라운딩(visual grounding)은 질의된 객체가 어디에 위치하는지뿐만 아니라, 영상이 해당 질의에 대한 충분한 근거를 전혀 제공하지 않는지 여부까지 모델이 판단하도록 요구합니다. 그러나 기존의 닫힌 집합(closed-set) 그라운딩 모델은 존재하지 않는 객체에 대해서도 그럴듯한 경계 상자(bounding box)를 반환하는 경향이 있어, 위치 추정(localization) 신뢰도와 진정한 시각적 지지(Visual Support)를 모호하게 만듭니다. 본 논문에서는 열린 집합 그라운딩을 시각적 지지 학습으로 재구성하는 교사-학생(teacher-student) 프레임워크인 AnchorProbe-Distill(APD)을 소개합니다. APD는 지지되는 질의는 일관된 공간적 앵커(spatial anchor)를 유도해야 하는 반면, 지지되지 않거나 불일치하는 질의는 불안정하거나 오해의 소지가 있는 위치 추정 패턴을 생성하는 경향이 있다는 통찰에 기반합니다. 이에 따라 APD-T는 원래 질의(Original Query)를 기준 앵커(Reference Anchor)로 사용하여 질의 섭동(query perturbation)을 해석합니다. 즉 의미 보존 질의(Semantic-Preserving Queries)는 어노테이션된 타깃을 유지하고, 인접 범주 모호 질의(Near-Category Ambiguous Queries)는 신뢰할 수 있는 대안 앵커를 형성하는지 혹은 기준 앵커로 축퇴되는지에 따라 해결되며, 원거리 범주 반사실적 질의(Far-Category Counterfactual Queries)는 거부(rejection) 감독 신호를 제공합니다. 이러한 기준 인식 추론은 APD-S로 지식 증류(distillation)되어, 단일 영상-질의 쌍으로부터 통합된 위치 추정 및 거부를 가능하게 합니다. 실험 결과, APD를 통해 도출된 모델은 부재한 타깃을 거부하는 동시에 존재하는 타깃의 위치 추정 성능도 향상시킴을 보여줍니다.

arXiv:2610.13406v1eess.IV

반건조 지역의 사막화 예측: 심층 학습을 이용한 토지 황폐화 역학의 관측 가능성 한계 탐구

Desertification Forecasting in Semi-Arid Regions: Using Deep Learning to Probe the Observability Limits of Land Degradation Dynamics

사막화 예측은 그 지도화(mapping)에 비해 훨씬 적은 관심을 받아왔다. 본 연구는 브라질의 반건조 주(州)인 세아라(Ceará)를 대상으로, 약 2.2km 해상도의 256x206 그리드 상에서 2000-2023년의 10개 연간 지구관측(EO) 변수로 학습된 합성곱 LSTM(ConvLSTM)을 사용하여, MapBiomas 기반 황폐화 지수(IDV)의 연간 변화 중 얼마나 많은 부분이 위성 데이터로부터 예측 가능한지를 측정한다. 이 네트워크는 마지막으로 관측된 상태에 더해지는 한정된(bounded) 변화를 예측하며, 두 단계(단일 스텝, 이후 재귀적 롤아웃)로 학습되고, 연속된 공간 및 시간 홀드아웃에서 평가된다. 주 전체의 평균 IDV는 2000년 0.238에서 2023년 0.350으로 상승했으며, 이는 연간 약 0.005에 해당하지만, 셀 단위 변화는 연도별 급변(jump)이 지배적이며, 모든 채널을 입력받은 그래디언트 부스팅 모델도 그 분산의 4.7%만을 설명한다. 이러한 한계(ceiling)를 기준으로, ConvLSTM은 지속성(persistence) 대비 RMSE를 1년 예측 시 1.6%, 4년 예측 시 4.4% 낮추며(보류된 남부 지역에서 p < 0.001), 일정한 추세(drift)를 갖는 지속성 모델을 능가하고 지역 추세(drift)의 53-69%를 재현한다. 추세를 고려한(drift-aware) 베이스라인은 3년차부터만 도움이 되며, 6년 시점에서 RMSE 기준 최대 4.4% 개선된다. 매년 전체 필드를 새로 그리는 이전 방식은 관측된 변화와 무관한 변화를 예측했으며(상관계수 -0.06), 재귀적으로 실행할 경우 허구적인(spurious) 감소를 만들어냈다. 채널 제거(knockout) 실험에 따르면 고도(elevation)와 EVI는 예측을 저하시키는 반면, 경사(slope)와 방위(aspect)는 측정 가능한 영향이 없었다. 몬테카를로 드롭아웃과 확률적 시나리오 지도는 기대값 예측이 감추고 있는 불확실성을 전달한다. 기후학적 강제력(climatological forcing) 하에서, 평균 IDV는 2023년 0.350에서 2030년 0.370으로 상승한다. 따라서 EO 기반 사막화 예측은 지역적 추세에 대해서는 신뢰할 수 있지만, 개별 셀에 대해서는 신뢰할 수 없다.

arXiv:2609.28283v2cs.CV

초분광 언믹싱을 위한 초분광 파운데이션 모델 벤치마킹

Benchmarking Hyperspectral Foundation Models for Hyperspectral Unmixing

최근 초분광 영상(hyperspectral images) 전용의 여러 파운데이션 모델(foundation model)이 공개되었습니다. 이러한 모델들은 대규모 레이블 미지정 데이터셋으로 학습(training)되어 분류(classification)나 노이즈 제거(denoising)와 같은 다양한 초분광 이미징 태스크에서 강력한 성능을 보입니다. 그럼에도 불구하고 초분광 영상에서 겹쳐진 물질의 혼합 스펙트럼을 분리하는 태스크인 초분광 언믹싱(hyperspectral unmixing)에 대한 파운데이션 모델의 성능은 여전히 충분히 연구되지 않았습니다. 이는 대부분의 모델이 패치 분할(patchification)을 포함하는 비전 트랜스포머(vision transformer) 백본에 의존하여 특징(feature) 해상도 문제를 야기한다는 점에 부분적으로 기인할 수 있습니다. 초분광 언믹싱 자체가 이미 초분광 영상의 낮은 해상도로 인해 발생하는 문제인데, 이러한 패치 분할 단계는 문제를 더욱 부적절한 조건(ill-posed)으로 만들 수 있습니다. 따라서 본 연구에서는 두 가지 질문에 답하고자 합니다. 1) 파운데이션 모델은 초분광 언믹싱에서 어떤 성능을 보이는가? 2) 특징 수준의 해상도 손실(loss)을 어떻게 해결할 것인가? 첫 번째 질문에 답하기 위해, 본 연구에서는 언믹싱을 위한 파운데이션 모델들을 벤치마킹하여 4개의 초분광 언믹싱 데이터셋에서 최고 수준의 성능(SOTA)을 달성할 수 있음을 보여줍니다. 두 번째 질문에 답하기 위해 여러 특징 업샘플링 접근 방식을 비교하고, 단순한 방식을 사용하는 것만으로도 높은 성능을 얻을 수 있음을 실증적으로 보여줍니다. 코드는 https://gitlab.telecom-paris.fr/ring/hfm-hsu.git 에서 확인할 수 있습니다.

arXiv:2603.21911v3cs.CV

불확실성을 고려한 분광 영상 에뮬레이션을 위한 변분 잠재 공간 프레임워크

A Variational Latent-Space Framework for Uncertainty-Aware Spectral Image Emulation

합성 분광 영상 생성은 원격 탐사 시뮬레이션 및 미션 설계에 필수적이지만, 물리 기반 복사 전달 모델(RTM)은 여전히 계산 비용이 많이 듭니다. 기존의 학습 기반 에뮬레이터는 이러한 비용을 줄여주지만, 대부분 공간적 모델링과 불확실성 정보가 제한적인 결정론적 매개변수(parameter)-스펙트럼 회귀 모델입니다. 본 논문에서는 분광 영상 에뮬레이션을 매개변수 조건부 잠재 변수 문제로 공식화하고, 비선형 분광 영상 표현, 빠른 추론(inference), 픽셀 단위 불확실성 추정을 결합한 변분 오토인코더(VAE) 기반 프레임워크를 제안합니다. 이 프레임워크는 2단계 VAE 사전학습(pre-training) 및 잠재 매핑을 통해 스펙트럼 및 공간-스펙트럼 수준에서 구현됩니다. 제안된 방법을 PROSAIL로 시뮬레이션한 초분광 식생 큐브(211개 밴드)와 실제 Sentinel-3 OLCI 다중분광 해색 영상(21개 밴드)을 대상으로 고전적 회귀 에뮬레이터 및 심층 CNN 기준선(baseline) 모델과 비교 평가합니다. 실험 결과 단일 아키텍처가 항상 최적인 것은 아님이 나타났습니다. 통제된 초분광 시뮬레이션에서는 픽셀 대 픽셀 모델이 가장 우수한 성능을 보인 반면, 결측치나 오염된 픽셀이 포함된 노이즈가 있는 실제 관측에서는 완전 합성곱 VAE가 더 견고했습니다. 또한 VAE 기반 에뮬레이터는 대규모 생성을 위한 높은 처리량을 달성합니다. Sentinel-3 영상에서 공간-스펙트럼 VAE는 절대적 보정(calibration)이 여전히 불완전함에도 불구하고 픽셀 단위 신경망 및 고전적 에뮬레이터보다 경험적 오차에 더 가까운 예측 구간을 제공합니다. 룩업 테이블 기반 회수 실험을 통해 재구성 충실도만으로는 신뢰할 수 있는 엽면적 지수와 엽록소 회수를 보장할 수 없음을 추가로 확인했습니다. 따라서 에뮬레이터는 재구성 지표만으로 평가되어서는 안 되며, 대표적인 원격 탐사 최종 활용 시나리오에서 평가되어야 합니다.

arXiv:2601.15829v3cs.CV

판별적 프로토타입 유도 확산을 통한 현실적인 원격 탐사 데이터셋 증류

Toward Realistic Remote Sensing Dataset Distillation with Discriminative Prototype-guided Diffusion

최근 대규모 벤치마크 데이터셋의 가용성에 힘입어 원격 탐사 영상 해석 분야에서 딥러닝(deep learning)이 주목할 만한 성공을 거두고 있습니다. 그러나 이러한 방대한 학습(training) 데이터에 대한 의존성은 상당한 저장 공간 및 연산 비용을 수반합니다. 이러한 문제를 해결하기 위해, 본 연구에서는 원격 탐사 영상 해석 분야 최초로 데이터셋 증류(dataset distillation) 개념을 도입합니다. 구체적으로, 대규모 원격 탐사 데이터셋을 간결하고 대표성 있는 증류 데이터셋으로 압축하는 확산 기반 생성 증류 프레임워크인 판별적 프로토타입 유도 확산(DPD, discriminative prototype-guided diffusion)을 제안합니다. 합성된 샘플의 의미론적 충실도와 다양성을 개선하기 위해, 잠재 공간(latent space)에서 각 범주별 대표 프로토타입을 추출합니다. 그런 다음 프로토타입 주변에 초구형 의미론적 앵커(hyperspherical semantic anchor)를 구축하여 역방향 디노이징 궤적을 유도합니다. 나아가 생성된 샘플의 판별적 품질을 향상시키기 위해, 각 프로토타입마다 여러 후보를 생성한 뒤 로짓(logit)-마진(margin) 기준을 사용하는 잠재 분류기로 순위를 매겨 가장 판별력이 높은 후보를 최종 증류 데이터셋으로 선택합니다. 세 가지 고해상도 원격 탐사 장면 분류(classification) 벤치마크에 대한 실험을 통해, 제안된 방법이 다운스트림 모델 학습을 위한 현실적이고 다양하며 판별력 있는 샘플을 증류할 수 있음을 입증합니다. 코드와 사전학습 모델은 온라인(https://github.com/YonghaoXu/DPD)에서 확인할 수 있습니다.

arXiv:2510.04916v4cs.CV

원격 탐사 이미지 분류를 위한 의미론 인식 계층적 일치성 학습

Semantics-Aware Hierarchical Consensus Learning for Remote Sensing Image Classification

심층 학습(deep learning)은 복잡한 데이터로부터 의미론적(semantic) 정보를 추출하는 능력을 바탕으로 원격 탐사 이미지 분류에서 점차 중요해지고 있습니다. 분류 작업에는 클래스 간의 의미론적 관계를 나타내는 사전 정의된 레이블 계층 구조가 포함되는 경우가 많습니다. 그러나 이러한 계층 구조는 자주 간과되며, 대부분의 접근법은 세분화된(fine-grained) 분류 체계에만 집중합니다. 본 논문에서는 심층 신경망 아키텍처 내에 계층 레벨별 분류 헤드를 통합하고 교차 레벨 확률 프로젝터를 통해 이들의 출력을 결합하는 새로운 의미론 인식 계층적 일치성(Semantics-Aware Hierarchical Consensus, SAHC) 접근 방식을 제안합니다. 직접 예측값과 투영된 예측값은 기하학적 일치성 분포로 융합되며, 이는 자기 일관적 학습(self-consistent training) 및 선택적인 계층 인식 추론(inference)에 사용됩니다. 이 메커니즘은 계층적 분류 작업의 고유한 구조를 활용하는 기하학적 앙상블 역할을 합니다. 프로젝터는 사용자 정의 분류 체계(즉, 계층적 레이블 구조)로부터 초기화되며, 최적화 과정에서 적응적으로 정제될 수 있습니다. 제안된 SAHC 방법은 다양한 분광 및 공간 해상도를 고려하여 서로 다른 작업에서 다양한 수준의 계층적 복잡성을 가진 두 개의 벤치마크 데이터셋에서 평가됩니다. 실험 결과는 신경망 학습을 유도하는 제안된 접근 방식의 효과성과 원격 탐사 이미지 분류 작업을 위한 계층적 일치성의 견고함을 모두 보여줍니다. 소스 코드는 https://github.com/rslab-unitrento/sahc 에서 확인할 수 있습니다.

arXiv:2609.31234v2cs.CV

WeaveAgent: 초고해상도 원격 탐사 영상을 위한 2단계 도구 라우팅 에이전트

WeaveAgent: A Two-Stage Tool-Routing Agent for Ultra-High-Resolution Remote Sensing Imagery

문제. 모호한 사용자 의도를 가진 초고해상도(UHR) 원격 탐사에는 두 가지 병목 현상이 있습니다. 시각적 토큰(token) 비용이 크며, 도구 호출이 형식 측면에서 신뢰할 수 있어야 한다는 점입니다(사전학습된 모델은 제로샷(zero-shot) 환경에서 도구 호출을 전혀 생성하지 못함). 방법. 2단계 도구 라우팅 에이전트(agent)인 WeaveAgent는 라우팅과 시각적 인식을 분리합니다. 1단계(Stage A)는 라우팅 우선 방식으로, 호출 생성은 유도되는 것이 아니라 학습(training)됩니다. 2단계(Stage B)는 조건부로 실행됩니다. 내부적(intrinsic) 질의는 시각적 답변 단계로 들어가며(전체 장면 썸네일 사용, 선택적 고정 예산이자 약 5k 토큰 압축 인터페이스로서 WeaveEarth 스타일의 증거 보드 활용), 외부적(extrinsic) 질의는 원본 전체 해상도 영상에서 도구 호출을 실행하고 관찰 마스킹된 두 번째 턴에서 도구 관찰 결과를 바탕으로 답변합니다. 학습: 정렬 SFT 후 보상(reward) R_WA2 하에서 GRPO를 적용합니다. 결과. 정렬 SFT는 외부적 라우팅을 0%에서 80.75%(323/400)로 끌어올리며, GRPO는 도구 선택을 유지하면서 9건의 내부적 오호출 생성을 억제합니다. 학습된 2B 시스템은 전반적으로 제로샷 8B 기준선(baseline)을 능가하지 못하지만(0.263 대 0.250), 이는 진단적 기여에 해당합니다. 오라클 귀인 분석은 두 가지 복구 요소를 구분합니다. 관찰 결과를 컨텍스트에 로드하면 마커가 없는 교차 모드 반환에서 외부적 답변 정확도가 0.025에서 0.425로 향상되며, 2턴 SFT 단계는 약간의 라우팅 비용을 대가로 0.518까지 9.3포인트를 추가로 향상시킵니다. +/- 이미지 절제 연구(ablation)는 호출 생성 억제가 시각적으로 그라운딩(grounding)되어 있음을 보여주며, 질의 레지스터 매트릭스는 LLM으로 재작성된 질의가 학습된 체크포인트의 성능을 2~11포인트 떨어뜨림을 나타냅니다. 범위. 모든 학습 및 평가는 5,000 / 3,273 / 1,000개 레코드로 구성된 VagueUHR 말뭉치를 사용합니다(내부적 600개 + 도구 요구 400개; 기본 데이터는 합성을 시딩하며 최적화에는 사용되지 않음). 단일 패스 증거 구성은 RTX 4090에서 이미지당 7.31초로 실행됩니다. 코드, 데이터 및 평가 프로토콜이 공개될 예정입니다.

arXiv:2603.27101v2cs.CV

PRUE: 대규모 농경지 경계 분할을 위한 실용적인 레시피

PRUE: A Practical Recipe for Field Boundary Segmentation at Scale

대규모 농경지 경계 지도는 농업 모니터링 작업에 필수적입니다. 위성 기반 농경지 매핑을 위한 기존 심층 학습(deep learning) 접근법은 조도, 공간 규모 및 지리적 위치 변화에 민감합니다. 본 연구에서는 Fields of The World (FTW) 벤치마크를 활용하여 전 세계 농경지 경계 획정을 위한 분할 및 지구공간 파운데이션 모델(GFM)에 대한 최초의 체계적 평가를 수행합니다. 통일된 실험 환경에서 18개 모델을 평가한 결과, U-Net 의미론적 분할(semantic segmentation) 모델이 일련의 성능 및 배포 지표에서 인스턴스 기반 모델 및 GFM 대안들보다 우수한 성능을 보임을 확인했습니다. 이에 따라 본 논문에서는 실제 환경에서의 성능과 강건성을 향상시키기 위해 U-Net 백본, 복합 손실(loss) 함수, 맞춤형 데이터 증강을 결합한 새로운 분할 접근법을 제안합니다. 제안 모델은 FTW에서 이전 기준선(baseline) 대비 각각 6%와 9% 향상된 76% IoU 및 47% object-F1을 달성합니다. 본 접근법은 모델 설계, 학습(training), 추론(inference) 전반에 걸쳐 신뢰할 수 있고 확장 가능하며 재현 가능한 농경지 경계 획정을 위한 실용적인 프레임워크를 제공합니다. 모든 모델과 5개국에 대해 모델로부터 도출된 농경지 경계 데이터셋을 공개합니다.

arXiv:2512.01917v2cs.LG

다양한 생태계 전반에서 탄소 플럭스 예측을 위한 풋프린트 인지 고해상도 접근법

A Footprint-Aware, High-Resolution Approach for Carbon Flux Prediction Across Diverse Ecosystems

에디 공분산(Eddy-covariance, EC) 플럭스 타워는 $CO_2$ 플럭스의 현장(in situ) 측정을 제공하며, 위성 산출물로부터 유도된 예측 '업스케일링(upscaling)' 모델의 정답(ground-truth) 데이터 역할을 합니다. 그러나 현재 많은 위성은 EC 타워의 풋프린트(footprint)보다 작은 공간적 규모를 분해할 수 있습니다. 본 연구에서는 이질적인 경관에서 고해상도 데이터로 학습된 업스케일링 모델이 픽셀 수준 예측 변수의 바이어스(bias)를 피하기 위해 EC 타워의 풋프린트를 고려해야 함을 이론적으로 보입니다. 이러한 문제를 해결하기 위해, 공간적 풋프린트와 $CO_2$ 플럭스의 픽셀 수준 추정치를 동시에 예측하는 딥러닝 프레임워크인 FAR(Footprint-Aware Regression)을 소개하며, 충분한 학습 데이터가 주어질 때 편향 없는 픽셀 수준 예측을 산출함을 보입니다. 205 사이트-년(site-years)의 타워 데이터와 상응하는 Landsat 장면을 결합한 AMERI-FAR25 데이터셋에서 FAR을 실증하고, FAR이 풋프린트를 인지하지 않는 모델보다 우수한 성능을 보임을 제시합니다. FAR은 보류된 사이트 데이터셋에서 최고의 고정 풋프린트 기준선(baseline) 대비 30분 단위 $R^2$를 약 0.575에서 0.634로 증가시켰고 RMSE를 약 7% 감소시켰습니다. 더 거친 990 m 기준선과 비교했을 때 월별 및 연별 평균에서 성능 향상이 더 큽니다. 사이트 수준 분석은 이러한 성능 향상이 여러 생태계 유형에 걸쳐 확장됨을 보여줍니다. 이러한 성능 향상은 방법 간 풋프린트 크기의 상당한 변동에도 불구하고, 풋프린트를 공동으로 학습하든 기존 풋프린트 모델을 사용하여 독립적으로 추정하든 상관없이 관찰됩니다. 웨스턴 캐스케이드(Western Cascades) 지역에 대한 지역적 비교에서 FAR은 기존 고해상도 공정 기반 모델과 필적하는 분포의 플럭스 추정치를 산출합니다.

arXiv:2603.01576v5cs.CV

Cryo-Bench: 빙권 매핑을 위한 파운데이션 모델 벤치마킹

Cryo-Bench: Benchmarking Foundation Models for Cryosphere Mapping

지리공간 파운데이션 모델(Geo-Foundation Models, GFM)은 다양한 지구 관측 작업과 영역에서 평가되며 희소한 라벨 환경에서도 신뢰할 수 있는 지도를 생성할 수 있는 강력한 잠재력을 입증해 왔습니다. 그러나 적합한 평가 데이터셋이 부족하다는 점 때문에 빙권(Cryosphere) 응용 분야에 대한 GFM의 체계적인 벤치마킹은 여전히 제한적이었습니다. 본 연구에서는 빙하 상부 쇄설물(supraglacial debris), 두 가지 감지 구성을 갖춘 빙하호, 해빙, 붕괴 전면(calving fronts), 남극 빙붕 범위의 다섯 가지 빙권 구성요소를 포괄하는 6개의 시맨틱 분할 데이터셋으로 구성된 벤치마크인 Cryo-Bench를 제안하여 이러한 공백을 해소합니다. 이 벤치마크는 기존 사전학습 아카이브에서 대표성이 낮았던 지역의 다중스펙트럼(multispectral), RGB 및 합성개구레이더(SAR) 관측 데이터를 포함합니다. 저자들은 통합 평가 프로토콜에 따라 처음부터 학습된(scratch) U-Net 및 비전 트랜스포머(Vision Transformer) 기준선과 함께 13개의 GFM을 평가합니다. 동결된 인코더(frozen encoders) 조건에서는 U-Net이 6개 데이터셋 평균 mIoU(mean intersection over union) 69.31%로 최고 성능을 달성하여 TerraMind(67.86%)를 1.45% 포인트 앞섰습니다. 쌍체 차이(paired difference)의 95% 신뢰 구간은 [+0.94, +1.98]로, U-Net의 우위가 통계적으로 유의미함을 보여줍니다. 반면, 학습률 최적화는 미세조정 성능을 크게 향상시킵니다. DOFA는 RGB 빙하호 작업에서 93.97% mIoU를 기록하여 U-Net을 4위로 밀어냈으며, Scale-MAE와 GFM-Swin은 붕괴 전면 작업에서 U-Net을 앞섰습니다. 전체 6개 데이터셋의 평균에서는 TerraMind, GFM-Swin, DOFA, Scale-MAE의 4개 GFM이 U-Net 기준선(69.31%)을 능가했습니다. 퓨샷(few-shot) 설정에서도 DOFA, RemoteCLIP, TerraMind, GFM-Swin, Scale-MAE의 5개 GFM이 마찬가지로 U-Net보다 우수한 성능을 보였으며, 13개 전체 GFM 평균 기준 전체 라벨 정확도 대비 성능 유지율은 U-Net의 86.1%에 비해 92.5%를 기록했습니다.