arXiv:2609.28192v1 cs.CV

변화 캡션에서 변화 탐지까지: 원격 탐사 변화 탐지를 위한 의미-외형 일치 프레임워크

From Change Captions to Change Detection: Semantic-Appearance Agreement Framework for Remote Sensing Change Detection

Yuan Qian, Jie Ma

제출 2026-09-24

한국어 초록

원격 탐사 변화 탐지(RSCD)는 토지 피복 변화 및 도시 개발을 모니터링하는 데 필수적입니다. 그러나 대부분의 방법은 픽셀 수준의 변화 마스크를 요구하며, 이는 주석 작업에 많은 비용과 시간이 소요됩니다. 약지도(weakly supervised) 방식은 이미지 수준의 변화 레이블을 사용하여 이러한 비용을 줄입니다. 하지만 이러한 레이블은 변화의 발생 여부만을 나타내므로, 모델이 추가적이고 복잡한 메커니즘을 통해 변화의 위치와 의미론적 의미를 복원해야 합니다. 이러한 누락된 정보는 무엇이 변하고 무엇으로 바뀌며 어디에서 발생하는지 설명하는 변화 캡션을 통해 직접 제공될 수 있습니다. 따라서 본 연구에서는 수동으로 주석을 단 변화 마스크 없이 변화 마스크를 학습하기 위한 유일한 태스크 특화 지도 정보로 변화 캡션을 활용하는 변화 캡션 유도 RSCD를 소개합니다. 제안하는 프레임워크는 두 가지 구성 요소로 이루어져 있습니다. 각 캡션과 일치하는 제어된 변화를 갖는 대규모 시계열 원격 탐사 이미지 쌍을 생성하는 캡션 기반 생성 파이프라인과, 캡션의 전이 의미론에 의해 유도되는 변화 탐지기입니다. 이 탐지기는 의미-외형 일치 프레임워크(SAAF)를 사용하여 캡션 기반 의미론적 반응과 RGB 차이를 결합해 변화 위치를 특정하며, 텍스트 조건화는 조밀 예측(dense prediction)을 유도합니다. 새롭게 구축된 Flair-RSGen 데이터셋 및 WHU-CDC에서의 실험 결과, SAAF가 평가 프로토콜 하에서 매크로 평균 IoU 및 F1 점수 모두 가장 유사하게 재현된 제한적 지도 베이스라인들을 능가함을 보여줍니다. 코드는 https://github.com/qianyuancs/SAAF 에서 공개되어 있습니다.

원문 초록

Remote sensing change detection (RSCD) is essential for monitoring land-cover changes and urban development. However, most methods demand pixel-level change masks, which are costly and time-consuming to annotate. Weakly supervised methods reduce this cost by using image-level change labels. Yet these labels indicate only whether a change occurs, leaving models to recover the location of the change and semantic meaning through additional and complex mechanisms. This missing information can be supplied directly by change captions, which describe what changes, what it becomes, and where it occurs. Therefore, we introduce change-caption-guided RSCD, using change captions as the sole task-specific supervision to learn change masks without manually annotated change masks. Our framework has two components: a caption-driven generation pipeline that produces bi-temporal remote sensing image pairs at scale with controlled changes matching each caption, and a change detector guided by the caption's transition semantics. The detector uses our Semantic-Appearance Agreement Framework (SAAF) to combine caption-grounded semantic responses with RGB differences for change localization, while text conditioning guides dense prediction. Experiments on our newly constructed Flair-RSGen dataset and WHU-CDC show that SAAF outperforms the closest reproduced limited-supervision baselines in macro-averaged IoU and F1 under the evaluated protocols. Code is publicly available at https://github.com/qianyuancs/SAAF.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28192v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15813v1cs.CV공통 태그 Change Detection, remote sensing

ChangeT$^3$: 원격 탐사 변화 탐지를 위한 비전 테스트 시간 학습 평가

ChangeT$^3$: Evaluating Vision Test-Time Training for Remote Sensing Change Detection

양시성(bitemporal) 원격 탐사 변화 탐지에는 촬영 시점 간의 변화와 관련된 문맥 정보를 포착하면서도 공간적 세부 정보를 보존하는 표현이 필요합니다. 시각적 테스트 시간 학습(visual test-time training)은 소형 내부 모델(inner model)을 각 이미지에 적응시킴으로써 명시적인 토큰 간 어텐션(token-to-token attention)에 대한 대안을 제시합니다. 본 논문(letter)에서는 기존의 계층적 ViT$^3$-Tiny 인코더와 다중 스케일 ChangeFormer 디코더를 결합한 바닐라 샴(Siamese) 구성인 ChangeT$^3$를 설명합니다. 두 이미지 스트림은 학습된 인코더 매개변수를 공유하는 반면, 이들의 빠른 가중치(fast weights)는 각자의 공간적 특징으로부터 독립적으로 계산됩니다. 각 인코더 블록은 계승된 전역 단순화 SwiGLU 및 국소 적응형 깊이별 합성곱(depthwise-convolution) 분기를 유지합니다. 시간적 비교는 디코더를 통해 네 가지 해상도에서 쌍을 이루는 특징들의 학습된 융합을 거쳐 수행되며, 이후 조방(coarse)-정밀(fine) 집계 및 이진 예측이 이어집니다. 이러한 분리는 추가적인 시간적 상호작용 모듈을 도입하지 않고도 이미지 조건부 내부 업데이트를 검토할 수 있는 직접적인 환경을 제공합니다. ChangeFormer 대조군과 동일한 디코더, 학습 레시피 및 계산 비용(budget)으로 LEVIR-CD+에서 처음부터 학습(trained from scratch)했을 때, ChangeT$^3$는 80.61$\pm$0.90의 F1 점수를 기록하여 ChangeFormer의 78.84$\pm$0.21과 대비되는 성능을 보였습니다(각각 세 개의 시드 기준). 본 데이터셋의 표준 프로토콜에 따라 체크포인트는 테스트 분할에서 선택되었습니다. 두 내부 업데이트를 모두 비활성화한 상태로 학습한 동일 인코더는 78.63$\pm$0.20을 기록했습니다. 두 모델 모두 SYSU-CD, DSIFN-CD 또는 WHU-CD로 제로샷(zero-shot) 전이되지 않으며, ChangeT$^3$는 매개변수 및 연산 수가 유사함에도 불구하고 작은 입력 크기에서 둘 중 더 느립니다.

arXiv:2610.13857v1cs.CV공통 태그 Semantic Segmentation, remote sensing

위성 영상을 활용한 건물 피해 평가 과제 재고

Revisiting the Task of Building Damage Assessment by Satellite Imaging

지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.

arXiv:2607.15942v2cs.CV공통 태그 Semantic Segmentation, remote sensing

적은 것으로 더 많이: 단순한 레시피 기반의 대규모 원격 탐사 VLM

More with Less: a Large Scale Remote Sensing VLM with a Simple Recipe

원격 탐사 비전-언어 모델(VLM)은 지구 관측(Earth Observation) 데이터와 다양한 태스크에 대해 개방형 추론(open-ended reasoning)을 지원하도록 점점 더 요구받고 있습니다. 이 분야의 최근 진전은 대부분 새로운 인코더, 정렬(alignment) 모듈 또는 태스크별 융합 메커니즘을 도입하는 원격 탐사 특화 아키텍처 설계를 통해 주도되었습니다. 본 연구에서는 이러한 아키텍처적 특화의 필요성에 의문을 제기합니다. 우리는 일반적인 능력을 갖춘 비전-언어 모델이라도 다양한 데이터와 태스크 전반에 걸쳐 충분한 규모로 학습(training)된다면, 까다로운 원격 탐사 벤치마크에서 경쟁력 있거나 최고 수준(SOTA)의 성능을 달성할 수 있음을 보여줍니다. 우리 모델은 텍스트로 직접 답변하거나 분할(segmentation) 및 그라운딩(grounding)을 위한 위치 특정 도구를 호출할 수 있는 단일 언어 정책을 사용합니다. 이러한 이종 동작을 학습시키기 위해, 우리는 매우 다양한 입력 유형에 걸친 객관식 VQA, 자유 형식 VQA, 캡셔닝, 검출 및 분할을 포괄하는 적응형 태스크 보상을 갖춘 멀티태스크 강화학습(reinforcement learning) 프레임워크를 사용합니다. 우리의 접근 방식은 고해상도, 다중 시점(multi-temporal), 멀티모달 및 다각도(multi-view) 태스크를 포함한 광범위한 벤치마크 세트 전반에서 경쟁력 있는 결과를 달성합니다. 나아가 학습 데이터가 스케일링됨에 따라, 우리 실험은 분포 내외(in- and out-of-distribution) 대부분의 태스크 전반에서 태스크별 데이터 다양성과 상관관계를 갖는 일관된 성능 향상을 보여줍니다. 이러한 결과는 원격 탐사 VLM에 있어 아키텍처적 새로움이 없더라도 데이터 규모만으로 충분함을 시사합니다.

arXiv:2609.22834v1cs.CV공통 태그 Semantic Segmentation, remote sensing

SatOV: 원격 탐사 영상에서 학습이 필요 없는 개방형 어휘 분할을 위한 공간 사전 정보 복원

SatOV: Restoring Spatial Priors for Training-Free Open-Vocabulary Segmentation in Remote Sensing Imagery

원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.

arXiv:2609.24409v1cs.CV공통 태그 Semantic Segmentation, remote sensing

DeCo: 다중 과제 비주얼 그라운딩을 위한 효율적인 Decouple-to-Couple 학습

DeCo: Efficient Decouple-to-Couple Learning for Multi-Task Visual Grounding

다중 과제 비주얼 그라운딩은 모델이 언어적 의미를 공동으로 이해하고 정확한 시각적 위치 지정(localization)과 분할(segmentation)을 수행해야 한다. 멀티모달 대규모 언어 모델의 성공에도 불구하고, 이를 여러 그라운딩 목표에 효과적으로 적응시키는 것은 여전히 어렵다. 기존 방법들은 공유 표현을 통해 과제 간 협력을 강제하는 경우가 많지만, 과제 지향적 특징 관심 사이의 내재적 충돌은 간과한다. 본 논문에서는 $\textbf{DeCo}$를 소개한다. 이는 효율적인 $\textbf{De}$couple-to-$\textbf{Co}$uple 학습 프레임워크로, 두 단계 패러다임을 통해 이 딜레마를 해결한다: 과제별 표현 분리(decoupling)에 이어 상보적 사전(prior) 결합(coupling)이다. 구체적으로, 먼저 Task-aware Semantic Decoupling(TSD)을 제안하여 두드러진 단어 수준(word-level) 안내 하에 공유 시각 단서를 개별 특징으로 라우팅함으로써 위치 지정과 분할 간 표현 간섭을 완화한다. 더 나아가, 분할은 밀집(dense) 감독으로 인해 정보가 풍부한 위치 지정 사전을 자연스럽게 제공한다는 점을 관찰한다. 이 통찰에 기반하여, Hybrid Prior Coupling(HPC)을 도입한다. 이는 문장 수준 의미 사전과 마스크에서 유도된 공간 사전을 통합하여 그라운딩을 강화한다. 동결(frozen)된 멀티모달 인코더 위에 구축된 DeCo는 경량의 학습 가능 파라미터만 필요하면서도 여러 그라운딩 목표에 걸쳐 강한 일반화를 달성한다. RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, RefDIOR에 대한 광범위한 실험은 DeCo가 자연 영상 및 원격 탐사(remote sensing) 벤치마크 모두에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/xiaoqiang-lu/DeCo 에서 이용할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.