arXiv:2401.09019

Change Detection Between Optical Remote Sensing Imagery and Map Data via Segment Anything Model (SAM)

Hongruixuan Chen, Jian Song, Naoto Yokoya

제출 2024-01-17

원문 초록

Unsupervised multimodal change detection is pivotal for time-sensitive tasks and comprehensive multi-temporal Earth monitoring. In this study, we explore unsupervised multimodal change detection between two key remote sensing data sources: optical high-resolution imagery and OpenStreetMap (OSM) data. Specifically, we propose to utilize the vision foundation model Segmentation Anything Model (SAM), for addressing our task. Leveraging SAM's exceptional zero-shot transfer capability, high-quality segmentation maps of optical images can be obtained. Thus, we can directly compare these two heterogeneous data forms in the so-called segmentation domain. We then introduce two strategies for guiding SAM's segmentation process: the 'no-prompt' and 'box/mask prompt' methods. The two strategies are designed to detect land-cover changes in general scenarios and to identify new land-cover objects within existing backgrounds, respectively. Experimental results on three datasets indicate that the proposed approach can achieve more competitive results compared to representative unsupervised multimodal change detection methods.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.21932v1cs.CV공통 태그 Segmentation, Change Detection

CoSA: 원격 감지 변화 탐지를 위한 상관관계 유도 변화 어텐션과 학습 가능한 잔차 게이팅

CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection

이중 시점(bi-temporal) 영상 기반 원격 감지 변화 탐지(CD)는 도시 모니터링, 재난 평가, 환경 관리 등의 응용에 중요하지만, 희소한 변화, 노이즈가 있는 레이블, 외관 변화가 있는 조건에서는 견고한 국소화가 여전히 어려운 과제로 남아 있다. 본 논문에서는 Context Sampling Attention(CoSA)을 제안한다. 이는 경량 디코더 측 정제 모듈로, 이중 시점 특징 상관관계를 적응적 변화 인식 특징 강화를 위한 제어 신호로 명시적으로 활용한다. 이는 명시적 시간적 제어 없이 암묵적 특징(feature)가중에 의존하는 기존 어텐션(attention) 메커니즘과 다르다. 구현된 FC-Siam 설정에서 CoSA는 쌍을 이룬 디코더 특징 간 정규화된 동일 위치 교차 상관관계를 계산하고, 낮은 상관관계를 변화 게이트로 변환한 뒤, 학습 가능한 잔차 스케일링을 통해 원본 1/8 및 1/16 특징 스케일에서 결과 게이팅 잔차를 주입한다. 이 설계는 계산 비용이 큰 전역 어텐션에 의존하지 않고도 안정적 영역과 모호한 영역을 효과적으로 구별할 수 있게 한다. LEVIR-CD, S2Looking, DSIFN, CLCD 네 개의 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험에서 강력한 기준선(baseline) 대비 일관된 성능 향상을 보였으며, changed-class F1에서 1.5-2.6%의 개선을 달성하는 동시에 매개변수(parameter) 오버헤드는 무시할 수 있는 수준이었다. 소거(ablation) 연구는 다중 스케일 배치와 학습 가능한 잔차 게이팅이 모두 최고 성능에 중요함을 확인했다. 이 결과는 CoSA가 Siamese 변화 탐지 프레임워크에서 시간적 변별력을 향상시키는 실용적이고 효과적인 정제 패러다임을 확립함을 보여준다.

arXiv:2606.10775v2cs.CV공통 태그 Segmentation, Change Detection

비지도 건물 변화 탐지를 위한 공간 선택적 자기 학습

Spatially Selective Self-Training for Unsupervised Building Change Detection

비지도 건물 변화 탐지는 라벨이 없는 이중 시점 원격 탐사 영상으로부터 건물 변화 마스크를 학습하는 것을 목표로 한다. 기존 무라벨 방법들은 종종 불일치-마스크(discrepancy-to-mask) 패러다임을 따르며, 시간적 차이, 고정된 파운데이션 모델(foundation model)의 응답, 프롬프트 기반 출력, 또는 후처리 결과를 최종 변화 맵으로 직접 사용한다. 이러한 전략들은 주석 없는 단서를 제공하지만, 과제 특화 건물 변화 탐지기를 학습하지 않으며, 일반적인 시간적 불일치와 건물로 정의된 구조적 변화 사이의 간극에 취약하다. 실제로 이러한 불일치는 외관 변화, 정합(registration) 오류, 건물이 아닌 수정 등이 강하지만 오해를 유발하는 응답을 만들 수 있어, 종종 노이즈가 많고 과제와 무관하다. 이 문제를 해결하기 위해, 우리는 완전 무라벨 건물 변화 탐지를 노이즈가 있는 의사(pseudo) 감독 하에서의 end-to-end 탐지기 학습으로 재정식화하는 공간 선택적 자기 학습 프레임워크인 SST-CD를 제안한다. SST-CD는 시간적 불일치를 후보 의사 라벨로 사용하고, 감독에서 불일치 영역을 걸러내는 국소 일관성(local consistency) 기준으로 신뢰도를 추정한 공간적으로 신뢰할 수 있는 픽셀에서만 탐지기를 학습한다. 노이즈가 많은 자기 학습을 더 안정화하기 위해, 경량 특징(feature) 어댑터가 이중 시점 특징을 재보정하고, 프로토타입 기반 디코더가 간결한 변화 및 무-변화 표현을 생성한다. LEVIR-CD, WHU-CD, DSIFN-CD에서의 실험은 SST-CD가 각각 F1 점수 83.08%, 91.69%, 86.60%를 달성하여 기존 비지도 및 무라벨 기준선(baseline)을 능가함을 보여준다.

arXiv:2607.07984v2cs.AI공통 태그 Segmentation

에이전틱 신경망 구조 탐색

Agentic Neural Architecture Search

신경망 구조 탐색(NAS) 방법은 점점 더 효율적으로 발전해 왔지만, 여전히 도메인 전문 지식이 필요하고 새로운 과제마다 다시 구축해야 하는 수작업 설계 탐색 공간 안에서 동작한다. 대규모 언어 모델(LLM)은 개방형 코드 공간에서 아키텍처를 작성할 수 있으나, LLM 기반 설계와 NAS 기반 탐색 사이에 작업을 어떻게 분담해야 하는지는 불분명하다. 우리는 이 둘을 결합하는 방법을 제안한다. LLM이 먼저 시드 아키텍처를 설계한 뒤 이를 슬롯형 아키텍처로 분해한다. 슬롯형 아키텍처는 이름이 붙은 교체 가능한 모듈 슬롯을 가진 골격으로, 과제별로 제한된 탐색 공간을 정의하며, 기존 NAS 알고리즘이 수작업 없이 이를 탐색한다. 우리는 이를 각 단계를 별도로 평가할 수 있는 3단계 파이프라인인 AgentNAS로 구현한다. 분류, 밀집 회귀, 분할, 다중 레이블 태깅을 포괄하는 NAS-Bench-360과 Unseen NAS의 17개 과제에서 AgentNAS는 과제별 전문가 설계를 포함한 공개된 기준선을 11개 과제에서 능가한다. 광범위한 제거 연구는 LLM이 강력한 아키텍처를 빠르게 찾지만 곧 정체되며, 이 시점에 NAS로 전환하면 추가 이득을 얻음을 보여 주어 두 접근법이 상호 보완적임을 시사한다. 다섯 개의 LLM을 이용한 실험은 시드 아키텍처 설계가 모든 LLM에서 효과적인 반면, 사용 가능한 탐색 공간을 구성하려면 최소 수준의 모델 능력이 필요함을 보여 준다. 코드는 https://github.com/alroimfebruary/AgentNAS 에서 이용할 수 있다.

arXiv:2609.27149v2cs.CV공통 태그 Change Detection

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

arXiv:2606.09289v4cs.LG공통 태그 Segmentation

시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별

Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning

연속적인 이동 궤적으로부터 의도를 인식하는 것은 시공간 데이터 마이닝에서 중요한 문제이다. 이는 행동이 시간에 따라 변하고 그 경계를 직접 관측할 수 없을 때 어려워진다. 축구는 점유 중 여러 선수의 조율된 움직임에서 전술적 의도가 나타나므로 이 문제를 연구하기에 유용한 환경이다. 경기 국면 인식을 위한 기존 방법은 개별 프레임을 분류하거나, 사전 정의된 공간 규칙을 사용하거나, 일부 선택된 전술 패턴만 식별한다. 따라서 전술적 의도가 시간에 따라 변하는 연속적인 점유 시퀀스를 충분히 기술하지 못한다. 우리는 점유 중 경기 국면의 식별을 계층적 시퀀스 분할 과제로 다룸으로써 이 간극을 해결한다. 이 틀은 세 가지 전술적 의도(상대 공간 침투, 점유 유지, 득점)와 여섯 가지 국면(빌드업, 전진, 역습, 유지, 지속적 위협, 마무리)을 포함한다. 우리는 선수 상호작용 그래프, 맥락 특징, 트랜스포머 기반 시간 모델링을 결합한 시간적 그래프 어텐션 네트워크(T-GAN)를 제안한다. 이 틀은 분데스리가 7개 경기에 대해 한 경기 제외(leave-one-match-out) 검증으로 평가되었으며, 프레임 수준과 시퀀스 수준 모두에서 규칙 기반, 랜덤 포레스트, GNN, 트랜스포머 기준선과 비교되었다. 결과는 일관된 국면 분할에 시간적 모델링이 중요하며, 그래프 모델링은 역습과 같은 전환 국면에 추가적인 가치를 제공함을 보여 준다. 이 틀은 연속적인 선수 추적 데이터로부터 의도 기반 행동 구간을 발견하는 해석 가능한 방법을 제공하며 축구의 자동화된 전술 분석을 지원한다.

arXiv:2610.15813v1cs.CV공통 태그 Change Detection

ChangeT$^3$: 원격 탐사 변화 탐지를 위한 비전 테스트 시간 학습 평가

ChangeT$^3$: Evaluating Vision Test-Time Training for Remote Sensing Change Detection

양시성(bitemporal) 원격 탐사 변화 탐지에는 촬영 시점 간의 변화와 관련된 문맥 정보를 포착하면서도 공간적 세부 정보를 보존하는 표현이 필요합니다. 시각적 테스트 시간 학습(visual test-time training)은 소형 내부 모델(inner model)을 각 이미지에 적응시킴으로써 명시적인 토큰 간 어텐션(token-to-token attention)에 대한 대안을 제시합니다. 본 논문(letter)에서는 기존의 계층적 ViT$^3$-Tiny 인코더와 다중 스케일 ChangeFormer 디코더를 결합한 바닐라 샴(Siamese) 구성인 ChangeT$^3$를 설명합니다. 두 이미지 스트림은 학습된 인코더 매개변수를 공유하는 반면, 이들의 빠른 가중치(fast weights)는 각자의 공간적 특징으로부터 독립적으로 계산됩니다. 각 인코더 블록은 계승된 전역 단순화 SwiGLU 및 국소 적응형 깊이별 합성곱(depthwise-convolution) 분기를 유지합니다. 시간적 비교는 디코더를 통해 네 가지 해상도에서 쌍을 이루는 특징들의 학습된 융합을 거쳐 수행되며, 이후 조방(coarse)-정밀(fine) 집계 및 이진 예측이 이어집니다. 이러한 분리는 추가적인 시간적 상호작용 모듈을 도입하지 않고도 이미지 조건부 내부 업데이트를 검토할 수 있는 직접적인 환경을 제공합니다. ChangeFormer 대조군과 동일한 디코더, 학습 레시피 및 계산 비용(budget)으로 LEVIR-CD+에서 처음부터 학습(trained from scratch)했을 때, ChangeT$^3$는 80.61$\pm$0.90의 F1 점수를 기록하여 ChangeFormer의 78.84$\pm$0.21과 대비되는 성능을 보였습니다(각각 세 개의 시드 기준). 본 데이터셋의 표준 프로토콜에 따라 체크포인트는 테스트 분할에서 선택되었습니다. 두 내부 업데이트를 모두 비활성화한 상태로 학습한 동일 인코더는 78.63$\pm$0.20을 기록했습니다. 두 모델 모두 SYSU-CD, DSIFN-CD 또는 WHU-CD로 제로샷(zero-shot) 전이되지 않으며, ChangeT$^3$는 매개변수 및 연산 수가 유사함에도 불구하고 작은 입력 크기에서 둘 중 더 느립니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.