Has Anything Changed? 3D Change Detection by 2D Segmentation Masks
원문 초록
As capturing devices become common, 3D scans of interior spaces are acquired on a daily basis. Through scene comparison over time, information about objects in the scene and their changes is inferred. This information is important for robots and AR and VR devices, in order to operate in an immersive virtual experience. We thus propose an unsupervised object discovery method that identifies added, moved, or removed objects without any prior knowledge of what objects exist in the scene. We model this problem as a combination of a 3D change detection and a 2D segmentation task. Our algorithm leverages generic 2D segmentation masks to refine an initial but incomplete set of 3D change detections. The initial changes, acquired through render-and-compare likely correspond to movable objects. The incomplete detections are refined through graph optimization, distilling the information of the 2D segmentation masks in the 3D space. Experiments on the 3Rscan dataset prove that our method outperforms competitive baselines, with SoTA results.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
CoSA: 원격 감지 변화 탐지를 위한 상관관계 유도 변화 어텐션과 학습 가능한 잔차 게이팅
CoSA: Correlation-Guided Change Attention with Learnable Residual Gating for Remote Sensing Change Detection
이중 시점(bi-temporal) 영상 기반 원격 감지 변화 탐지(CD)는 도시 모니터링, 재난 평가, 환경 관리 등의 응용에 중요하지만, 희소한 변화, 노이즈가 있는 레이블, 외관 변화가 있는 조건에서는 견고한 국소화가 여전히 어려운 과제로 남아 있다. 본 논문에서는 Context Sampling Attention(CoSA)을 제안한다. 이는 경량 디코더 측 정제 모듈로, 이중 시점 특징 상관관계를 적응적 변화 인식 특징 강화를 위한 제어 신호로 명시적으로 활용한다. 이는 명시적 시간적 제어 없이 암묵적 특징(feature)가중에 의존하는 기존 어텐션(attention) 메커니즘과 다르다. 구현된 FC-Siam 설정에서 CoSA는 쌍을 이룬 디코더 특징 간 정규화된 동일 위치 교차 상관관계를 계산하고, 낮은 상관관계를 변화 게이트로 변환한 뒤, 학습 가능한 잔차 스케일링을 통해 원본 1/8 및 1/16 특징 스케일에서 결과 게이팅 잔차를 주입한다. 이 설계는 계산 비용이 큰 전역 어텐션에 의존하지 않고도 안정적 영역과 모호한 영역을 효과적으로 구별할 수 있게 한다. LEVIR-CD, S2Looking, DSIFN, CLCD 네 개의 벤치마크(benchmark) 데이터셋(dataset)에 대한 광범위한 실험에서 강력한 기준선(baseline) 대비 일관된 성능 향상을 보였으며, changed-class F1에서 1.5-2.6%의 개선을 달성하는 동시에 매개변수(parameter) 오버헤드는 무시할 수 있는 수준이었다. 소거(ablation) 연구는 다중 스케일 배치와 학습 가능한 잔차 게이팅이 모두 최고 성능에 중요함을 확인했다. 이 결과는 CoSA가 Siamese 변화 탐지 프레임워크에서 시간적 변별력을 향상시키는 실용적이고 효과적인 정제 패러다임을 확립함을 보여준다.
비지도 건물 변화 탐지를 위한 공간 선택적 자기 학습
Spatially Selective Self-Training for Unsupervised Building Change Detection
비지도 건물 변화 탐지는 라벨이 없는 이중 시점 원격 탐사 영상으로부터 건물 변화 마스크를 학습하는 것을 목표로 한다. 기존 무라벨 방법들은 종종 불일치-마스크(discrepancy-to-mask) 패러다임을 따르며, 시간적 차이, 고정된 파운데이션 모델(foundation model)의 응답, 프롬프트 기반 출력, 또는 후처리 결과를 최종 변화 맵으로 직접 사용한다. 이러한 전략들은 주석 없는 단서를 제공하지만, 과제 특화 건물 변화 탐지기를 학습하지 않으며, 일반적인 시간적 불일치와 건물로 정의된 구조적 변화 사이의 간극에 취약하다. 실제로 이러한 불일치는 외관 변화, 정합(registration) 오류, 건물이 아닌 수정 등이 강하지만 오해를 유발하는 응답을 만들 수 있어, 종종 노이즈가 많고 과제와 무관하다. 이 문제를 해결하기 위해, 우리는 완전 무라벨 건물 변화 탐지를 노이즈가 있는 의사(pseudo) 감독 하에서의 end-to-end 탐지기 학습으로 재정식화하는 공간 선택적 자기 학습 프레임워크인 SST-CD를 제안한다. SST-CD는 시간적 불일치를 후보 의사 라벨로 사용하고, 감독에서 불일치 영역을 걸러내는 국소 일관성(local consistency) 기준으로 신뢰도를 추정한 공간적으로 신뢰할 수 있는 픽셀에서만 탐지기를 학습한다. 노이즈가 많은 자기 학습을 더 안정화하기 위해, 경량 특징(feature) 어댑터가 이중 시점 특징을 재보정하고, 프로토타입 기반 디코더가 간결한 변화 및 무-변화 표현을 생성한다. LEVIR-CD, WHU-CD, DSIFN-CD에서의 실험은 SST-CD가 각각 F1 점수 83.08%, 91.69%, 86.60%를 달성하여 기존 비지도 및 무라벨 기준선(baseline)을 능가함을 보여준다.
에이전틱 신경망 구조 탐색
Agentic Neural Architecture Search
원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델
Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection
시간적 그래프 학습을 통한 축구 점유전 경기 단계의 의도 기반 식별
Intention Driven Identification of In-Possession Match Phases in Association Football through Temporal Graph Learning
ChangeT$^3$: 원격 탐사 변화 탐지를 위한 비전 테스트 시간 학습 평가
ChangeT$^3$: Evaluating Vision Test-Time Training for Remote Sensing Change Detection
양시성(bitemporal) 원격 탐사 변화 탐지에는 촬영 시점 간의 변화와 관련된 문맥 정보를 포착하면서도 공간적 세부 정보를 보존하는 표현이 필요합니다. 시각적 테스트 시간 학습(visual test-time training)은 소형 내부 모델(inner model)을 각 이미지에 적응시킴으로써 명시적인 토큰 간 어텐션(token-to-token attention)에 대한 대안을 제시합니다. 본 논문(letter)에서는 기존의 계층적 ViT$^3$-Tiny 인코더와 다중 스케일 ChangeFormer 디코더를 결합한 바닐라 샴(Siamese) 구성인 ChangeT$^3$를 설명합니다. 두 이미지 스트림은 학습된 인코더 매개변수를 공유하는 반면, 이들의 빠른 가중치(fast weights)는 각자의 공간적 특징으로부터 독립적으로 계산됩니다. 각 인코더 블록은 계승된 전역 단순화 SwiGLU 및 국소 적응형 깊이별 합성곱(depthwise-convolution) 분기를 유지합니다. 시간적 비교는 디코더를 통해 네 가지 해상도에서 쌍을 이루는 특징들의 학습된 융합을 거쳐 수행되며, 이후 조방(coarse)-정밀(fine) 집계 및 이진 예측이 이어집니다. 이러한 분리는 추가적인 시간적 상호작용 모듈을 도입하지 않고도 이미지 조건부 내부 업데이트를 검토할 수 있는 직접적인 환경을 제공합니다. ChangeFormer 대조군과 동일한 디코더, 학습 레시피 및 계산 비용(budget)으로 LEVIR-CD+에서 처음부터 학습(trained from scratch)했을 때, ChangeT$^3$는 80.61$\pm$0.90의 F1 점수를 기록하여 ChangeFormer의 78.84$\pm$0.21과 대비되는 성능을 보였습니다(각각 세 개의 시드 기준). 본 데이터셋의 표준 프로토콜에 따라 체크포인트는 테스트 분할에서 선택되었습니다. 두 내부 업데이트를 모두 비활성화한 상태로 학습한 동일 인코더는 78.63$\pm$0.20을 기록했습니다. 두 모델 모두 SYSU-CD, DSIFN-CD 또는 WHU-CD로 제로샷(zero-shot) 전이되지 않으며, ChangeT$^3$는 매개변수 및 연산 수가 유사함에도 불구하고 작은 입력 크기에서 둘 중 더 느립니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.