스위스 5개 도시 사례 연구: 정밀 국소 기후 지대(LCZ) 매핑을 위한 AlphaEarth 및 TESSERA 임베딩의 잠재력 탐색
Exploring the potential of AlphaEarth and TESSERA embeddings for Fine-scale Local Climate Zone Mapping: A case study across five cities in Switzerland
한국어 초록
도시 공간 형태를 이해하는 것은 기후 모델링, 위험 평가 및 지속 가능한 도시 설계에 매우 중요하며, 국소 기후 지대(LCZ) 매핑은 이를 위한 기본 프레임워크를 제공합니다. 그러나 많은 도시는 여전히 약 100m 해상도의 거친 LCZ 기록을 사용하며, 이는 정밀 도시 연구에 적합하지 않습니다. 본 연구에서는 스위스 5개 도시에서 TESSERA (Feng et al., 2025)와 AlphaEarth (Brown et al., 2025)의 사전 계산된 임베딩을 기존 Sentinel-1/2 (S1S2) 합성 데이터와 비교하여, 어텐션 기반 U-Net을 사용하여 거친 LCZ 지도를 10m 해상도로 업스케일링할 수 있는지 확인합니다. 세 가지 실험을 통해 다중 도시 전이 가능성, 더 높은 해상도의 참조 데이터 영향, 그리고 연도별 계절적 변화에 대한 시간적 견고성을 평가합니다. 그 결과, 모든 데이터셋이 첫 번째와 두 번째 실험에서 각각 0.59-0.69 및 0.77-0.82 범위의 테스트 데이터 교차합(IoU)을 기록하며 강력한 성능을 보였습니다. TESSERA는 두 가지 설정 모두에서 S1S2와 AlphaEarth를 일관되게 능가했습니다. 예상대로, 임베딩 기반 모델의 연도 간 전이는 여전히 해결해야 할 과제로 남아 있습니다. 전반적으로, 우리의 결과는 지구 관측(EO) 파운데이션 모델에서 파생된 임베딩이 시간 소모적인 전처리 및 수동 특징 엔지니어링 작업을 줄이고, 범용 심층 학습 기반 LCZ 매핑 워크플로우를 안내할 수 있는 유망한 잠재력을 보여줍니다. 간단한 위치 인식 어텐션 U-Net 아키텍처와 결합될 때, 임베딩은 지역 전이 가능성과 확장성을 향상시켜 글로벌 도시 기후 응용을 위한 포괄적이고 재현 가능한 정밀 LCZ 지도의 개발을 지원합니다. 참조 데이터 품질을 개선하는 것은 추가적인 정확도 향상을 위한 가장 강력한 수단으로 남아 있습니다.
원문 초록
Understanding urban spatial morphology is critical for climate modeling, risk assessment, and sustainable urban design, and Local Climate Zone (LCZ) mapping provides the basic framework for this. However, many cities still use coarse ~100-m resolution LCZ records, which are unsuitable for fine-scale urban research. In this study, precomputed embeddings from TESSERA (Feng et al., 2025) and AlphaEarth (Brown et al., 2025) are compared to traditional Sentinel-1/2 (S1S2) composites in five Swiss cities to see if they can upscale coarse LCZ maps to 10-m resolution using an attention-based U-Net. Three experiments assess multi-city transferability, the impact of higher-resolution reference data, and temporal robustness to year-to-year phenology changes. We find that all datasets achieve strong performance with test data Intersection-over-Union (IoU) ranging from 0.59-0.69 and 0.77-0.82 in the first two experiments. TESSERA consistently outperforms both S1S2 and AlphaEarth across both settings As expected, we find that the transfer of embedding-based models from one year to another remains an open challenge. Overall, however, our results demonstrate the promising potential of embeddings derived from EO foundation models to reduce time consuming preprocessing, respectively, manual feature engineering tasks and to guide a universal deep learning-based LCZ mapping workflow. When combined with a simple location-aware attention U-Net architecture, the embeddings enhance regional transferability and scalability, supporting the development of comprehensive and reproducible fine-scale LCZ maps for global urban climate applications Improving reference data quality remains the strongest lever for further accuracy gains.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.20034v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
위성 영상을 활용한 건물 피해 평가 과제 재고
Revisiting the Task of Building Damage Assessment by Satellite Imaging
지진, 열대성 폭풍, 홍수와 같은 자연재해는 건물에 광범위한 피해를 입히며, 신속하고 신뢰할 수 있는 피해 지도는 긴급 대응을 안내하는 데 필수적입니다. 위성 영상으로부터 이 작업을 자동화하는 건물 피해 평가(BDA, building damage assessment)는 원격 탐사, 컴퓨터 비전(CV), 머신러닝의 교차점에서 활발한 연구 주제가 되었으며, 특히 지도 기반 심층 학습(deep learning) 방법이 기존의 수작업 특징 기반 접근법보다 우수한 성능을 보이는 것으로 입증된 이후 더욱 주목받고 있습니다. 그러나 10년간의 활발한 연구와 여러 대규모 데이터셋(dataset)의 공개에도 불구하고, 이 분야는 공통된 기반이 부족한 실정입니다. 본 챕터에서는 데이터, 평가(evaluation), 방법이라는 세 가지 축을 중심으로 BDA 과제를 근본적인 원리(first principles)에서 재고합니다. 먼저 후보 과제 정식화를 명확히 하고, 재난 전 영상의 누락을 허용하는 센서 불가지론적(sensor-agnostic) 인스턴스 기반 정의를 제안합니다. 그런 다음 센싱 양식(modality), 시간적 구성, 지리적 적용 범위라는 축을 따라 기존 데이터셋을 검토합니다. 평가 측면에서는 주로 단일 종합 점수에 의존하는 기존 관행이 이론적으로 취약함을 보이고, 더 유용한 정보를 제공하는 순위 기반 다중 점수 프로토콜의 기반을 마련합니다. 나아가 과제 특화 심층 신경망부터 최근의 지구 관측 파운데이션 모델에 이르는 방법론을 검토하며, 미확인 재난 및 지역에 대한 일반화가 여전히 미해결 과제로 남아 있음을 확인합니다. 마지막으로 교차 검증(cross-validation), 챌린지, 개발자와 사용자 간의 신뢰를 구축하도록 설계된 비공개 데이터 공유 설정을 포함하여, 이러한 요소들이 BDA 챌린지 조직에 어떻게 정보를 제공할 수 있는지 논의합니다.
DeepStratNet: 희소한 레이블 환경에서 지진파 지층면 추적을 위한 문맥 인식 좌표 회귀 프레임워크
DeepStratNet: A Context-Aware Coordinate Regression Framework for Seismic Horizon Tracking under Sparse Labels
자동 지층면 추적(horizon tracking)은 3D 지진파 해석의 기초적인 작업입니다. 대부분의 기존 심층 학습(deep learning) 접근 방식은 주로 U-Net 기반 아키텍처를 사용하여 이를 조밀한 시맨틱 세그멘테이션(dense semantic segmentation) 문제로 공식화합니다. 이러한 모델은 정밀한 지층면 좌표를 추출하기 위해 후처리가 필요한 모든 픽셀에 대한 확률 맵을 생성하며, 시간/심도에서의 지층면 픽(horizon pick)은 학습(training)을 위해 조밀한 마스크로 변환되어야 합니다. 결과적으로 픽되지 않은 지진파 트레이스는 배경으로 처리되어 수렴(convergence)을 저해할 수 있으며, 전처리 및 후처리 과정 모두 최종 해석에 오차를 유발할 수 있습니다. 더욱이 2D 세그멘테이션 모델은 본질적으로 슬라이스 간 문맥을 포착하지 못하며, 3D 모델은 종종 연산 비용이 과도하게 듭니다. 대신 본 연구에서는 지층면 추적을 경계가 지정된 좌표 회귀(coordinate regression) 문제로 공식화하여, 모델이 각 횡방향 위치에서 목표 지층면의 시간/심도 좌표를 직접 예측하도록 합니다. 우리는 사전학습된 모든 비전 백본과 호환되는 경량 회귀 헤드를 제안하며, 슬라이스 간 문맥을 모델링하고 볼륨 전반에 걸쳐 연속적인 지층면 표면을 생성하기 위해 LSTM 모듈과 결합합니다. L1 및 L2 손실의 조합은 유효한 지층면 픽에서의 예측을 지도하며, 지질학적 정보를 반영한 정규화(regularization)는 연속적인 트레이스 간의 횡방향 연속성을 강화합니다. 통제된 실험 조건 하에서 뉴질랜드의 지진파 볼륨을 대상으로 세그멘테이션 및 회귀 구성 모두에서 네 가지 사전학습된 비전 백본을 평가합니다. 제안된 접근 방식은 RMSE 및 PCC를 포함한 지표를 사용한 정량적 평가와 정성적 평가 모두에서 세그멘테이션 기반 방식보다 지속적으로 우수한 성능을 보였으며, 학습 픽의 희소성(sparsity)이 증가함에도 더 높은 견고성을 입증했습니다. 마지막으로, 연속적인 트레이스 전반에 걸친 예측 편차가 지질학적 복잡성의 국소적 변화를 포착함으로써 후속 지진파 해석을 위한 자동화된 품질 관리 척도를 제공함을 보입니다.
PAGER: 기하학적 및 관계적 증류를 통한 부분-전역 정렬
PAGER: Partial-to-global Alignment via Geometric and Relational Distillation
사전학습(pre-training)된 3D 인코더는 일반적으로 일관된 월드 좌표계로 표현되는 전역적으로 재구성된 씬을 기반으로 개발되는 반면, 체화된(embodied) 시스템은 카메라 좌표계의 부분적이고 시점에 의존적인 관측으로부터 추론(inference)해야 합니다. 본 연구에서는 전역적으로 학습(training)된 3D 특징(feature) 공간에서 실제적인 부분 관측으로의 이러한 전환이 심각한 표현 불일치를 유발함을 보여주며, Sonata와 Concerto를 포함한 대표적인 최신(state-of-the-art) 인코더 전반에서 이러한 현상이 일관되게 나타남을 확인했습니다. 전역 선형 프로브를 장착하고 고정된(frozen) Sonata 인코더는 전체 ScanNet 씬에서 72.47 mIoU를 달성하지만, 단일 프레임 카메라 좌표 입력에서는 2.57 mIoU에 그칩니다. 학습이 필요 없는 중력 정렬(gravity alignment)을 적용하면 성능이 41.64 mIoU로 복구되어, 좌표계 불일치가 성능 저하의 주된 요인이지만 정규화(canonicalization)만으로는 완전히 해결될 수 없음을 보여줍니다. 이에 본 논문에서는 쌍을 이루는 부분/전역 기하 정보만을 사용하여 부분 시점 특징을 고정된 전역 3D 시맨틱 공간과 정렬하는 레이블 불필요 적응(adaptation) 방법인 PAGER를 제안합니다. PAGER는 사전학습된 인코더와 전역 세그멘테이션 프로브를 고정한 채 경량 적응 모듈을 학습합니다. 일치 지점 특징 정렬(matched-point feature alignment)은 부분 특징을 대응하는 전역 특징에 고정(anchor)하고, 관계적 감독(relational supervision)은 전역 표현에 대한 유사도 구조를 보존합니다. 전역 기하 정보는 오직 학습 중에만 감독을 제공하며, 추론은 부분 관측에서 직접 동작합니다. 부분 시점 레이블 없이도 PAGER는 Sonata와 Concerto 모두에서 레이블 기반 지도 학습 PEFT보다 뛰어난 성능을 보이며, ScanNet$\rightarrow$ScanNet++ 제로샷(zero-shot) 전이에서는 완전 파인튜닝(fine-tuning)된 Sonata를 능가하여($53.93$ 대 $48.09$ mIoU), 고정된 전역 표현을 보존하는 것이 데이터셋 간 전이 능력을 향상시킬 수 있음을 시사합니다.
지리공간 임베딩은 고대림을 탐지하지만, 버퍼 공간 검증은 Sentinel 특징 대비 그 이점을 줄인다
Geospatial embeddings detect old-growth forests but buffered spatial validation narrows their advantage over Sentinel features
고대림은 인위적 교란이 거의 없는 상태에서 수세기에 걸쳐 형성되어 구조적으로 복잡하고 생물다양성이 높은 임분을 이룬다. 유럽에서는 이를 보호하려면 개별 임분 단위로 정확하면서도 대륙 전역에 배포 가능한 지도화가 필요하다. 지리공간 파운데이션 모델(GFM) 임베딩은 라벨이 부족한 토지 분류를 가능하게 하지만, 고대림 탐지에 대한 그 가치는 아직 알려져 있지 않다. 본 연구에서는 알프스 생물지리구(Alpine Biogeographic Region)에 전형적인 너도밤나무-가문비나무 경관인 루마니아 남부 카르파티아 211,893 ha에 걸쳐 고대림을 지도화한다. 고대림 및 비고대림 임분에 대한 고신뢰·전문가 기반 참조 라벨을 구축한다. 지형 및 인간 접근 예측변수로 구성된 공통 기준선에 AlphaEarth, TESSERA v2, Sentinel-1/2 특징을 추가한 뒤, 잔여 공간 자기상관을 줄이기 위해 10 km 학습-검증 버퍼 유·무에 따른 공간 블록 검증 하에서 이를 비교한다. 버퍼를 적용하면 GFM 및 Sentinel-1/2 예측변수가 기준선 대비 정밀도-재현율 AUC를 0.21–0.25 [95% CI: 0.15–0.34]만큼 높여, 스펙트럼 데이터에 공간적으로 견고한 고대림 신호가 포함됨을 시사한다. PR-AUC 0.84 [0.79–0.88]에서 TESSERA는 버퍼 없는 공간 검증 하에서 Sentinel-1/2(+0.08 [+0.05–+0.11]) 및 AlphaEarth(+0.08 [+0.04–+0.12])보다 우수하다. 그러나 10 km 버퍼에서는 이 우위가 각각 +0.04 [-0.01–+0.11] 및 +0.03 [-0.04–+0.10]로 줄어들어, 차이가 없음과 일치하는 구간이 된다. 10 m 해상도에서는 합성곱 신경망(CNN)이 픽셀 기반 XGBoost보다 이점을 주지 않는다. 국가·대륙 규모 제품 4종과의 비교는 비고대림 라벨의 중요성을 보여 주며, 현장 보정 지도와 본 연구 예측 간 81% 일치를 드러낸다. 고대림 탐지 모델을 보지 못한 경관으로 전이할 때 버퍼 공간 검증이 필수적임을 결론짓고, 후속 연구를 위해 라벨과 예측을 공개한다.
변화 캡션에서 변화 탐지까지: 원격 탐사 변화 탐지를 위한 의미-외형 일치 프레임워크
From Change Captions to Change Detection: Semantic-Appearance Agreement Framework for Remote Sensing Change Detection
원격 탐사 변화 탐지(RSCD)는 토지 피복 변화 및 도시 개발을 모니터링하는 데 필수적입니다. 그러나 대부분의 방법은 픽셀 수준의 변화 마스크를 요구하며, 이는 주석 작업에 많은 비용과 시간이 소요됩니다. 약지도(weakly supervised) 방식은 이미지 수준의 변화 레이블을 사용하여 이러한 비용을 줄입니다. 하지만 이러한 레이블은 변화의 발생 여부만을 나타내므로, 모델이 추가적이고 복잡한 메커니즘을 통해 변화의 위치와 의미론적 의미를 복원해야 합니다. 이러한 누락된 정보는 무엇이 변하고 무엇으로 바뀌며 어디에서 발생하는지 설명하는 변화 캡션을 통해 직접 제공될 수 있습니다. 따라서 본 연구에서는 수동으로 주석을 단 변화 마스크 없이 변화 마스크를 학습하기 위한 유일한 태스크 특화 지도 정보로 변화 캡션을 활용하는 변화 캡션 유도 RSCD를 소개합니다. 제안하는 프레임워크는 두 가지 구성 요소로 이루어져 있습니다. 각 캡션과 일치하는 제어된 변화를 갖는 대규모 시계열 원격 탐사 이미지 쌍을 생성하는 캡션 기반 생성 파이프라인과, 캡션의 전이 의미론에 의해 유도되는 변화 탐지기입니다. 이 탐지기는 의미-외형 일치 프레임워크(SAAF)를 사용하여 캡션 기반 의미론적 반응과 RGB 차이를 결합해 변화 위치를 특정하며, 텍스트 조건화는 조밀 예측(dense prediction)을 유도합니다. 새롭게 구축된 Flair-RSGen 데이터셋 및 WHU-CDC에서의 실험 결과, SAAF가 평가 프로토콜 하에서 매크로 평균 IoU 및 F1 점수 모두 가장 유사하게 재현된 제한적 지도 베이스라인들을 능가함을 보여줍니다. 코드는 https://github.com/qianyuancs/SAAF 에서 공개되어 있습니다.
하나의 도메인, 다양한 언어: 쌍을 이루는 데이터 없이 도메인 및 언어 LoRA를 결합한 교차 언어 원격 탐사 MLLM
One Domain, Many Tongues: Composing Domain and Language LoRAs for Cross-Lingual Remote-Sensing MLLMs without Paired Data
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.