시각적 그라운딩(visual grounding)은 언어로 기술된 객체를 경계 상자(bounding box)로 위치를 특정합니다. 대부분의 멀티모달 그라운딩 모델은 대상 식별, 공간 추론, 경계 추정을 하나의 최종 예측으로 압축합니다. 자유 형식의 근거 제시(free-form rationales)는 언어적으로 추론을 명시화하지만, 측정 가능하고 편집 가능한 공간 상태를 반드시 드러내지는 않습니다. 따라서 중간 위치 추정 오류를 진단하고 수정하기 어려워, 잘못된 영역 선택과 부정확한 경계가 최종 상자에 그대로 남게 됩니다. 본 연구에서는 그라운딩을 명시적 상태 구성과 상태 편집으로 분리하는 '구성 기반 편집(construct-to-edit)' 프레임워크인 CoEvolve를 소개합니다. 영역 진화 강화(Region-Evolution Reinforcement, RER)는 그라운딩 분석을 점진적인 의미-공간 궤적으로 체계화하며, 각 추론 단계에서 명시적인 후보 영역을 확정합니다. 양방향 디노이징 정밀화기(Bidirectional Denoising Refiner, BDR)는 추론 텍스트를 고정된 의미적 컨텍스트로 취급하고, 양방향 동일 위치 재구성을 통해 궤적의 좌표 필드를 정밀화합니다. 기하 및 행동 수준의 목표는 신뢰할 수 있는 후보를 통합하고 정확한 입력을 보존하거나 어노테이션에 맞게 교정하기 위한 목표 기하학 및 편집 선호도 신호를 제공합니다. 평가는 자연 이미지 및 원격 탐사 그라운딩을 포괄합니다. 9B 백본을 사용하는 CoEvolve는 그라운딩 정확도에서 최대 241B 매개변수 규모의 모델과 대등한 성능을 보입니다. 제어된 노이즈 주입 환경에서 단 한 번의 BDR 패스만으로 평균 상자 중첩도(mean box overlap)가 27%p 이상 향상되어, 상당한 위치 추정 오류로부터 강력하게 복구됨을 입증합니다. 상태-출처 비교는 명시적 상태 구성과 출처 맞춤형 편집의 상호보완성을 더욱 뒷받침합니다. 프로젝트는 https://sundongwei.github.io/CoEvolve_Project/ 에서 확인할 수 있습니다.
최근 딥 생성 신경망은 정교한 텍스트 프롬프트를 활용하여 정밀한 이미지 및 비디오 편집에서 전례 없는 성능을 달성했습니다. 그러나 이러한 모델의 효과는 대규모의 라벨링된 지도 학습 이미지 데이터셋에 크게 의존하며, 이는 확보하기가 매우 어려울 수 있습니다. 이는 레이블 데이터와 겹치는 경우가 매우 드물고, 드물게 겹치는 경우에도 도메인 이동(domain shift)을 겪는 위성 기기의 경우 특히 두드러집니다. 본 논문에서는 위성 라디오미터(radiometer) 영상의 비지도 도메인 적응(unsupervised domain adaptation)을 위한 플로우 매칭(flow matching) 모델의 잠재력을 연구합니다. 우리의 주요 기여는 서로 다른 위성 기기를 조건으로 플로우 매칭 모델의 결정론적 상미분방정식(ordinary differential equations)의 일부를 활용하여 정밀한 도메인 정렬을 달성하는 새로운 비지도 방식입니다. 우리 접근법의 핵심적인 강점은 섭동(perturbation)이 이론상 전단사(bijective)이므로 임의의 도메인 간에 적응하면서도 필수적인 정보를 보존할 수 있다는 점입니다. GPM-Core 위성군을 대상으로 수행한 광범위한 실험을 통해 조건부 도메인 적응의 이점을 입증하였으며, 특히 라디오미터 영상 기반 강수량 추정 성능을 크게 개선함을 보여줍니다.
연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.
원격 탐사 비전-언어 모델(VLM)은 지구 관측(Earth Observation) 데이터와 다양한 태스크에 대해 개방형 추론(open-ended reasoning)을 지원하도록 점점 더 요구받고 있습니다. 이 분야의 최근 진전은 대부분 새로운 인코더, 정렬(alignment) 모듈 또는 태스크별 융합 메커니즘을 도입하는 원격 탐사 특화 아키텍처 설계를 통해 주도되었습니다. 본 연구에서는 이러한 아키텍처적 특화의 필요성에 의문을 제기합니다. 우리는 일반적인 능력을 갖춘 비전-언어 모델이라도 다양한 데이터와 태스크 전반에 걸쳐 충분한 규모로 학습(training)된다면, 까다로운 원격 탐사 벤치마크에서 경쟁력 있거나 최고 수준(SOTA)의 성능을 달성할 수 있음을 보여줍니다. 우리 모델은 텍스트로 직접 답변하거나 분할(segmentation) 및 그라운딩(grounding)을 위한 위치 특정 도구를 호출할 수 있는 단일 언어 정책을 사용합니다. 이러한 이종 동작을 학습시키기 위해, 우리는 매우 다양한 입력 유형에 걸친 객관식 VQA, 자유 형식 VQA, 캡셔닝, 검출 및 분할을 포괄하는 적응형 태스크 보상을 갖춘 멀티태스크 강화학습(reinforcement learning) 프레임워크를 사용합니다. 우리의 접근 방식은 고해상도, 다중 시점(multi-temporal), 멀티모달 및 다각도(multi-view) 태스크를 포함한 광범위한 벤치마크 세트 전반에서 경쟁력 있는 결과를 달성합니다. 나아가 학습 데이터가 스케일링됨에 따라, 우리 실험은 분포 내외(in- and out-of-distribution) 대부분의 태스크 전반에서 태스크별 데이터 다양성과 상관관계를 갖는 일관된 성능 향상을 보여줍니다. 이러한 결과는 원격 탐사 VLM에 있어 아키텍처적 새로움이 없더라도 데이터 규모만으로 충분함을 시사합니다.
고대림은 인위적 교란이 거의 없는 상태에서 수세기에 걸쳐 형성되어 구조적으로 복잡하고 생물다양성이 높은 임분을 이룬다. 유럽에서는 이를 보호하려면 개별 임분 단위로 정확하면서도 대륙 전역에 배포 가능한 지도화가 필요하다. 지리공간 파운데이션 모델(GFM) 임베딩은 라벨이 부족한 토지 분류를 가능하게 하지만, 고대림 탐지에 대한 그 가치는 아직 알려져 있지 않다. 본 연구에서는 알프스 생물지리구(Alpine Biogeographic Region)에 전형적인 너도밤나무-가문비나무 경관인 루마니아 남부 카르파티아 211,893 ha에 걸쳐 고대림을 지도화한다. 고대림 및 비고대림 임분에 대한 고신뢰·전문가 기반 참조 라벨을 구축한다. 지형 및 인간 접근 예측변수로 구성된 공통 기준선에 AlphaEarth, TESSERA v2, Sentinel-1/2 특징을 추가한 뒤, 잔여 공간 자기상관을 줄이기 위해 10 km 학습-검증 버퍼 유·무에 따른 공간 블록 검증 하에서 이를 비교한다. 버퍼를 적용하면 GFM 및 Sentinel-1/2 예측변수가 기준선 대비 정밀도-재현율 AUC를 0.21–0.25 [95% CI: 0.15–0.34]만큼 높여, 스펙트럼 데이터에 공간적으로 견고한 고대림 신호가 포함됨을 시사한다. PR-AUC 0.84 [0.79–0.88]에서 TESSERA는 버퍼 없는 공간 검증 하에서 Sentinel-1/2(+0.08 [+0.05–+0.11]) 및 AlphaEarth(+0.08 [+0.04–+0.12])보다 우수하다. 그러나 10 km 버퍼에서는 이 우위가 각각 +0.04 [-0.01–+0.11] 및 +0.03 [-0.04–+0.10]로 줄어들어, 차이가 없음과 일치하는 구간이 된다. 10 m 해상도에서는 합성곱 신경망(CNN)이 픽셀 기반 XGBoost보다 이점을 주지 않는다. 국가·대륙 규모 제품 4종과의 비교는 비고대림 라벨의 중요성을 보여 주며, 현장 보정 지도와 본 연구 예측 간 81% 일치를 드러낸다. 고대림 탐지 모델을 보지 못한 경관으로 전이할 때 버퍼 공간 검증이 필수적임을 결론짓고, 후속 연구를 위해 라벨과 예측을 공개한다.
위성 관측으로부터 행성경계층 고도(PBLH)를 추정하는 것은 대기 상단 복사휘도(top-of-atmosphere radiances)와 지표 부근 대기 구조 간의 간접적인 관계로 인해 까다로운 회귀 문제입니다. 위성 통과 데이터의 멀티모달 특성과 공간적 불완전성을 처리할 수 있는 아키텍처의 부재, 그리고 적절한 데이터셋의 부족으로 인해 그동안 발전이 제한적이었습니다. 본 논문에서는 이전 연구에서 소개한 MetOp 복사휘도와 ERA5 PBLH 레이블을 결합한 대규모 데이터셋을 기반으로 세 가지 기여를 제시합니다. 첫째, 픽셀 단위 회귀, 관측폭(swath) 단위 시퀀스 모델, 그리고 전체 궤도 통과 영역에서 작동하는 합성곱 및 트랜스포머 모델을 아우르는 8가지 접근법에 걸쳐 벤치마크를 구축합니다. 둘째, 입력 블록에 대한 그룹화된 샤플리 분해(grouped Shapley decomposition)를 사용하여 결과 모델이 실제로 무엇에 의존하는지 정량화합니다. 셋째, 마스킹된 입력 처리 방식을 통해 전천후 조건에서 작동할 수 있는 최적의 성능을 가진 아키텍처인 이중 인코더 트랜스포머를 제시합니다. 제안된 모델은 별도로 분리된 글로벌 테스트 세트에서 MAE = 155.8 m를 달성하여 모든 평가 하위 집합에서 모든 기준선(baseline)을 능가했습니다. TEAMx 관측 캠페인과 겹치는 이틀 동안 획득된 30개의 분포 외(out-of-distribution) 그래뉼(granule)에서도 MAE = 165.3 m를 달성하여 동일한 데이터로 학습된 픽셀 단위 기준선(MAE = 197 m)을 능가했습니다.
원격탐사 영상에서의 visual grounding은 지시 표현(referring expression)으로 기술된 객체를 찾는 것을 목표로 한다. 대부분의 기존 방법은 수평 경계 상자(bounding box)를 예측하며, 이는 임의 방향을 가진 객체에 대해 종종 부정확하다. 이 한계를 해결하기 위해 세 가지 상보적 설계를 갖춘 방향 객체 visual grounding용 모델 계열 O²-VG를 제안한다. 구체적으로 O²-VG-Trans는 방향 객체 visual grounding을 위한 교차 모달리티 트랜스포머이며, 모델 계열을 위한 강력한 판별(discriminative) 기반을 마련한다. 이를 바탕으로 O²-VG-Uni는 특정 텍스트 프롬프트 없이 가능한 전경 객체에 대한 범용 방향 proposal을 예측하며, 캐시된 proposal 임베딩을 통한 객체 검색(retrieval)도 지원한다. 이러한 범용 방향 proposal을 입력 프롬프트로 사용하는 O²-VG-VLM은 자回归적(autoregressive) 비전-언어 모델로, 멀티 토큰 예측(multi-token prediction)을 통해 방향 상자 토큰 블록을 병렬로 생성한다. 또한 원격탐사 영상에서 방향 객체 visual grounding을 위한 데이터셋 DIOR-R-RSVG를 구축하였으며, 학습 및 평가를 위해 영상, 표현, 방향 상자 삼元组(triplet)을 제공한다. O²-VG 계열은 판별적 트랜스포머와 생성형 비전-언어 모델을 아우르는 유연한 프레임워크를 제공하며, 여러 벤치마크에서 우수한 성능을 달성한다. 코드는 https://github.com/wokaikaixinxin/ai4rs 에서 이용할 수 있다.
원격 탐사 변화 탐지(RSCD)는 토지 피복 변화 및 도시 개발을 모니터링하는 데 필수적입니다. 그러나 대부분의 방법은 픽셀 수준의 변화 마스크를 요구하며, 이는 주석 작업에 많은 비용과 시간이 소요됩니다. 약지도(weakly supervised) 방식은 이미지 수준의 변화 레이블을 사용하여 이러한 비용을 줄입니다. 하지만 이러한 레이블은 변화의 발생 여부만을 나타내므로, 모델이 추가적이고 복잡한 메커니즘을 통해 변화의 위치와 의미론적 의미를 복원해야 합니다. 이러한 누락된 정보는 무엇이 변하고 무엇으로 바뀌며 어디에서 발생하는지 설명하는 변화 캡션을 통해 직접 제공될 수 있습니다. 따라서 본 연구에서는 수동으로 주석을 단 변화 마스크 없이 변화 마스크를 학습하기 위한 유일한 태스크 특화 지도 정보로 변화 캡션을 활용하는 변화 캡션 유도 RSCD를 소개합니다. 제안하는 프레임워크는 두 가지 구성 요소로 이루어져 있습니다. 각 캡션과 일치하는 제어된 변화를 갖는 대규모 시계열 원격 탐사 이미지 쌍을 생성하는 캡션 기반 생성 파이프라인과, 캡션의 전이 의미론에 의해 유도되는 변화 탐지기입니다. 이 탐지기는 의미-외형 일치 프레임워크(SAAF)를 사용하여 캡션 기반 의미론적 반응과 RGB 차이를 결합해 변화 위치를 특정하며, 텍스트 조건화는 조밀 예측(dense prediction)을 유도합니다. 새롭게 구축된 Flair-RSGen 데이터셋 및 WHU-CDC에서의 실험 결과, SAAF가 평가 프로토콜 하에서 매크로 평균 IoU 및 F1 점수 모두 가장 유사하게 재현된 제한적 지도 베이스라인들을 능가함을 보여줍니다. 코드는 https://github.com/qianyuancs/SAAF 에서 공개되어 있습니다.
다중 소스 원격 탐사 이미지 분류는 스펙트럼, 구조, 기하 정보의 상호 보완성으로 인해 점점 더 많은 관심을 받고 있다. 그러나 기존 방법은 여전히 두 가지 한계를 겪는다: 불충분한 의미적 문맥 모델링, 그리고 미세한 공간 정렬 오차로 인한 신뢰할 수 없는 특징 융합이다. 이를 해결하기 위해 다중 소스 원격 탐사 이미지 분류를 위한 Semantic-Guided Fusion Network(SGFNet)를 제안한다. 구체적으로 Semantic Mixing Convolution Block(SMCB)는 특징 표현 간 문맥적 관계에 따라 의미 인식 합성곱 커널을 동적으로 생성하도록 설계했다. 또한 Frequency Modulated Fusion Block(FMFB)을 도입하여 주파수 영역에서 교차 모달 상호작용을 수행하며, 이는 미세한 공간 정렬 오차의 영향을 효과적으로 완화하고 상보적 정보 융합을 개선한다. Augsburg 및 Houston 2018 데이터셋에서 수행한 광범위한 실험은 제안한 SGFNet이 여러 최신 기법을 일관되게 능가함을 보여준다. 코드는 https://github.com/oucailab/SGFNet 에서 공개적으로 이용할 수 있다.
초고해상도(VHR) 원격탐사 영상에서의 방향성 선박 검출은 길쭉한 선체 기하와 복잡한 항만 장면에서의 밀집된 목표 분포로 인해 여전히 어려운 과제이다. 기존 방법들은 일반적으로 기하 표현과 중복 억제를 각각 따로 다룬다. 이 문제들을 함께 해결하기 위해, 우리는 두 가지 상보적 구성 요소를 갖춘 방향성 선박 검출기를 제안한다. C3k2_Strip 모듈은 직교 스트립 합성곱을 사용하여 길쭉한 선체 구조를 더 잘 포착하고, Class-Aware Direction-Aware Exclusion Loss(CA-DAEL)는 클래스, 방향, 신뢰도 단서를 이용해 중복 예측을 억제한다. HRSC2016과 DIOR-R에서의 실험은 각각 78.45% 및 53.71%의 mAP50:95를 달성하며, 파라미터는 2.91M에 불과하다. HRSC2016에서 제안 방법은 YOLOv11-OBB 기준선 대비 mAP50:95를 6.32 percentage points 향상시켜, 정확한 방향성 선박 검출에서의 효과를 보여준다.
신뢰할 수 있는 농업 수확량 통계는 일반적으로 거친 행정 구역 단위로 보고되지만, 현대 지리공간 기계학습 방법은 공간적으로 명시적인 픽셀 수준 지도가 필요하다. 이러한 불일치는 멀티모달 지구 관측 데이터를 이용한 작물 수확량 학습을 위한 대규모 벤치마크 개발을 제한해 왔다. 공개된 미국 카운티 수준 작물 수확량 통계를 약지도 픽셀 수준 작물 시계열로 변환하기 위한 재현 가능한 벤치마크 AgroBench를 제시한다. 각 작물 픽셀 시계열은 직접 측정된 픽셀 수준 수확량 라벨 대신, 카운티 수준 수확량 값을 약한 지도 신호로 짝지어 사용한다. 지리공간 데이터 생성 파이프라인은 USDA 작물 수확량 통계를 작물별 토지 피복 마스크, Sentinel-2 다중분광 영상, Sentinel-1 합성 개구 레이더(SAR) 관측, 기후 변수, 지형 정보와 통합하여 생육기 동안 개별 작물 픽셀을 기술하는 시간 정렬 멀티모달 시퀀스를 생성한다. 결과 벤치마크는 미국 주요 5개 작물에 대해 8개 생육기(2017–2024)에 걸친 5,107개 카운티-연도 조합, 788,654개의 고유 작물 픽셀에서 1,300만 건 이상의 관측치를 포함한다. 표준화된 평가를 위해 Leave-One-Year-Out 평가 프로토콜을 사용한 작물 수확량 예측 벤치마크를 수립하고, 대표적인 기계학습 모델에 대한 기준선 결과를 제공한다. 데이터 생성 파이프라인, 벤치마크 데이터셋, 평가 프로토콜 전체를 공개함으로써 AgroBench는 약지도 학습, 멀티모달 원격 탐사, 시공간 모델링, 농업용 지리공간 파운데이션 모델에 관한 향후 연구를 위한 재현 가능한 토대를 제공한다.
위성 영상은 시점, 해상도, 스케일 변화, 그리고 작은 객체의 빈번한 존재라는 점에서 자연 이미지와 다르며, 영역 수준의 공간적 추론과 전체론적인 장면 이해를 동시에 요구합니다. 기존의 원격 탐사 방식은 파편화되어 있습니다. 듀얼 인코더 검색 모델(model)은 스케일 확장이 용이하지만 모달리티를 교차 배치(interleave)할 수 없는 반면, 생성형 어시스턴트는 그라운딩(grounding)을 지원하지만 검색에는 비효율적입니다. 벤치마크 역시 이러한 분할을 반영하고 있습니다. 교차 배치 평가는 주로 생성형 어시스턴트를 대상으로 하는 반면, 크로스 모달 검색 벤치마크는 듀얼 인코더를 대상으로 합니다. 이러한 격차를 해소하기 위해, 단일 랭킹 프로토콜 하에 21개 작업에 걸쳐 크로스 모달 및 교차 배치 검색을 평가하여 기존 검색뿐만 아니라 영역 및 지리 인식 능력에 대한 검색 모델의 종합적인 비교를 가능하게 하는 통합 원격 탐사 벤치마크인 RSMEB를 소개합니다. 강력한 참조 기준선(baseline)으로서, 이미지, 텍스트, 바운딩 박스, 지리 좌표 토큰(token)을 하나의 시퀀스로 묶고 대조 학습(training)을 통해 통합 임베딩(embedding)을 학습하는 원격 탐사 맞춤형 인스트럭션 조건부 단일 인코더 교차 배치 방식인 VLM2GeoVec을 제시합니다. RSMEB 전반에서 VLM2GeoVec은 제로샷(zero-shot) 환경의 기존 장면 분류(classification) 및 텍스트-이미지 검색에서 경쟁력을 유지하면서도, 영역-캡션 검색에서 26.6% P@1(+25%p), 지칭 표현(referring-expression) 검색에서 32.5%(+19%p), 의미론적 지리 인식 검색에서 17.8%(이전 최고치 대비 >3배)를 달성합니다. 제안된 제품군과 참조 기준선은 함께 평가를 표준화하고 확장 가능한 검색 및 영역/지리 인식 그라운딩을 위한 통합 임베더를 제공합니다. 코드, 모델 체크포인트 및 데이터는 https://github.com/emasa/VLM2GeoVec 에서 확인할 수 있습니다.
토지 자원 모니터링 및 국방 보안 분야의 실무 수요에 기반하여, 본 논문은 원격 탐사 카피-무브 질의응답(Remote Sensing Copy-Move Question Answering, RSCMQA) 태스크를 제안한다. 기존의 원격 탐사 시각 질의응답(Remote Sensing Visual Question Answering, RSVQA)과 달리, RSCMQA는 복잡한 조작 시나리오를 해석하고 객체 간 관계를 추론하는 데 초점을 둔다. 우리는 14개국 29개 서로 다른 지역의 영상으로 구성된 글로벌 RSCMQA 데이터셋 모음을 제시한다. 구체적으로 기본 데이터셋 RS-CMQA, 범주 균형 데이터셋 RS-CMQA-B, 고진실성 데이터셋 Real-RSCM, 확장 데이터셋 RS-TQA, 확장 범주 균형 데이터셋 RS-TQA-B 등 서로 다른 다섯 개의 데이터셋을 제안한다. 이 데이터셋들은 포괄성, 균형, 도전적인 시나리오를 보장하면서 해당 분야의 중요한 공백을 메운다. 또한 영역 판별 유도 다중모달 카피-무브 위조 인지 프레임워크(CMFPF)를 도입하여, 원본 영역과 조작된 영역 간 차이와 연관에 대한 프롬프트를 활용함으로써 조작된 영상에 대한 질문 응답 정확도를 향상시킨다. 광범위한 실험을 통해 제안 방법이 일반 VQA 및 RSVQA 모델에 비해 RSCMQA에 대해 더 강력한 벤치마크를 수립함을 보여준다. 데이터셋과 코드는 https://github.com/shenyedepisa/RSCMQA 에서 공개되어 있다.
원격 탐사(RS) 멀티모달 대규모 언어 모델(MLLM)은 영어로만 학습(training) 및 평가(evaluation)되는 반면, 텍스트 전용 인스트럭션 데이터는 100개 이상의 언어를 포괄합니다. 본 논문에서는 다국어 RS 예시가 단 하나도 없이도 영어 RS MLLM에 새로운 언어를 추가하는 방법론인 MODL(Mutually Orthogonal Domain-Language composition)을 제안합니다. 이는 영어 RS 영상으로 학습된 도메인 LoRA와 텍스트만으로 학습된 언어 LoRA를 함께 학습하되, 학습 전반에 걸쳐 모든 층(layer)에서 두 업데이트가 상호 직교하도록 유지하는 단일 손실(loss) 항 하에서 공동 학습됩니다. 이 제약 조건이 해당 방법론의 핵심 요소입니다. 이 제약이 없으면 동일한 학습을 진행하더라도 RS 질문에 정답을 맞히지만 영어로 답하게 되며, 베이스 모델(model)의 다국어 텍스트 능력을 크게 훼손하고 세 번의 시드 중 한 번은 발산합니다. 학습이 필요 없는 병합부터 기존의 직교성 변형 기법에 이르는 16가지 대안들 역시 동일한 방식으로 실패합니다. MODL은 모든 시드에서 이러한 실패를 모두 해결합니다. 최상의 대안이 27%에 도달하고 대부분 8% 미만에 머무는 반면, MODL은 56-71%의 확률로 대상 언어로 올바른 답변을 생성하며, 텍스트 능력은 학습되지 않은 베이스 모델 수준을 유지하고, 스페인어의 경우 다국어-멀티모달 데이터 없이도 Qwen2.5-VL-7B를 능가합니다. 단일 5개 언어 어댑터는 세 가지 시드 전반에서 영어, 스페인어, 베트남어의 성능을 온전히 유지하지만, 비라틴 문자는 여전히 미해결 과제로 남아 있습니다.
이산화질소(NO2)는 화석 연료의 불완전 연소로 대기 중에 배출되는 흔한 대기오염 물질로, 인체의 호흡기 및 심혈관 질환과 관련이 있다. 대기 중 NO2 농도는 희소한 고정 모니터 네트워크로 평가되는 대기질 한계 기준을 통해 규제된다. 개정된 EU 대기질 지침(2024/2881)은 2030년부터 충족해야 하는 일일 NO2 한계 기준을 도입한다. 현재로서는 규제 모니터링 네트워크나 기존의 조악한 연평균 모델 모두 규정 준수를 평가하는 데 필요한 시공간 해상도로 NO2 농도를 해석해낼 수 없다. 본 연구에서는 지상 모니터, 위성, 재분석, 토지 이용, 교통 및 배출 데이터를 결합하여 모든 위치에서 보정된 예측 분포를 반환하는 머신러닝 모델을 사용해 유럽 전역의 NO2를 시간당, 10m 해상도로 지도화한다. 별도로 확보한(held-out) 규제 모니터와 독립적인 시민 과학 캠페인을 대상으로 검증한 결과, 이 지도는 유럽 110개 대도시권에서 고해상도의 시공간적 NO2 구배를 해석해낸다. 우리는 이들 지역에서 일일 규정 준수 통계량을 재구성하였으며, 규제 모니터링 네트워크상으로는 준수하는 것으로 간주된 91개 EU 대기질 구역에서 한계 초과를 발견하였고, 이는 약 1억 3,500만 명의 인구를 포괄한다. 대기질 구역 및 모니터 위치를 넘어서, 지도화된 지역 인구의 약 9~9.4%(2,000만 명)가 일일 NO2 한계가 초과되는 지역에 거주하는 것으로 추정된다. 이 고해상도 지도는 2030년 한계 기준 준수 여부를 인구 규모로 평가할 수 있는 경로를 제공한다.
다중 과제 비주얼 그라운딩은 모델이 언어적 의미를 공동으로 이해하고 정확한 시각적 위치 지정(localization)과 분할(segmentation)을 수행해야 한다. 멀티모달 대규모 언어 모델의 성공에도 불구하고, 이를 여러 그라운딩 목표에 효과적으로 적응시키는 것은 여전히 어렵다. 기존 방법들은 공유 표현을 통해 과제 간 협력을 강제하는 경우가 많지만, 과제 지향적 특징 관심 사이의 내재적 충돌은 간과한다. 본 논문에서는 $\textbf{DeCo}$를 소개한다. 이는 효율적인 $\textbf{De}$couple-to-$\textbf{Co}$uple 학습 프레임워크로, 두 단계 패러다임을 통해 이 딜레마를 해결한다: 과제별 표현 분리(decoupling)에 이어 상보적 사전(prior) 결합(coupling)이다. 구체적으로, 먼저 Task-aware Semantic Decoupling(TSD)을 제안하여 두드러진 단어 수준(word-level) 안내 하에 공유 시각 단서를 개별 특징으로 라우팅함으로써 위치 지정과 분할 간 표현 간섭을 완화한다. 더 나아가, 분할은 밀집(dense) 감독으로 인해 정보가 풍부한 위치 지정 사전을 자연스럽게 제공한다는 점을 관찰한다. 이 통찰에 기반하여, Hybrid Prior Coupling(HPC)을 도입한다. 이는 문장 수준 의미 사전과 마스크에서 유도된 공간 사전을 통합하여 그라운딩을 강화한다. 동결(frozen)된 멀티모달 인코더 위에 구축된 DeCo는 경량의 학습 가능 파라미터만 필요하면서도 여러 그라운딩 목표에 걸쳐 강한 일반화를 달성한다. RefCOCO/+, G-Ref, ReferIt, Flickr, DIOR-RSVG, SARVG1.0, RRSIS-D, RIS-LAD, RefDIOR에 대한 광범위한 실험은 DeCo가 자연 영상 및 원격 탐사(remote sensing) 벤치마크 모두에서 최신(state-of-the-art) 성능을 달성함을 보여준다. 코드와 모델은 https://github.com/xiaoqiang-lu/DeCo 에서 이용할 수 있다.
원격 탐사 영상의 개방형 어휘 의미 분할(open-vocabulary semantic segmentation, OVS)은 원격 탐사 데이터의 공간적 특성에 대한 강한 일반화와 적응을 요구하는 어려운 픽셀 수준 과제이다. 기존의 비전-언어 파운데이션 모델은 일반 도메인에서는 우수한 성능을 보이지만, 이미지 수준 분류 설계로 인해 고해상도 원격 탐사 분할에 필요한 공간 사전 정보(spatial priors)가 약화된다. 즉, 구조적인 공간적 관계는 깊은 특징(feature) 변환 과정에서 저하되고, 미세한 공간적 세부 정보는 다운샘플링 과정에서 손실된다. 이러한 상호 보완적인 결함을 해결하기 위해, 우리는 표현(representation) 파이프라인의 두 단계에서 공간 사전 정보를 복원하는, 학습이 필요 없는(training-free) 원격 탐사 개방형 어휘 분할 프레임워크인 SatOV를 제안한다. 구체적으로, 잔차 QQ 어텐션(Residual QQ Attention, ResQQ)은 CLIP의 중간 층(layer)에서 Query-Key 셀프 어텐션을 추출하고, 이를 잔차 결합(residual combination)을 통해 마지막 층의 Query-Query 어텐션과 융합함으로써 마지막 층 표현에 의해 억제된 구조적 공간 사전 정보를 복원한다. 공간적으로 변조된 업샘플링(Spatially Modulated Upsampling, SatUp)은 원본 고해상도 RGB 이미지를 공간적 안내(spatial guidance)로 사용하며, 공간 특징 변조와 안내된 크로스 어텐션을 결합하여 픽셀 수준의 텍스처와 경계를 재구성한다. DOTA, UDD, LoveDA, Vaihingen에 대한 광범위한 실험을 통해 SatOV가 학습이 필요 없는 OVS를 일관되게 개선하며, 최신(state-of-the-art) 기법들과 비교해 경쟁력 있는 정량적 및 정성적 결과를 달성함을 보인다. 이러한 결과는 원격 탐사 개방형 어휘 분할에서 표현 단계와 공간 해상도 단계 모두에서 공간 사전 정보를 복원하는 것의 효과를 입증한다.
고해상도 궤도 영상은 화성 표면에 대한 풍부한 기록을 제공하지만, 지질학적 라벨의 희소성으로 인해 지도 학습 기반의 표현 학습(representation learning)에는 한계가 있다. 본 논문에서는 올림푸스 산(Olympus Mons)의 HiRISE 관측 자료로부터 시각 및 멀티모달(multimodal) 표현을 학습하기 위한 지리공간 인지형 파이프라인인 MarsRecon을 제시한다. 이 파이프라인은 NASA Planetary Data System 데이터를 캘리브레이션하고, 유효한 지리참조 패치를 추출하며, 라벨이 없는 영상에 대해 마스크드 오토인코더(masked autoencoder)를 학습한다. 주요 Stage A 모델 시리즈에서 입력 해상도를 높이고 유효하지 않은 토큰(token)을 필터링함으로써 홀드아웃 재구성 손실을 0.1751에서 0.1342로 감소시켰다. 이어 시각 인코더를 동결(freeze)하고 해당 특징을 관측 텍스트, 좌표, 국소-전역(local-global) 이미지 컨텍스트와 정렬한다. 현재 가장 성능이 뛰어난 국소 우선(local-primary) 모델은 홀드아웃 테스트 분할에서 0.3787의 이미지-텍스트 recall@10(재현율@10), 0.9161의 텍스트-이미지 recall@10, 0.4350의 국소-전역 recall@10을 달성한다. 이러한 결과는 화성에 특화된 실용적인 사전학습(pre-training) 및 검색 파이프라인을 구축함을 보여주며, 해당 임베딩(embedding)의 더 폭넓은 유용성을 평가하기 위해서는 추가적인 크롭 중첩 제어 및 다운스트림 지질학적 평가가 필요하다.
ProtoFlow는 원격 탐사 분할(remote sensing segmentation)의 클래스 증분 학습(class-incremental learning)에서 클래스 프로토타입(prototype)을 시간 인덱스 궤적으로 모델링하고, 명시적 시간 벡터 필드를 통해 저곡률 운동과 클래스 간 분리를 동시에 강제하는 프레임워크다. 표준 클래스 및 도메인 증분 벤치마크에서 강력한 기준선 대비 mIoUall 최대 1.5–2.0포인트 향상 및 망각 감소를 달성했다.
원격 탐사 다중 모달 대규모 언어 모델(RS-MLLM)은 일반적인 항공 영상 이해를 향상시켰다. 그러나 지구 관측 응용은 미세한 시나리오 특화를 요구하며, 고품질 시나리오 데이터의 부족과 불완전한 역량 커버리지에 제약을 받는다. 우리는 이러한 적응을 역량 격차 주도 사후 학습 문제로 공식화하고 채우기 후 진전(FBA)을 제안한다. 목표 도메인 샘플에 대한 단일 단계 지도 미세조정(SFT)에 의존하는 대신, FBA는 시나리오 특화를 향해 진전하기 전에 선행 역량 격차를 먼저 메운다. 우리는 대표적인 다중 소스 시나리오인 해안 항만 이해를 위해 CPRS(Coastal-Port Remote Sensing)를 구성하여 FBA를 구현한다. CPRS는 세 층의 지도 데이터셋으로, 다음 세 단계의 순차적 파이프라인과 결합된다: (1) 조감도 시각-언어 정렬을 위한 RS 의미 앵커링; (2) 서로 다른 모달리티 하에서 목표 및 브리징 시나리오 간 공유 RS 사전 지식(prior)의 도메인 브리지 수렴; (3) 하류 성능을 위한 근거 기반 시나리오 튜닝. 우리는 지각, 공간 이해, 견고성, 생성을 포괄하는 8개 트랙 진단 벤치마크 HarborEval을 구축한다. 동등한 학습 예산 하에서 HarborEval 점수는 LLaVA-v1.5에서 Direct-SFT의 57.95에서 FBA의 70.29로, Qwen3-VL에서는 81.09에서 83.37로 향상된다. FBA는 Collapsed-SFT도 능가하며, 항만 관련 VRSBench/RSVQA 부분집합과 OpenEval에서도 선두를 달린다. 단계별 및 역할 대체 분석은 점진적 격차 메우기와 단계별 역할을 검증한다. CPRS, HarborEval, 코드, 학습된 가중치에 대한 공개 예시 및 릴리스 업데이트는 https://github.com/Z0ngL1ng/filling-before-advancing 에서 확인할 수 있다.