위성 영상은 시점, 해상도, 스케일 변화, 그리고 작은 객체의 빈번한 존재라는 점에서 자연 이미지와 다르며, 영역 수준의 공간적 추론과 전체론적인 장면 이해를 동시에 요구합니다. 기존의 원격 탐사 방식은 파편화되어 있습니다. 듀얼 인코더 검색 모델(model)은 스케일 확장이 용이하지만 모달리티를 교차 배치(interleave)할 수 없는 반면, 생성형 어시스턴트는 그라운딩(grounding)을 지원하지만 검색에는 비효율적입니다. 벤치마크 역시 이러한 분할을 반영하고 있습니다. 교차 배치 평가는 주로 생성형 어시스턴트를 대상으로 하는 반면, 크로스 모달 검색 벤치마크는 듀얼 인코더를 대상으로 합니다. 이러한 격차를 해소하기 위해, 단일 랭킹 프로토콜 하에 21개 작업에 걸쳐 크로스 모달 및 교차 배치 검색을 평가하여 기존 검색뿐만 아니라 영역 및 지리 인식 능력에 대한 검색 모델의 종합적인 비교를 가능하게 하는 통합 원격 탐사 벤치마크인 RSMEB를 소개합니다. 강력한 참조 기준선(baseline)으로서, 이미지, 텍스트, 바운딩 박스, 지리 좌표 토큰(token)을 하나의 시퀀스로 묶고 대조 학습(training)을 통해 통합 임베딩(embedding)을 학습하는 원격 탐사 맞춤형 인스트럭션 조건부 단일 인코더 교차 배치 방식인 VLM2GeoVec을 제시합니다. RSMEB 전반에서 VLM2GeoVec은 제로샷(zero-shot) 환경의 기존 장면 분류(classification) 및 텍스트-이미지 검색에서 경쟁력을 유지하면서도, 영역-캡션 검색에서 26.6% P@1(+25%p), 지칭 표현(referring-expression) 검색에서 32.5%(+19%p), 의미론적 지리 인식 검색에서 17.8%(이전 최고치 대비 >3배)를 달성합니다. 제안된 제품군과 참조 기준선은 함께 평가를 표준화하고 확장 가능한 검색 및 영역/지리 인식 그라운딩을 위한 통합 임베더를 제공합니다. 코드, 모델 체크포인트 및 데이터는 https://github.com/emasa/VLM2GeoVec 에서 확인할 수 있습니다.
멀티모달 임베딩 모델은 대규모로 배포되며, 검색 인덱스, 벤치마크 결과, 행동 감사(behavioral audit)는 모두 베이스 모델의 정확한 출력에 의존한다. 기존의 매개변수 효율적 방법으로 이러한 모델을 새로운 모달리티로 확장하면 이 출력이 조용히 바뀐다. LoRA 방식의 적응은 가중치를 병합하든 병합하지 않든 텍스트 경로를 재작성하므로, 저장된 모든 임베딩이 무효가 된다. 본 논문은 모달리티 게이트 딥 어댑터(modality-gated deep adapters)를 제안한다. 이는 고정된(frozen) 멀티모달 임베딩 LLM의 모든 디코더 층에 병목(bottleneck) 어댑터를 부착하고, 이를 모달리티별 팩(pack)으로 묶어 해당 모달리티가 인코딩되는 동안에만 실행되도록 한 것이다. 그 결과 기존 출력에는 전혀 변화 없이 모달리티를 추가할 수 있다. 어떤 팩도 담당하지 않는 입력은 베이스 모델 자체의 계산 그래프를 비트 단위로 변함없이 통과하며, 함께 로드된 팩들은 정확히 0인 격리 행렬(isolation matrix)로 합성된다. 두 성질은 모두 명제(proposition)로 서술되며, 초기화 시점뿐 아니라 임의의 학습 이후에도 성립하고, 추론 시 태스크 레이블이나 라우팅 메타데이터를 필요로 하지 않으며, 공개된 체크포인트에 대한 정확한 동일성(exact-equality) 테스트로 검증된다. 고정된 2B 베이스 모델에서, (커넥터 토큰으로 주입되는) 오디오 팩은 동일하게 학습된 대조군 대비 오디오-텍스트 R@10을 +3.4~+5.4포인트 향상시켰으며, 이는 모든 시드에서 양의 값이고 11배의 데이터에서도 재현되었다. 베이스 모델의 고정된 비전 경로를 재사용하는 열화상(thermal) 팩은 모든 시드에서 사전 등록한 합격 기준을 약 7배 수준으로 넘어서며, 열화상-텍스트 R@10을 0.224에서 0.785로 끌어올렸다. 인코더 교체 실험은 부족한 용량이 어디에 있는지 보여 준다. CLAP 방식 비교에서 Whisper 계열 인코더를 능가하는 외부 오디오 인코더가 고정된 LLM 내부에서는 R@10 기준 16포인트 뒤처졌으며, 따라서 필요한 용량은 게이트 어댑터가 배치하는 바로 그 층에 있다. 본 논문은 오디오 모델, 열화상 팩, 그리고 학습·평가·불변성(invariance) 검증 스위트를 공개한다. 모델은 huggingface.co/EximiusLabs에, 코드는 GitHub에 있다.
이 논문은 비순차적 다중모달 문장 수준 임베딩에 대한 심층 분석을 제공하며, 특히 SONAR 모델에 초점을 맞춥니다. 우리는 특정 임베딩 차원이 교란에 민감하며 디코딩 이상(anomaly)의 지표로 활용될 수 있음을 입증합니다. 연속적인 인코딩과 디코딩 간의 일관성을 활용하여 정확한 탐지기를 성공적으로 구축하였습니다. 또한, 특정 관심 차원을 수정하여 이를 교정하려는 시도를 탐색합니다. 이 연구는 다중모달 표현의 신뢰성을 향상시키기 위해 임베딩 자체를 이해하고 분석하는 것의 중요성을 강조합니다.
사전학습된 다국어·멀티모달 문장 임베딩(LaBSE, SONAR, Gemini)에서 어휘적 내용을 복원하는 인수분해 선형 투영(FLiP) 모델을 제안하고, 임베딩의 75% 이상 어휘를 재현하며 기존 비인수분해 기준 모델을 크게 능가한다. FLiP를 진단 도구로 활용해 문장 인코더 간 모달리티·언어 편향을 규명하고, 다운스트림 평가 없이도 인코더의 내재적 표현 특성을 분석할 수 있다.