arXiv:2411.19758

LaVIDE: A Language-Vision Discriminator for Detecting Changes in Satellite Image with Map References

Shuguo Jiang, Fang Xu, Sen Jia, Gui-Song Xia

제출 2024-11-29

원문 초록

Change detection, which typically relies on the comparison of bi-temporal images, is significantly hindered when only a single image is available. Comparing a single image with an existing map, such as OpenStreetMap, which is continuously updated through crowd-sourcing, offers a viable solution to this challenge. Unlike images that carry low-level visual details of ground objects, maps convey high-level categorical information. This discrepancy in abstraction levels complicates the alignment and comparison of the two data types. In this paper, we propose a \textbf{La}nguage-\textbf{VI}sion \textbf{D}iscriminator for d\textbf{E}tecting changes in satellite image with map references, namely \ours{}, which leverages language to bridge the information gap between maps and images. Specifically, \ours{} formulates change detection as the problem of ``{\textit Does the pixel belong to [class]?}'', aligning maps and images within the feature space of the language-vision model to associate high-level map categories with low-level image details. Moreover, we build a mixture-of-experts discriminative module, which compares linguistic features from maps with visual features from images across various semantic perspectives, achieving comprehensive semantic comparison for change detection. Extensive evaluation on four benchmark datasets demonstrates that \ours{} can effectively detect changes in satellite image with map references, outperforming state-of-the-art change detection algorithms, e.g., with gains of about $13.8$\% on the DynamicEarthNet dataset and $4.3$\% on the SECOND dataset.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2605.09165v3cs.LG공통 태그 Mixture-of-Experts

희소 레이어는 루프형 언어 모델의 스케일링에 핵심적이다

Sparse Layers are Critical to Scaling Looped Language Models

루프형 언어 모델은 트랜스포머 레이어 집합을 깊이 방향으로 반복하여 메모리 비용을 줄이고 루프 경계에서 자연스러운 조기 종료 지점을 제공한다. 그러나 루프형 모델은 고유한 레이어를 갖는 표준 트랜스포머만큼 유리하게 스케일링되지 않는다. 우리는 루프 유무에 따라 표준 트랜스포머와 전문가 혼합(MoE) 트랜스포머를 비교하여 두 가지 주요 결과를 얻는다. 첫째, 밀집 루프형 모델은 그렇지 않은 반면 Looped-MoE 모델은 표준 기준 모델보다 더 잘 스케일링됨을 확인한다. 우리는 이를 루프 간 라우팅 발산에서 비롯된 것으로 추적한다. Looped-MoE 모델에서는 동일한 공유 레이어를 통과할 때마다 서로 다른 전문가가 활성화되어, 추가 매개변수 없이 표현력을 회복한다. 둘째, 루프형 모델은 표준 모델보다 조기 종료에서 더 나은 연산-품질 절충을 가진다. 각 루프가 최종 출력을 생성하는 동일한 레이어로 끝나므로 루프 경계는 더 우수한 종료 지점이며, 이는 이 지점에서 출력이 더 일찍 수렴한다는 사실로 확인된다. 요약하면, 우리는 루프형 모델을 스케일링하기 위한 명확한 방향을 제시한다. 조기 종료를 갖춘 Looped-MoE 모델은 대규모에서 표준 트랜스포머를 능가할 수 있을 뿐 아니라, 품질 저하를 최소화하면서 상당한 메모리 및 추론 절감도 가능하게 한다.

arXiv:2607.10796v2cs.CV공통 태그 Mixture-of-Experts

대규모 비전-언어 모델에서의 인지 전문가 혼합

Mixture of Cognitive Experts in Large Vision-Language Models

대규모 시각-언어 모델(LVLM)은 시각 입력과 텍스트 입력 모두에 대한 강력한 추론 능력을 필요로 한다. 최근 연구는 인지적 요소, 특히 다양한 표현과 메타인지가 더 나은 성능과 상관관계가 있음을 시사한다. 필요한 지각 기능의 상당수는 이미 도메인 특화 컴퓨터 비전 모델이 제공하고 있으며, 이러한 모델은 객체 탐지, 위치 특정, 상태 추론, 공간 배치 복원, 텍스트 판독을 수행하는 지각 하위 시스템으로 활용될 수 있다. 핵심 과제는 이러한 다중 인코더 전문가들을 신뢰할 수 있고 해석 가능하며 일관된 표현으로 통합하여 검증 가능성을 높이고 환각을 줄이는 것이다. 이는 시각-언어 질문이 서로 다른 인지 수준에 걸쳐 있음에도 대부분의 LVLM 파이프라인이 질의의 요구와 무관하게 동일한 지각-추론 경로를 적용하기 때문에 어렵다. 본 논문은 Bloom에서 착안한 분류 체계를 계층적 추론 프로토콜로 사용하는 증거 기반 멀티모달 추론 프레임워크를 제안한다. 2단계 인지 언어화 과정은 먼저 전문가 출력을 짧고 원자적인 증거 진술로 분해하여 문자적 증거 요약(Literal Evidence Summary)을 생성하고, 이어서 Bloom 언어화(Bloom Verbalization)를 통해 이 항목들을 단계적 추론 흔적으로 변환한다. 경량 추론 흔적 모듈(Reasoning Trace Module)은 이 흔적을 정량적으로 분석하여 증거 사용과 추론 진행을 명시적으로 드러낸다. 실험 결과 지각과 추론 모두에서 향상이 나타났으며, 진단 결과 질의에 따라 서로 다른 인지 진입 수준과 증거 사용 궤적이 유도됨을 확인하였다.

arXiv:2609.27149v2cs.CV공통 태그 Change Detection

원격 탐사 변화 탐지를 위한 시간 순서화된 영역 토큰 Mamba와 로짓 공간 확산 모델

Temporally Ordered Region-Token Mamba with Logit-Space Diffusion for Remote Sensing Change Detection

원격 탐사의 변화 탐지(Change Detection, CD)는 변화된 영역을 정확히 위치시키기 위해 이시점 문맥과 세밀한 공간적 세부 정보를 함께 모델링해야 한다. 밀집 어텐션은 이시점 관계를 효과적으로 포착하지만, 계산 비용 때문에 고해상도 영상으로의 확장성이 제한된다. 반면 기존의 특징 융합과 거친 디코딩은 실제 변화와 외형 변이를 구별하고 객체 경계를 보존하는 데 어려움을 겪는 경우가 많다. 이러한 한계를 극복하기 위해, 우리는 시간적으로 구조화된 상태 공간 모델링과 로짓 공간 확산 정제를 통합한 프레임워크인 BMD-CD(Bitemporal Mamba-Diffusion for Change Detection)를 제안한다. BMD-CD는 먼저 심층 이시점 특징을 영역 토큰으로 변환하고 이를 명시적인 시간 분할로 조직하여 양방향 상태 공간 전파를 수행한다. 이어서 시간 정보를 통합하는 학습 가능한 삼각 융합(Learnable Trigonometric Fusion, LTF) 모듈과, 짧은 DDIM 스케줄로 로짓 공간에서 거친 예측을 정제하여 세밀한 고해상도 변화 지도를 생성하는 조건부 확산 디코더를 사용한다. LEVIR-CD, WHU-CD, DSIFN-CD, CDD, S2Looking에서의 광범위한 실험을 통해 제안 방법의 효과를 입증한다. BMD-CD는 WHU-CD, DSIFN-CD, LEVIR-CD, CDD에서 각각 0.923, 0.957, 0.882, 0.979의 IoU 점수를 달성하며, ValaisCD와 B-FLAIR-test에서도 강력한 제로샷 견고성을 보인다.

arXiv:2610.00663v2cs.AI공통 태그 Mixture-of-Experts

LLM에서의 전문가 격리 및 비활성화를 통한 백도어 억제

Backdoor Containment via Expert Quarantine and Shutdown in LLMs

백도어가 삽입된 대규모 언어 모델(LLM)은 정상 입력에서는 정상적으로 동작하면서 숨겨진 트리거가 주어지면 공격자가 지정한 출력을 생성할 수 있다. 기존 방어 기법은 학습 이전, 학습 중, 학습 이후, 추론 시점의 네 단계에 걸쳐 있으며, 두 가지 기본 전략 중 하나를 공유한다. 하나는 (오염된 데이터를 걸러내거나 최적화 중 그 습득을 차단하여) 백도어 학습을 억제하는 것이고, 다른 하나는 완전히 백도어가 형성된 모델이 만들어진 뒤에 (모델 가중치를 복구하거나 입력을 게이팅하여) 학습한 다음 정화하는 것이다. 우리는 세 번째 전략으로 '학습하되 유도하라(learn, but channel)'를 제안한다. 이는 학습 중 백도어 형성을 허용하되, 이를 배포 시 비활성화할 수 있도록 지정된 격리 구성요소로 유도하는 것이다. 이를 위해 정규화로 유도되는 MoE 유사 환경에서 구축한 계산 효율적 격리 전략인 Quarantined Expert Shutdown(QES)을 제안한다. 구체적으로, 오염된 데이터셋이 주어지면 QES는 Transformer 기반 언어 모델에 라우팅되는 전문가별 LoRA 분기와 경량 라우터를 추가하고, 보조 라우팅 목표를 사용하여 트리거 조건부 동작을 지정된 전문가로 끌어들이면서 다른 곳에서는 정상 능력을 보존한다. 배포 시 완화는 격리된 전문가의 라우팅 가중치를 0으로 만드는 상수 시간의 단일 연산으로 귀결되며, 트리거 검사나 추가 가중치 업데이트가 필요하지 않다. 실험적으로 우리의 방법은 두 가지 과제, 세 가지 공격, 네 가지 모델 계열에 걸친 대부분의 설정에서 공격 성공률(ASR)을 100%에서 0-10%로 낮추며, 하위 과제 성능은 대체로 보존되거나 소폭만 영향을 받는다. 이러한 결과는 '학습하되 유도하라'가 생성형 LLM의 백도어 격리에서 이전에 탐구되지 않은 체제임을 확립한다.

arXiv:2606.30266v2cs.LG공통 태그 Mixture-of-Experts

지속적 모션-언어 에이전트를 향하여: 점진적 모션 이해 및 생성을 위한 LoRA 변형

Towards Continual Motion-Language Agents: LoRA Variants for Incremental Motion Understanding and Generation

모션-언어 에이전트는 인간 동작을 이해하는 방향(모션-텍스트, M2T)과 자연어로부터 동작을 생성하는 방향(텍스트-모션, T2M) 모두에서 양방향 능력을 갖추어야 한다. 기반 모델들이 정적 환경에서 높은 성능을 달성했음에도 불구하고, 동적 환경에서 운용되는 자율 에이전트는 이전에 습득한 기술을 파국적으로 망각하지 않으면서 새로운 운동 스타일이나 특수 제스처와 같은 새로운 모션 개념을 지속적으로 통합해야 한다. 본 연구에서는 순차적 태스크 노출 하에서 양방향 모션-언어 학습의 안정성-가소성 트레이드오프를 조사한다. 고정된 대규모 언어 모델(LLM) 백본을 기반으로, 태스크 간 간섭을 완화하도록 설계된 저랭크 적응(LoRA) 변형을 도입한다. 특히, 추론 시 태스크 레이블 없이 태스크별 전문가를 선택하기 위해 오토인코더 기반 라우터를 활용하는 전문가 혼합(MoE) 아키텍처를 제안한다. 이러한 방법들을 평가하기 위해, 모션 설명의 의미적 클러스터링을 통해 HumanML3D로부터 도출된 재현 가능한 5개 태스크 벤치마크를 구축한다. 실험 결과, M2T 및 T2M 방향 모두에서 높은 생성 및 캡셔닝 품질을 유지하면서 망각이 거의 발생하지 않음을 보인다. 또한, 라우팅을 통한 하드 전문가 선택이 소프트 전문가 혼합보다 품질 지표에서 유의미하게 우수하며, 이는 지속적 학습 환경에서 성능 유지를 위해 전문가 격리 보존이 중요함을 시사한다. 마지막으로, 토큰 수준의 정확도와 다운스트림 생성 품질 간의 괴리가 발생할 수 있음을 관찰하며, 이는 평생 모션-언어 에이전트에 관한 향후 연구에서 보다 포괄적인 평가 프로토콜의 필요성을 부각시킨다.

arXiv:2607.08839v2cs.CV공통 태그 Mixture-of-Experts

프로브 혼합(Mixture of Probes): 프로빙을 통한 멀티모달 LLM의 특권 모달리티 학습

Mixture of Probes: Learning from Privileged Modalities in Multimodal LLMs Through Probing

멀티모달 대규모 언어 모델(MLLM)은 일반적으로 학습 중 사용 가능한 모든 모달리티가 추론 시에도 접근 가능하다는 가정 하에 설계됩니다. 그러나 많은 실세계 환경에서는 이 가정이 성립하지 않아, 보조 모달리티가 학습 중에만 제공되는 특권 모달리티(privileged modality) 설정에서 모델이 동작해야 합니다. 이러한 모달리티들은 유용한 정보를 포함하고 있음에도 불구하고, 기존 MLLM은 모달리티를 상호 보완적 감독(supervision)의 원천이 아닌 교환 가능한 입력으로 취급함으로써 이를 효과적으로 활용하는 데 대체로 실패합니다. 우리는 MLLM 내에서 모달리티별 신호와 모달리티 공통 신호를 분리하는 새로운 프레임워크인 프로브 혼합(Mixture of Probes, MoP)을 제안합니다. 이를 통해 모델은 모달리티 의존적 구조를 보존하면서 모달리티 간 전이 가능한 표현을 학습할 수 있습니다. MoP의 핵심은, 기존 MLLM에서와 같이 최종 층 정렬에만 의존하는 대신, 공유 모달리티 인코더의 중간 표현에서 정보를 추출하고 조직하는 구조적 프로빙 메커니즘을 통해 이러한 분리를 달성한다는 점입니다. 이 분리를 지원하기 위해, 프로브 붕괴(probe collapse)를 방지하고 교차 모달리티 학습을 장려하는 프로브 분리 손실을 중심으로 한 MoP의 학습 전략인 MoP 교차 모달리티 학습(MoP Cross-modal Training, MoP-X)을 추가로 도입합니다. 우리는 특권 모달리티 설정에 맞춰진 포괄적인 평가 프로토콜 하에 4가지 모달리티와 8가지 과제에 걸친 두 도메인에서 MoP를 평가하며, 각 모달리티는 추론 시 유일한 입력으로 독립적으로 처리됩니다. MoP는 강력한 MLLM 기준 모델들을 일관되게 능가하여 최대 65%의 상대적 성능 향상을 달성함으로써, 보조 모달리티가 추론 시 사용 불가능하더라도 학습 중 효과적으로 활용될 경우 상당한 성능 향상을 제공할 수 있음을 보여줍니다. 코드, 모델 체크포인트 및 평가 프로토콜은 https://github.com/Sony/MoP에서 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.