원격 탐사 이미지 분류를 위한 의미론 인식 계층적 일치성 학습
Semantics-Aware Hierarchical Consensus Learning for Remote Sensing Image Classification
한국어 초록
심층 학습(deep learning)은 복잡한 데이터로부터 의미론적(semantic) 정보를 추출하는 능력을 바탕으로 원격 탐사 이미지 분류에서 점차 중요해지고 있습니다. 분류 작업에는 클래스 간의 의미론적 관계를 나타내는 사전 정의된 레이블 계층 구조가 포함되는 경우가 많습니다. 그러나 이러한 계층 구조는 자주 간과되며, 대부분의 접근법은 세분화된(fine-grained) 분류 체계에만 집중합니다. 본 논문에서는 심층 신경망 아키텍처 내에 계층 레벨별 분류 헤드를 통합하고 교차 레벨 확률 프로젝터를 통해 이들의 출력을 결합하는 새로운 의미론 인식 계층적 일치성(Semantics-Aware Hierarchical Consensus, SAHC) 접근 방식을 제안합니다. 직접 예측값과 투영된 예측값은 기하학적 일치성 분포로 융합되며, 이는 자기 일관적 학습(self-consistent training) 및 선택적인 계층 인식 추론(inference)에 사용됩니다. 이 메커니즘은 계층적 분류 작업의 고유한 구조를 활용하는 기하학적 앙상블 역할을 합니다. 프로젝터는 사용자 정의 분류 체계(즉, 계층적 레이블 구조)로부터 초기화되며, 최적화 과정에서 적응적으로 정제될 수 있습니다. 제안된 SAHC 방법은 다양한 분광 및 공간 해상도를 고려하여 서로 다른 작업에서 다양한 수준의 계층적 복잡성을 가진 두 개의 벤치마크 데이터셋에서 평가됩니다. 실험 결과는 신경망 학습을 유도하는 제안된 접근 방식의 효과성과 원격 탐사 이미지 분류 작업을 위한 계층적 일치성의 견고함을 모두 보여줍니다. 소스 코드는 https://github.com/rslab-unitrento/sahc 에서 확인할 수 있습니다.
원문 초록
Deep learning has become increasingly important in remote sensing image classification due to its ability to extract semantic information from complex data. Classification tasks often include predefined label hierarchies that represent the semantic relationships among classes. However, these hierarchies are frequently overlooked, and most approaches focus only on fine-grained classification schemes. In this paper, we present a novel Semantics-Aware Hierarchical Consensus (SAHC) approach that integrates hierarchical-level-specific classification heads within a deep network architecture and combines their output through cross-level probability projectors. Direct and projected predictions are fused into a geometric consensus distribution, which is used for self-consistent training and optional hierarchy-aware inference. This mechanism acts as a geometric ensemble that leverages the inherent structure of the hierarchical classification task. The projectors are initialized from the user-defined taxonomy (i.e., the hierarchical label structure), and can be adaptively refined during optimization. The proposed SAHC method is evaluated on two benchmark datasets with different degrees of hierarchical complexity on different tasks, considering varying spectral and spatial resolutions. Experimental results show both the effectiveness of the proposed approach in guiding network learning and the robustness of the hierarchical consensus for remote sensing image classification tasks. The source code is available at https://github.com/rslab-unitrento/sahc.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2510.04916v4
- arXiv:2510.04916v3제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Wide Contextual Residual Network with Active Learning for Remote Sensing Image Classification
RSAJEV: JEV 기반 원격 탐사 분류에서 은밀한 환각 제거를 위한 학습 불필요 기권 프로토타입 메모리
RSAJEV: Training-Free Abstaining Prototype Memory for Eliminating Silent Hallucination in JEV-Based Remote Sensing Classification
멀티모달 대규모 언어 모델(MLLM)을 활용한 원격 탐사 영상의 장면 분류(scene classification)는 단일 순전파(single-forward-pass) 결정 문제로 정식화됩니다. 즉, 후보 클래스 이름은 프롬프트 내에 알파벳 옵션으로 주어지고, 등록된 답변 슬롯은 프롬프트에 조건화되며, 언어 모델링 헤드로 문자 토큰의 점수를 매겨 분류를 판독합니다. 본 논문에서는 이러한 문자 바인딩이 학습(training) 어휘 내에서는 매우 효과적이지만(UCM에서 97.71% OA), 어휘 외(out-of-vocabulary) 상황에서는 불규칙하게 작동함을 보입니다. 4개의 교차 데이터셋 방향에 걸친 제로 적응(zero-adaptation) 정확도는 7.35%에서 96.40% 사이로 요동치며, 어휘 외 가중치 환경에서는 오픈셋(open-set) 평가 시 신뢰도가 역전되어 본 적 없는 클래스에 본 적 있는 클래스보다 더 높은 신뢰도를 부여하는 실패(AUROC 0.38)를 보이며, 저자들은 이를 '은밀한 환각(silent hallucination)'이라 명명합니다. 본 논문에서는 슬롯 표현을 유지하면서 판독부를 검색 기반 프로토타입 매칭을 수행하는 학습 불필요 기권 프로토타입 메모리인 RSAJEV로 대체합니다. 동일한 프롬프트 하에서 클래스당 K개의 참조 이미지를 슬롯 표현을 통해 프로토타입으로 캐싱하며, 분류는 축소-마할라노비스(shrinkage-Mahalanobis) 기하학적 보정으로 개선된 프로토타입 대상 최근접 이웃 검색이 됩니다. 이러한 판독 방식은 기계적으로 검색-증강 생성(RAG)과 동형(isomorphic)이지만 판별적 결정에 작용하며, MLLM 슬롯 표현을 위한 최초의 검색 기반 판독부입니다. 이 검색 판독 방식은 클래스당 16개의 참조 영상과 그래디언트(gradient) 업데이트 없이 UCM 교차 데이터셋 게이트에서 89.43%, AID에서 96.90%에 도달합니다. 또한 두 데이터셋의 오픈셋 평가에서 ID 특성 점수(ID-ness scores)는 0.91-0.99 AUROC를 달성하여 4개의 모든 오픈셋 설정에서 기호적 신뢰도(0.38-0.96)를 능가하고, 보정 가능한 기권 채널을 복원하며, 캐시된 행렬의 오프라인 재점수화를 통해 추가적인 추론(inference) 비용 없이 클래스 추가/제거를 지원합니다.
FedMAD: 원격 탐사(Remote Sensing) 이미지 분류를 위한 연합학습(Federated Learning)에서의 변조 인지 방향성 집계
FedMAD: Modulation-Aware Directional Aggregation for Federated Learning in Remote Sensing Image Classification
연합학습(Federated Learning, FL)은 로컬 데이터에 직접 접근하지 않고도 분산된 원격 탐사(Remote Sensing, RS) 이미지 아카이브 전반에 걸쳐 협력적인 모델 학습을 가능하게 하기 때문에 최근 원격 탐사 분야에서 주목받고 있다. 그러나 클라이언트 간 데이터 분포가 이질적인 경우 FL 성능이 크게 저하되는데, 이는 지리적 차이, 계절 변화, 그리고 서로 다른 영상 취득 및 대기 조건으로 인해 흔히 발생한다. 이러한 문제를 해결하기 위해 본 논문에서는 원격 탐사 이미지 분류 문제를 위한 새로운 개인화된 FL 프레임워크(FedMAD로 명명)를 제안한다. 제안된 프레임워크는 전역적으로 전이 가능한 표현을 유지하면서 클라이언트별 특징을 보존하기 위해 전역적으로 공유되는 표현 파라미터와 클라이언트별 적응 파라미터를 분리한다. 이는 경량 변조 모듈과 로컬 배치 정규화 계층을 백본 네트워크에 통합함으로써 달성된다. 전역적으로 공유되는 파라미터는 클라이언트 간에 협력적으로 최적화되지만, 클라이언트별 파라미터는 도메인별 특징적 특성을 보존하기 위해 로컬에 유지된다. 또한 FedMAD는 로컬 변조 업데이트의 정렬 정도에 따라 각 클라이언트에 대한 집계 중요도를 동적으로 조정하는 변조 인지 방향성 집계 전략을 도입한다. 이를 통해 전역 최적화 과정은 이질적인 데이터 분포에서 비롯된 상충하는 클라이언트 업데이트를 억제하는 동시에 일관된 적응 행동을 보이는 클라이언트의 기여도를 강화할 수 있다. BigEarthNet-S2 및 EuroSAT 데이터셋에서 얻은 실험 결과는 이질적인 원격 탐사 데이터 분포 하에서 FedMAD가 최신 FL 알고리즘들과 비교하여 효과적임을 보여준다. 제안된 프레임워크의 코드는 https://git.tu-berlin.de/rsim/fedmad 에서 공개될 예정이다.
다중 소스 원격 탐사 이미지 분류를 위한 의미 유도 융합 네트워크
Semantic-Guided Fusion Network for Multi-Source Remote Sensing Image Classification
다중 소스 원격 탐사 이미지 분류는 스펙트럼, 구조, 기하 정보의 상호 보완성으로 인해 점점 더 많은 관심을 받고 있다. 그러나 기존 방법은 여전히 두 가지 한계를 겪는다: 불충분한 의미적 문맥 모델링, 그리고 미세한 공간 정렬 오차로 인한 신뢰할 수 없는 특징 융합이다. 이를 해결하기 위해 다중 소스 원격 탐사 이미지 분류를 위한 Semantic-Guided Fusion Network(SGFNet)를 제안한다. 구체적으로 Semantic Mixing Convolution Block(SMCB)는 특징 표현 간 문맥적 관계에 따라 의미 인식 합성곱 커널을 동적으로 생성하도록 설계했다. 또한 Frequency Modulated Fusion Block(FMFB)을 도입하여 주파수 영역에서 교차 모달 상호작용을 수행하며, 이는 미세한 공간 정렬 오차의 영향을 효과적으로 완화하고 상보적 정보 융합을 개선한다. Augsburg 및 Houston 2018 데이터셋에서 수행한 광범위한 실험은 제안한 SGFNet이 여러 최신 기법을 일관되게 능가함을 보여준다. 코드는 https://github.com/oucailab/SGFNet 에서 공개적으로 이용할 수 있다.
쌍곡 비전-언어 모델을 위한 계층적 프롬프트 학습
Hierarchical Prompt Learning for Hyperbolic Vision-Language Models
쌍곡 비전-언어(vision-language) 모델(VLM)은 계층 구조에 자연스럽게 적합한 기하학적 공간에서 이미지와 텍스트 특징을 표현하지만, 다운스트림 작업으로의 적응은 주로 고정된 프롬프트(prompt)에 의존해 왔습니다. 반면 기존의 프롬프트 학습 방법들은 클래스 레이블을 평면적인 집합으로 다루며 활용 가능한 분류 체계(taxonomic) 구조를 활용하지 못합니다. 본 논문에서는 고정된(frozen) 쌍곡 VLM을 위한 계층적 프롬프트 학습 플러그인을 통해 이러한 간극을 해결합니다. 고정된 오프라인 부모-클래스 계층 구조가 주어지면, 클래스 프롬프트 학습기에 별도의 부모 프롬프트 학습기, 부모 수준의 지도(supervision), 쌍곡 함의 정규화(regularization), 그리고 부모 피드백 로짓(logit) 융합을 추가하여 확장합니다. 본 연구는 이 방식을 CoOp, CoCoOp, MaPLe에 적용하여 각각 HyPLO, CoHyPLO, MaHyPLO를 구현했습니다. 표준 11개 데이터셋(dataset) 벤치마크 전반에서 모든 변형 모델은 베이스-신규(base-to-new) 일반화 및 데이터셋 간 전이 성능을 향상시키며, 도메인 시프트(domain shift) 상황에서도 기존 프롬프트 학습 베이스라인과 대등한 성능을 유지합니다. 6가지 계층적 지표와 임베딩(embedding) 분석 결과, 본 방법이 분류 체계 측면에서 더 일관된 예측을 생성하며 쌍곡 공간에서 부모, 클래스, 이미지 임베딩 간의 계층 일관적인 구조화를 유도함을 보여줍니다. 성능 향상은 새로운 클래스를 고정된 분류 체계 내에 배치해야 할 때 가장 컸으며, 형제 클래스 간의 미세한 혼동이나 이미지 분포에만 영향을 미치는 시프트의 경우에는 가장 작았습니다.
손으로 그린 기하학적 도형의 실시간 인식을 위한 경량 합성곱 신경망
A Lightweight Convolutional Neural Network for Real-Time Recognition of Hand-Drawn Geometric Shapes
손으로 그린 기하학적 도형을 인식하는 것은 스케치 인식의 기초적인 하위 문제로, 교육, 인간-컴퓨터 상호작용(HCI), 다이어그램 디지털화 등에 응용될 수 있다. 본 논문에서는 소형 합성곱 신경망(CNN)을 사용하여 원, 정사각형, 직사각형, 삼각형의 네 가지 기본 손그림 기하학적 도형을 인식하는 데스크톱 애플리케이션의 설계, 구현 및 평가를 제시한다. 라벨링된 28x28 픽셀 크기의 도형 이미지 2,000개로 구성된 데이터셋을 독립적으로 수집하여 공개하였다. 분류기는 맥스 풀링을 포함하는 3개의 합성곱 블록(16, 32, 64개 필터), 모델 내 데이터 증강 단계(무작위 좌우 반전, 회전 및 확대), 드롭아웃 정규화가 적용된 128개 유닛의 완전 연결층, 그리고 4방향 선형 출력층으로 구성되어 총 97,956개의 학습 가능한 파라미터를 가진다. 해당 신경망은 로짓(logits)에서 직접 계산되는 희소 범주형 교차 엔트로피(sparse categorical cross-entropy) 목적 함수를 바탕으로 Adam 옵티마이저를 통해 학습된다. 80/20의 학습-검증 분할에서 이 모델은 0.1437의 검증 손실과 함께 94.80%의 학습 정확도 및 96.01%의 검증 정확도를 달성한다. Tkinter 기반 그래픽 인터페이스를 통해 사용자는 마우스로 도형을 그리고 신뢰도 점수와 함께 즉각적인 클래스 예측 결과를 확인할 수 있다. 본 연구에서는 이 시스템을 보다 광범위한 스케치 및 도형 인식 문헌에 위치시키고, 관련 손그림 도형 분류 연구들과 정확도를 비교하며, 소규모 단일 기여자 데이터셋에 내재된 한계점을 논의한다. 재현성을 지원하기 위해 전체 소스 코드, 학습된 모델, 클래스별 데이터셋을 공개한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
19 pages, 8 figures, accepted version for publication