Urban Land Cover Classification with Missing Data Modalities Using Deep Convolutional Neural Networks
원문 초록
Automatic urban land cover classification is a fundamental problem in remote sensing, e.g. for environmental monitoring. The problem is highly challenging, as classes generally have high inter-class and low intra-class variance. Techniques to improve urban land cover classification performance in remote sensing include fusion of data from different sensors with different data modalities. However, such techniques require all modalities to be available to the classifier in the decision-making process, i.e. at test time, as well as in training. If a data modality is missing at test time, current state-of-the-art approaches have in general no procedure available for exploiting information from these modalities. This represents a waste of potentially useful information. We propose as a remedy a convolutional neural network (CNN) architecture for urban land cover classification which is able to embed all available training modalities in a so-called hallucination network. The network will in effect replace missing data modalities in the test phase, enabling fusion capabilities even when data modalities are missing in testing. We demonstrate the method using two datasets consisting of optical and digital surface model (DSM) images. We simulate missing modalities by assuming that DSM images are missing during testing. Our method outperforms both standard CNNs trained only on optical images as well as an ensemble of two standard CNNs. We further evaluate the potential of our method to handle situations where only some DSM images are missing during testing. Overall, we show that we can clearly exploit training time information of the missing modality during testing.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
언어 모델은 언제 답변을 보류해야 하는지 학습할 수 있는가? 정책 학습과 보정된 답변 선택
Can Language Models Learn When to Abstain? Policy Learning and Calibrated Answer Selection
유용한 언어 모델은 언제 답변해야 하고 언제 "모른다"고 말해야 하는지 알아야 한다. 모델 자체를 학습시키거나 모델의 답변을 검증하는 별도의 구성요소를 학습시킴으로써 이러한 결정을 개선할 수 있을까? 우리는 사실 기반 질문에 대해 Qwen3-14B를 대상으로 두 가지 접근법을 모두 연구하며, 정답에는 보상을 주고 오답에는 벌점을 부과하며 답변 보류를 허용하는 점수를 사용한다. 세 가지 학습 시드와 두 가지 held-out 신뢰도 임계값(confidence threshold)에 걸쳐, 학습된 답변 선택기(answer selector)는 원래 모델의 보정된 신뢰도 필터(calibrated confidence filter)보다 임계값 평균 유용성(threshold-averaged utility)을 향상시킨다. TriviaQA에서 평균 커버리지(coverage)는 20.2%에서 30.9%로 증가하며, exact-match 채점 기준으로 점수가 매겨진 답변 중 통합 오류율(pooled error rate)은 23.0%에서 14.5%로 감소한다. 테스트된 강화학습(RL) 변경들은 일관된 성능 향상을 보이지 않는다. NQ-Open에서는 선택기가 필터보다 임계값 평균 유용성을 향상시키지만, 여전히 항상 답변을 보류하는 것보다 성능이 낮다. 부분적인 사람 검토 기반 감사(human-reviewed audit)에서도 TriviaQA에서의 결과는 유지된다. 우리의 결과는 이러한 설정에서 답변 선택을 학습하는 것을 지지하는 동시에, 데이터셋 전반에 걸친 신뢰할 수 있는 답변 보류(abstention)는 여전히 해결되지 않은 문제임을 보여준다.
DeReAct: 신뢰할 수 있는 AI 에이전트를 위한 분해된 추론 및 행동
DeReAct: Decomposed Reasoning and Acting for Reliable AI Agents
ReAct 기반 에이전트(agent)는 일반적으로 단일 대규모 언어 모델(LLM) 정책에 의존하여 행동을 제안하고, 환경(environment)과 상호작용하며, 작업 완료 시점을 결정합니다. 이러한 결합은 행동 권한 부여와 완료 제어를 독립적으로 적용하기 어렵게 만들어, 오류가 전파되고 근거 없는 완료 주장으로 인해 실행이 종료되도록 만듭니다. 본 논문에서는 두 가지 게이팅 정책을 외재화한 모듈형 에이전트 아키텍처인 DeReAct를 제안합니다: 실행 전 제안된 행동을 검증하는 비평가(Critic), 그리고 환경이 뒷받침하는 \textsc{State}를 재구성하고 작업 완료를 인증하는 컨텍스트 관리자(Context Manager)입니다. GAIA 및 SWE-bench Verified 전반에서 DeReAct는 상대적으로 취약한 Brain 모델에서 Pass@1을 가장 크게 향상시켜 Qwen3-Coder-480B의 경우 6.5--7.0 포인트, Claude Sonnet~4.5의 경우 4.2--5.2 포인트의 향상을 보였으며, Brain 역량이 증가함에 따라 향상 폭은 감소합니다. 궤적 및 어블레이션 분석 결과, 외부 게이팅은 목표로 하는 실패 사례가 충분히 빈번하고 게이팅 정책 자체가 충분할 때 효과적인 것으로 나타났습니다. Claude Opus~4.5의 경우 Pass@1은 ReAct와 비슷한 수준을 유지하지만, DeReAct는 증거가 더욱 완전하고 제약 조건을 더 잘 만족하는 궤적을 생성하며, 이는 완료 제어가 더 강력한 그라운딩(grounding)을 위해 조기 종료를 절충할 수 있음을 나타냅니다. 전반적으로 DeReAct는 취약한 에이전트를 개선하는 동시에 모델이 강화되더라도 그라운딩 이점을 유지합니다.
NeuroRule: 규칙 집합 진화를 통한 블랙박스 신경망 설명 가능화
NeuroRule: Making Black-Box Neural Networks Explainable through Rule-set Evolution
고용량 신경망 모델은 다양한 분류 과제에서 최첨단 성능을 달성해 왔지만, 종종 블랙박스 모델로 동작하여 중요한 의사결정에 필요한 투명성을 갖추지 못한다. 이러한 불투명성은 성능과 설명 가능성 사이의 지속적인 트레이드오프를 만든다. 본 논문은 이러한 공백을 메우기 위한 해결책으로, 신경망 모델로부터 설명 가능한 규칙 집합을 도출하는 NeuroRule 지식 증류 프레임워크를 제안한다. NeuroRule은 EVOTER 규칙 집합 진화 인프라를 적용하여 신경망을 진화 과정의 대상으로 삼고, 그 성능을 간결한 명제 논리 표현들의 집합으로 지식 증류한다. 주요 기여는 세 가지이다: (1) 블랙박스 신경망 모델을 명시적인 규칙 집합 모델로 지식 증류하는 진화적 방법; (2) 진화에 간결성 목표를 포함하여 규칙 집합을 더 설명 가능하게 만드는 방법; (3) 원본 신경망 학습 데이터에 접근하지 않아도 지식 증류가 가능함을 보여주는 실증. 이로써 본 논문은 블랙박스 신경망 모델을 설명 가능하게 만들 수 있으며, 따라서 신뢰성이 무엇보다 중요한 실제 응용에서 유용하게 쓰일 수 있음을 보여준다.
Epi-Logic: 자율 AI 에이전트를 위한 인식론적 런타임 제어, 스키마 유효성 검사 및 통제된 수용의 개념적 프레임워크
Epi-Logic: A Conceptual Framework for Epistemic Runtime Control, Schema Validity Checking, and Controlled Accommodation in Autonomous AI Agents
자율 AI 에이전트는 잘못된 결정을 되돌리기 어려운 영역에 점점 더 배치되고 있다. 본 논문은 스키마 불일치(schema mismatch)를 검토한다. 이는 에이전트가 현재 맥락에 더 이상 적용되지 않는 해석 프레임 안에서 동작하는 상태를 말한다. 이러한 불일치 하에서 생성된 출력은 내적으로 일관되어 보이고, 언어적으로 그럴듯하며, 대체로 사실상 맞는 것처럼 보일 수 있다. 따라서 출력 품질 지표만으로는 근본적인 유효성 상실을 부분적으로만 포착할 수 있다. 본 논문은 인식론적 런타임 제어를 위한 개념적 프레임워크인 Epi-Logic을 제안한다. 이는 스키마 불협화음 탐지, 단계적 자율성 축소, 검증된 스키마로의 감사 가능한 전환을 결합한다. 스키마는 변수 공간, 기대 모델, 유효성 조건, 공리, 메타데이터의 튜플로 형식화된다. Epi-Score는 인식론적 불협화음의 일곱 가지 등급 차원을 집계한다. 시간적 유효성 차원 D8, 유효성 조건 G의 위반, 공리 위반은 집계와 상쇄되지 않는 별도의 범주형 경로로 유지된다. 이 아키텍처는 검사 비대칭에 기반한다. 형식화된 유효성 조건은 런타임에 검사할 수 있는 반면, 많은 행동의 정확성은 사후적으로만 확립된다. 본 논문은 두 가지 아키텍처적 속성, 순차적 변화점 탐지(sequential changepoint detection)로부터의 조건부 결과, 그리고 경험적 잔여(empirical remainder)를 구분한다. 명명된 베이스라인을 갖춘 여덟 개의 반증 가능한 명제가 경험적 검증으로의 전환을 기술한다. 모든 명제는 경험적으로 검증 가능한 가설이며, 확립된 결과가 아니다.
LUMOS: 대규모 언어 모델(LLM)에서 학습 데이터로부터 행동 출력까지의 파라메트릭 지식 추적
LUMOS: Tracing Parametric Knowledge from Training Data to Behavioral Outputs in LLMs
시뮬레이션은 코드가 담당하고, 평가는 Jev가 담당한다
Code Owns the Simulation, Jev Owns the Evaluation
Jev와 같은 판단 모델(judgment model)은 단 한 번의 호출로 추론 텍스트 없이 설명된 각 선택지에 대한 확률을 반환합니다. 이러한 특징 덕분에 에이전트의 행동 선택 층(layer)으로서 매력적이지만, 어떤 결정을 신뢰할 수 있는지는 명확하지 않습니다. 본 연구에서는 인지 반사 테스트, 일회성 행렬 게임, 텍스트 게임 ALFWorld 및 로봇 제어에서 Jev를 테스트하고 뚜렷한 경계를 발견했습니다. Jev는 입력에 설명된 내용으로부터 올바른 선택지를 판단할 수 있을 때 성공하며, 이를 본 연구에서는 평가(evaluation)라고 부릅니다. 구체적으로, Jev는 직관에 반하는 인지 반사 테스트(Cognitive Reflection Test) 문제의 99%를 해결합니다. 그러나 올바른 선택지가 상대방의 행동이나 먼저 달성해야 하는 하위 목표와 같이 시뮬레이션(simulation, 즉 입력에 없는 내용을 예측하는 것)에 의존할 때는 실패합니다. 게임에서 Jev는 상대방의 행동이 주어지지 않기 때문에 합리적인 상대가 무작위로 행동하는 것처럼 차선으로 플레이합니다. ALFWorld에서 Jev는 작업 설명에 언급된 사물이나 장소를 지칭하는 명령을 선호합니다. 예를 들어, "서랍에 깨끗한 칼을 넣어라"라는 작업이 주어지면, Jev는 싱크대에서 칼을 먼저 씻는 대신 씻지 않은 칼을 서랍으로 곧장 가져갑니다. 놀랍게도 이러한 실패 중 다수는 지식의 부족 때문이 아닙니다. 상대가 무엇을 할지 별도로 질문을 받으면 Jev는 대개 정확하게 답하며, 상대의 행동이 주어지면 적절하게 대응합니다. Jev가 실패하는 것은 단 한 번의 호출로 시뮬레이션을 수행하고 이에 기반한 평가까지 동시에 처리해야 할 때입니다. 이는 예측이나 시뮬레이션을 코드가 수행하도록 할 것을 시사합니다. ALFWorld의 미리보기(lookahead)나 로봇 제어의 물리 시뮬레이션과 같이 코드가 이를 제공하면, Jev는 일반적인 평가 능력을 통해 전문가 수준의 제어기가 됩니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.