설계상 다양성: 프로토타입 기반 해석 가능성을 위한 아키텍처 제약
Diverse by Design: Architectural Constraints for Prototype-Based Interpretability
한국어 초록
프로토타입 기반 신경망은 사례 기반 추론(case-based reasoning)을 통해 본질적인 해석 가능성을 제공하지만, 프로토타입이 중복된 특징으로 수렴하고, 다양한 의미적 부분을 포착하지 못하며, 정량적 해석 가능성 평가가 부족하다는 치명적인 한계를 갖는다. 우리는 Diversity-Aware Prototype Learning(DAPL)을 제안하며, 이는 명시적 정규화보다 아키텍처 제약을 통해 프로토타입 다양성을 강제한다. 우리 접근법은 엄격한 일대일 어텐션-프로토타입 매핑을 갖춘 멀티헤드 셀프 어텐션(multi-head self-attention)을 활용하여, 각 프로토타입이 서로 다른 시각적 특징에 특화되도록 한다. 또한 프로토타입이 의미적으로 중요한 영역에 집중하도록 하는 전경 인식(foreground-aware) 학습을 도입하고, 정량적 해석 가능성 평가를 위한 포괄적 평가 지표(Coverage와 Diversity)를 개발한다. CUB-200-2011에서의 실험은 큰 개선을 보여준다: 전경 인식 학습을 적용한 DAPL은 81.69% 정확도와 0.596 Coverage, 0.427 Diversity를 달성하며, 평가된 모든 프로토타입 기반 방법 중 전반적으로 최고의 균형을 제공한다. 코드는 https://github.com/xinmiaolin/DAPL 에서 이용 가능하다.
원문 초록
Prototype-based neural networks provide inherent interpretability through case-based reasoning, yet suffer from critical limitations: prototypes converge to redundant features, fail to capture diverse semantic parts, and lack quantitative interpretability assessment. We propose Diversity-Aware Prototype Learning (DAPL), which enforces prototype diversity through architectural constraints rather than explicit regularization. Our approach leverages multi-head self-attention with strict one-to-one attention-to-prototype mapping, ensuring each prototype specializes in distinct visual features. We further introduce foreground-aware training to focus prototypes on semantically meaningful regions and develop comprehensive evaluation metrics (Coverage and Diversity) for quantitative interpretability assessment. Experiments on CUB-200-2011 demonstrate substantial improvements: DAPL with foreground-aware training achieves 81.69\% accuracy with 0.596 Coverage and 0.427 Diversity, providing the best overall balance across all evaluated prototype-based methods. Code is available at https://github.com/xinmiaolin/DAPL.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.27194v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
캡션 병목 모델
Caption Bottleneck Models
개념 병목 모델(CBM)은 예측을 인간이 이해할 수 있는 개념 층을 통해 라우팅함으로써 해석 가능성을 제공합니다. 그러나 특정 데이터셋에 대한 최적 개념 집합을 정의하는 것은 여전히 미해결 과제입니다. 기존 접근법은 값비싼 전문가 주석이나 클래스 이름만을 기반으로 LLM이 생성한 목록에 의존합니다. 심지어 "개방형 어휘" 변형조차도 일반적으로 정적 개념 집합에 의존하며, 이는 발견을 제한하고 레이블 바이어스를 초래합니다. 또한 기존 CBM은 모델링되지 않은 시각적 특징이 병목을 우회하여 설명의 무결성을 훼손하는 정보 누수 문제를 겪는 경우가 많습니다. 이러한 한계를 극복하기 위해 우리는 캡션 병목 모델(CaBM)을 제안합니다. CaBM은 엄격한 개념 층을 자유형 자연어로 대체하여 사전 정의된 개념 집합의 필요성을 우회하는 프레임워크입니다. LMM이 생성한 캡션으로 이미지를 표현하고 이 텍스트만으로 분류기를 학습함으로써, CaBM은 설계상 누수 없는 아키텍처를 보장합니다. 더불어 학습 후 텍스트 분류기를 분석함으로써 CaBM은 고품질의 데이터셋 특화 개념을 자율적으로 발견합니다. 세밀 및 조대 벤치마크에 걸친 결과는 CaBM이 외부 사전이나 수동 레이블링의 제약 없이 해석 가능성을 유지하면서 경쟁력 있는 정확도를 달성함을 보여줍니다.
Rule Forest: Interpretable Ensembles of LLM-Generated Questions for Rare-Outcome Prediction
Jacobian Scopes: A Unified Geometric Framework for Token-Level LLM Attribution
합리적인 개념 병목 모델을 향하여
Towards Reasonable Concept Bottleneck Models
본 논문에서는 개념 병목 모델(CBM) 설계를 위한 새롭고 유연하며 효율적인 프레임워크를 제안합니다. 이 프레임워크를 통해 실무자는 예측 시 모델의 추론 과정 내에서 개념-개념($C-C$) 및 개념-작업($C \to Y$) 관계에 대한 사전 지식과 신념을 명시적으로 인코딩하고 확장할 수 있습니다. 이를 통해 도출된 개념 추론 모델(CREAM)은 상호 배타성, 계층적 연관성 및 상관관계와 같은 임의 유형의 $C-C$ 관계뿐만 아니라 잠재적으로 희소한 $C \to Y$ 관계를 구조적으로 인코딩합니다. 또한 CREAM은 잠재적으로 불완전한 개념 집합을 보완하기 위해 정규화된 사이드 채널을 선택적으로 통합할 수 있어, 예측이 개념에 기반(concept-grounded)하도록 유도하는 동시에 경쟁력 있는 작업 성능을 달성합니다. 이러한 환경에서 CBM을 평가하기 위해, 예측이 사이드 채널에 부분적으로 의존할 때의 해석 가능성을 정량화하는 $C \to Y$ 무관 지표를 도입합니다. 실험을 통해 추가적인 계산 오버헤드 없이 CREAM 모델이 효율적인 개입을 지원하고 개념 누출(concept leakage)을 방지할 수 있으며, 개념이 누락된 상황에서도 블랙박스 수준의 성능을 달성함을 보입니다. 나아가 선택적 사이드 채널이 해석 가능성과 개입 가능성에 미치는 영향을 분석합니다. 중요한 점은, 사이드 채널 덕분에 제한된 수의 개념만 사용할 수 있는 시나리오에서도 CBM이 유효성을 유지할 수 있다는 것입니다.
정확도를 넘어서: EEG 파운데이션 모델의 견고성, 해석 가능성, 표현력
Beyond Accuracy: Robustness, Interpretability and Expressiveness of EEG Foundation Models
EEG 파운데이션 모델(EEG-FM)은 주로 깨끗한(clean) 분포 내(in-distribution) 정확도를 기준으로 평가되어 왔으며, 지도학습 기준선(baseline) 및 약한 고정(frozen) 표현에 비해 소폭의 개선만을 보여주었다. 본 연구는 여섯 개의 EEG-FM과 하나의 지도학습 기준선을 열 개의 데이터셋에 대해 세 가지 분석 축에서 평가함으로써, 이러한 결론이 깨끗한 정확도를 넘어서도 유지되는지를 검토한다: (i) 견고성(Robustness): 가산 잡음(additive noise), 무작위 및 영역 기반 채널 드롭아웃(channel dropout), 영역별 잡음 주입을 포함한 테스트 시점(test-time) 교란을 적용한다. 분석 결과, 모든 실패 모드를 압도하는 단일 모델은 없다는 것을 보여준다. 잡음에 가장 견고한 모델이 채널 드롭아웃 하에서는 가장 취약한 모델 중 하나이며, 채널을 제로 패딩(zero-padding)하는 대신 제거할 경우 드롭아웃에 대한 취약성 대부분이 사라진다. (ii) 해석 가능성(Interpretability): EEG-FM에 어트리뷰션(attribution) 기법을 적용하여, 모델들이 알려진 신경생리학(neurophysiology)과 일치하는 과업에 적합한 뇌 영역에 관련도(relevance)를 전반적으로 집중시킨다는 것을 보여준다. (iii) 표현력(Expressiveness): 이전에 저품질 사전학습 표현으로 귀속되었던 저조한 헤드 전용(head-only) 성능이 주로 풀링(pooling) 전략에 의해 설명되며, 토큰(token) 수준 임베딩이 보존될 경우 EEG-FM이 충분한 표현 용량(representational capacity)을 보유하고 있음을 입증한다. 더 나아가 블록 단위 프로빙(block-wise probing)과 어텐션(attention) 분석을 통해, 미세조정(fine-tuning) 과정에서 후반 블록들이 재활용(repurpose)되는 반면 초반 블록들은 이미 과업 관련 정보를 보유하고 있음을 보여준다. 본 연구의 결과는 EEG-FM에 대한 결론이 평가 방식의 선택에 따라 달라짐을 보여주며, 향후 EEG-FM 평가 시 교란 유형별 견고성을 보고하고, 어트리뷰션 맵을 산출하며, 여러 풀링 전략을 검토할 것을 권장한다.
간격 반복을 위한 해석 가능한 기억 모델
Interpretable Memory Models for Spaced Repetition
간격 반복(spaced repetition) 소프트웨어는 복습 기록에 맞추어 학습된 기억 모델을 사용하여 복습 일정을 계획합니다. 사용 가능한 데이터는 기존 스케줄러에 의해 생성된 것이며 새로운 솔루션은 이를 넘어서 외삽(extrapolate)해야 하므로, 테스트 세트에서의 정확도만으로는 모델 품질에 대한 충분한 증거가 되지 못합니다. 또한 모델에는 단순하고 기전적인(mechanistic) 해석이 필요합니다. 본 논문에서는 거의 동일한 정확도를 유지하면서도 해석 가능성이 더 높고 현재의 SOTA(state of the art) 모델보다 80% 더 작은 모델인 SBD를 제시합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.