DECODE: 자동화된 해석 과정에서의 해석 가능성 실패 진단
DECODE: Diagnosing Interpretability Failures in Automated Interpretation Process
한국어 초록
대규모 언어 모델(LLM)의 내부 표현을 해석하는 도구는 설명을 생성하고 평가하는 데 LLM 자체에 점점 더 의존하며, 이는 사람의 감독이 최소화된 자기 참조적 자동 해석 과정을 만든다. 이러한 자동화는 신뢰성에 대한 중대한 우려를 낳으며, 정답이 없다는 점이 이를 더욱 악화시킨다. 실제로 설명을 검증하거나 해석 가능성 실패의 원인을, 즉 도구가 추출한 표현에서 비롯되었는지 과정에 사용된 LLM에서 비롯되었는지를 귀속하기 어렵다. 이러한 문제를 해결하기 위해, 자동 해석 과정에 사람의 감독을 다시 도입하는 시각적 분석 시스템 DECODE를 제안한다. 우리의 접근법은 진단 워크플로를 세 단계로 점진적으로 분해하여, 구조적 결함부터 설명 수준의 불일치에 이르는 실패 원인을 분리한다. 정성 분석에서의 코더 간 합의에서 착안하여, 독립적으로 생성된 설명들과 그 평가 지표 간의 합의를 신뢰성의 대리 지표로 활용한다. 사람의 검사를 더욱 확장하기 위해, 우선순위가 높은 사례를 수동 검토용으로 전략적으로 추천하는 3단계 능동 시딩 프로토콜을 사용한다. 마지막으로 16,384개의 희소 오토인코더 특징에 대한 사례 연구를 통해, 본 접근법이 대규모로 해석 가능성 실패를 효율적으로 식별하고 귀속할 수 있음을 보인다.
원문 초록
Tools for interpreting the internal representations of Large Language Models (LLMs) increasingly rely on LLMs themselves to both generate and evaluate explanations, creating a self-referential automated interpretation process with minimal human oversight. This automation raises significant reliability concerns, which are exacerbated by the absence of ground truth. In practice, it is difficult to validate explanations or to attribute interpretability failures to their source -- whether they originate from the tool's extracted representations or from the LLM used in the process. To address these challenges, we present DECODE, a visual analytics system that reintroduces human oversight into the automated interpretation process. Our approach decomposes the diagnostic workflow into three progressive stages, isolating failure sources ranging from structural defects to explanation-level misalignments. Drawing inspiration from inter-coder consensus in qualitative analysis, we utilize consensus among independently generated explanations and their evaluation metrics as a proxy for reliability. To further scale human inspection, we employ a three-phase active seeding protocol that strategically recommends high-priority instances for manual review. Finally, we demonstrate the effectiveness of our approach through a case study on 16,384 Sparse Autoencoder features, showing that it can efficiently identify and attribute interpretability failures at scale.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.