Shared Semantics, Divergent Mechanisms: Unsupervised Feature Discovery by Aligning Semantics and Mechanisms
대규모 언어 모델(LLM)의 내부 계산을 감사하기 위해, 기존 회로 분석(circuit analysis)이 단일 목표 출력에만 의존하는 한계를 극복하고자 의미론적 임베딩(semantic embedding)과 트랜스코더(transcoder) 기반 기계론적 어트리뷰션(mechanistic attribution)을 결합한 비지도 분포-수준 특징 발견(distribution-level unsupervised feature discovery) 프레임워크를 제안한다. rate-distortion 목적함수로 두 관점을 동시에 최적화해 클러스터링하면, 단일 관점 기준선이 포착하지 못하는 연속 모드를 발견하고 클러스터 서명이 인과적으로 유효한 기계론적 요인에 대응함을 스티어링 실험으로 검증하였다.