자동 해석 레이블은 어디까지 일반화되는가: 언어, 문자 체계, 표현 변경에 대한 통제된 연구
How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings
한국어 초록
희소 오토인코더(SAE) 특징(feature)은 언어 모델을 해석하는 데 점점 더 많이 사용되고 있으며, 자동으로 생성된 자연어 레이블은 각 특징이 무엇을 나타내는지 이해하기 위한 주요 인터페이스 역할을 합니다. 본 연구에서는 이러한 레이블이 일반화되는지, 즉 특정 개념에 대해 레이블이 지정된 특징이 언어와 문자 체계(script) 전반에 걸쳐 해당 개념을 실제로 추적하는지 질문을 던집니다. 결정론적 전자(transliteration)를 통해 라틴 문자와 키릴 문자 모두로 표기되는 동일한 언어인 세르비아어 이중문자(digraphia)를 통제된 테스트베드로 활용하여, 서로 다른 언어, 문자 체계 및 표현에서 동일한 내용에 의해 활성화되는 SAE 특징 집합이 상당한 중복도를 공유함(랜덤 기준선 0.13 대비 평균 자카드 유사도 0.39, 최대 0.57)을 먼저 확인했으며, 이는 진정한 교차 언어적 의미 특징이 존재함을 시사합니다. 이어서 자동 해석 레이블이 이를 따라가는지 테스트했습니다. 결과는 그렇지 못한 경우가 많았습니다. 의미론적 내용을 설명하는 레이블을 가진 특징은 영어 내에서보다 세르비아어에서 동일한 의미를 최대 4배 더 자주 놓쳤으며, 서로 결정론적 전자 관계인 두 문자 체계 사이에서도 세르비아어 라틴 문자보다 세르비아어 키릴 문자를 더 많이 놓쳤습니다. 이러한 격차는 네트워크 깊이가 깊어질수록 커지지만, 레이블 자체는 이러한 실패 징후를 전혀 나타내지 않습니다. 이러한 결과는 자동 해석 레이블이 개념 자체보다는 모델이 학습(training) 중에 가장 많이 접한 언어와 문자 체계에서의 특징 동작을 반영함을 시사합니다.
원문 초록
Sparse autoencoder (SAE) features are increasingly used to interpret language models, with auto-generated natural-language labels serving as the primary interface for understanding what each feature represents. We ask whether these labels generalize: does a feature labeled for a concept actually track that concept across languages and scripts? Using Serbian digraphia as a controlled testbed -- the same language written in both Latin and Cyrillic via deterministic transliteration -- we first find that SAE feature sets activated by the same content in different languages, scripts, and wordings share substantial overlap (mean Jaccard 0.39 vs 0.13 random baseline, peaking at 0.57), suggesting genuine cross-lingual semantic features. We then test whether auto-interpretation labels keep pace. They often do not: features whose labels describe semantic content miss the same meaning in Serbian up to 4$\times$ more often than within English, and miss Serbian Cyrillic more than Serbian Latin -- two scripts that are deterministic transliterations of each other. The gap grows with network depth, yet the labels give no indication that they fail. These results suggest that auto-interpretation labels reflect a feature's behavior on the languages and scripts a model has seen most in training, rather than the concept itself.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지
What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.
프로빙을 멈추고 코딩을 시작하라: 선형 프로브와 희소 오토인코더가 조합적 일반화에 실패하는 이유
Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation
선형 표현 가설(linear representation hypothesis)은 신경망(neural network) 활성화가 고수준 개념을 선형 혼합으로 인코딩한다고 주장합니다. 그러나 중첩(superposition) 상태에서 이러한 인코딩은 더 높은 차원의 개념 공간에서 더 낮은 차원의 활성화 공간으로의 투영이며, 개념 공간에서의 선형 결정 경계가 투영 후에도 선형으로 유지될 필요는 없습니다. 이 환경에서 샘플별 반복 추론(inference)을 수행하는 고전적인 희소 코딩(sparse coding) 방법은 압축 센싱(compressed sensing) 보증을 활용하여 잠재 요인을 복원합니다. 반면, 희소 오토인코더(SAE)는 희소 추론을 고정된 인코더로 상각(amortise)하여 체계적인 격차를 유발합니다. 우리는 이러한 상각 격차(amortisation gap)가 학습(training) 세트 크기, 잠재 차원, 희소성(sparsity) 수준 전반에 걸쳐 지속되어, 분포 외(OOD) 조합적 변화 하에서 SAE가 실패하게 만든다는 것을 보여줍니다. 실패 원인을 분해하는 통제된 실험을 통해, 우리는 제한 요인이 (추론 절차가 아닌) 딕셔너리 학습(dictionary learning)임을 확인했습니다. 즉, SAE로 학습된 딕셔너리는 실질적으로 잘못된 방향을 가리키며, 동일한 딕셔너리에서 인코더를 샘플별 FISTA로 대체해도 그 격차가 좁혀지지 않습니다. 오라클 기준선(baseline)은 테스트된 모든 스케일에서 우수한 딕셔너리가 있다면 이 문제를 해결할 수 있음을 증명합니다. 실제 LLM 활성화(Pythia-70M, Gemma-2-2B)를 사용한 실험을 포함한 우리의 결과는 SAE의 실패를 추론 문제가 아닌 딕셔너리 학습의 과제로 재구성하며, 중첩 하에서의 희소 추론을 위한 핵심 미해결 과제로 확장 가능한 딕셔너리 학습을 지목합니다.
Tree SAE: 희소 오토인코더에서 계층적 특징 구조 학습
Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders
희소 오토인코더(Sparse Autoencoder, SAE)에서 계층적 특징(feature)을 학습하는 것은 실세계 데이터의 구조화된 특성을 포착하고 특징 흡수(feature absorption) 또는 분할(splitting)과 같은 문제를 완화하는 데 필수적입니다. 기존 연구들은 자식 특징이 부모 특징이 활성화될 때만 활성화되어야 한다는 가정인 활성화 커버리지(activation coverage)에 의존하여 독립적인 특징 집합 내에서 계층 관계를 식별하고자 시도합니다. 그러나 본 논문에서는 이 조건만으로는 불충분하며, 부모 및 자식 개념이 의미론적으로 무관한 거짓 양성(false positive)을 자주 생성함을 보입니다. 이를 해결하기 위해 계층 수준 간에 더 깊은 기능적 연결을 강제하는 새로운 재구성 조건(reconstruction condition)을 도입합니다. 활성화 및 재구성 제약을 모두 결합하여, 특징 집합 내부로부터 계층적 구조를 직접 학습하도록 설계된 모델인 Tree SAE를 제안합니다. 실험 결과는 Tree SAE가 여러 핵심 벤치마크에서 SOTA(최고 성능)에 필적하는 경쟁력 있는 성능을 유지하면서, 계층적 쌍을 학습하는 데 있어 기존 SAE를 크게 능가함을 입증합니다. 마지막으로, 자식 특징 부분공간(subspace)의 기하학적 구조를 매핑하고 대규모 언어 모델(LLM) 내에 인코딩된 복잡한 계층적 개념 구조를 밝혀냄으로써 Tree SAE의 실용적 유용성을 입증합니다.
확산 모델 해석을 위한 잔차화된 시간 희소 오토인코더
Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models
텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.
호출할 것인가 말 것인가: LLM 에이전트의 내재적 과도 호출 바이어스 진단
To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents
대규모 언어 모델(LLM) 에이전트는 도구가 전혀 필요하지 않은 상황에서도 도구를 호출하는 등 일관되게 과도 호출(over-call)하는 경향을 보입니다. When2Call 벤치마크에서 3개 패밀리의 6개 모델은 높은 호출 정확도를 보이지만 미호출(no-call) 정확도는 훨씬 낮아, 전반적인 정확도는 55%~70% 범위에 머물렀습니다. 우리는 이를 내재적 바이어스 가설(Intrinsic Bias Hypothesis, IBH)로 추적합니다. 즉, 호출/미호출 결정 매핑에 활성화와 무관한 호출 오프셋(offset)이 수반되어, 활성화가 동등한 상태에서도 모델이 호출을 선호한다는 것입니다. 우리는 희소 오토인코더(SAE)를 사용하여 호출/미호출 결정에 부합하는 행동 정렬 특징 기저를 복원하고, 이를 부호가 있는 활성화 마진으로 축소한 뒤 오프셋을 직접 추정합니다. 6개 모델 전체에서 모델은 미호출 활성화가 호출 활성화를 압도할 때만 결정 중립적이었으며, 이는 IBH와 일치합니다. 그런 다음 우리는 SAE 디코더 방향을 따라 닫힌 형식(closed-form)의 바이어스 상쇄 시프트를 적용하는 적응형 마진 보정 스티어링(AMCS)을 통해 IBH를 인과적으로 검증합니다. 진단된 오프셋을 상쇄하면 호출 정확도의 하락을 최소화하면서도 과도 호출이 완화되고 전반적인 정확도가 향상됩니다. 본 연구는 과도 호출을 단순한 경험적 현상에서 인과적 교정이 가능한 기계론적 대상(mechanistic object)으로 재구성합니다. 코드는 https://github.com/SKURA502/agent-sae/ 에서 확인할 수 있습니다.
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted to AACL-IJCNLP 2026 (Main)