arXiv:2605.07922v3 cs.LG

Tree SAE: 희소 오토인코더에서 계층적 특징 구조 학습

Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders

Tue M. Cao, Hoang X. Nhat, Raed Alharbi, Phi Le Nguyen, My T. Thai

제출 2026-05-08

저자 비고

arXiv Comments

20 pages

한국어 초록

희소 오토인코더(Sparse Autoencoder, SAE)에서 계층적 특징(feature)을 학습하는 것은 실세계 데이터의 구조화된 특성을 포착하고 특징 흡수(feature absorption) 또는 분할(splitting)과 같은 문제를 완화하는 데 필수적입니다. 기존 연구들은 자식 특징이 부모 특징이 활성화될 때만 활성화되어야 한다는 가정인 활성화 커버리지(activation coverage)에 의존하여 독립적인 특징 집합 내에서 계층 관계를 식별하고자 시도합니다. 그러나 본 논문에서는 이 조건만으로는 불충분하며, 부모 및 자식 개념이 의미론적으로 무관한 거짓 양성(false positive)을 자주 생성함을 보입니다. 이를 해결하기 위해 계층 수준 간에 더 깊은 기능적 연결을 강제하는 새로운 재구성 조건(reconstruction condition)을 도입합니다. 활성화 및 재구성 제약을 모두 결합하여, 특징 집합 내부로부터 계층적 구조를 직접 학습하도록 설계된 모델인 Tree SAE를 제안합니다. 실험 결과는 Tree SAE가 여러 핵심 벤치마크에서 SOTA(최고 성능)에 필적하는 경쟁력 있는 성능을 유지하면서, 계층적 쌍을 학습하는 데 있어 기존 SAE를 크게 능가함을 입증합니다. 마지막으로, 자식 특징 부분공간(subspace)의 기하학적 구조를 매핑하고 대규모 언어 모델(LLM) 내에 인코딩된 복잡한 계층적 개념 구조를 밝혀냄으로써 Tree SAE의 실용적 유용성을 입증합니다.

원문 초록

Learning hierarchical features in Sparse Autoencoders (SAEs) is essential for capturing the structured nature of real-world data and mitigating issues like feature absorption or splitting. Existing works attempt to identify hierarchical relationships within independent feature sets by relying on activation coverage, the assumption that child feature should only activate when its parent feature activates. However, we demonstrate that this condition alone is insufficient; that is, it often produces false positives where parent and child concepts are semantically unrelated. To address this, we introduce a novel reconstruction condition that enforces a deeper functional link between hierarchical levels. By combining both activation and reconstruction constraints, we propose the Tree SAE, a model designed to learn hierarchical structures directly from within the feature set. Our results demonstrate that Tree SAEs significantly surpass the existing SAEs at learning hierarchical pairs while maintaining competitive performance to the state-of-the-art on several key benchmarks. Finally, we demonstrate the practical utility of our Tree SAE in mapping the geometry of child feature subspaces and uncovering the complex hierarchical concept structures encoded within large language models.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2605.07922v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01864v1cs.SD공통 태그 Representation Learning, sparse autoencoders, mechanistic interpretability

개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견

From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.

arXiv:2609.24379v1cs.CV공통 태그 Representation Learning, sparse autoencoders, mechanistic interpretability

지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다

Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity

비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.

arXiv:2610.15850v1cs.LG공통 태그 sparse autoencoders, mechanistic interpretability

희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지

What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions

희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.

arXiv:2610.13527v1cs.CV공통 태그 Representation Learning, mechanistic interpretability

S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.

arXiv:2610.03251v1cs.AI공통 태그 Representation Learning, mechanistic interpretability

사실을 학습하는 것과 이를 인출하는 방법을 학습하는 것은 다르다

Learning a Fact Is Not Learning How to Retrieve It

"X의 수도는 Y이다"로 학습된 모델은 "X의 수도는" 뒤에 "Y"를 생성할 수 있지만, "X의 수도:" 뒤에서는 실패할 수 있습니다. 본 연구에서는 동일한 사실을 이끌어내는 이러한 서로 다른 방식들을 요청 형태(request forms)라고 부릅니다. 사실 학습과 사실 인출을 분리하기 위해, 두 개의 모델을 2단계에 걸쳐 학습(training)합니다. 1단계(요청 형태 학습)에서 한 모델은 각 사실을 5가지 형태로 보고, 다른 모델은 동일한 사실들을 진술문 형태로만 봅니다. 2단계(목표 사실 학습)에서는 두 모델 모두 새로운 사실들에 대해 모두 진술문 형태로 동일한 학습을 받습니다. 이후 두 모델 모두 진술문으로부터 새로운 사실을 거의 동등하게 잘 인출하지만, 다른 요청 형태에서는 현저한 차이를 보입니다. 따라서 모델(model)은 사실을 학습하기 전에 요청 형태를 통해 인출하는 방법을 학습할 수 있습니다. 이러한 차이를 이해하기 위해 정답 직전의 은닉 상태(hidden state)를 살펴보며, 이를 문맥 상태(context state)라고 부릅니다. 동일한 사실에 대해 서로 다른 두 가지 요청 형태가 주어졌을 때, 1단계에서 5가지 형태로 학습된 모델은 진술문으로만 학습된 모델보다 더 유사한 문맥 상태를 생성합니다. 인출 시점에 이 상태를 변경하면 이미 학습된 사실의 인출을 가능하게 하거나 방지할 수 있으며, 동일한 효과가 수도나 통화와 같은 사실 및 사실 관계 전반에 걸쳐 전이됩니다. 학습 중 문맥 상태의 역할을 검증하기 위해 목표 사실 학습 중에만 문맥 상태를 변경했습니다. 이러한 개입은 테스트 시점의 개입 없이도 이후의 인출 결과를 변화시킵니다. 종합하면, 이러한 결과들은 향후의 인출이 초기 요청 형태 경험과 사실 학습 중의 문맥 상태에 의존한다는 점을 보여줍니다.

arXiv:2609.23917v1cs.AI공통 태그 Representation Learning, mechanistic interpretability

실력 수준 증가가 고정된 체스 트랜스포머에서 더 깊은 어텐션 레이어를 동원한다

Increasing Skill Level Recruits Deeper Attention Layers in a Frozen Chess Transformer

체스는 결정론적 환경에서 복잡한 추론을 수반하므로, 트랜스포머 내부 연산 메커니즘을 연구하기에 유용한 설정이다. Maia-3 체스 트랜스포머는 경쟁 체스 실력의 척도인 Elo를 사전학습된 네트워크의 입력으로 받으며, 따라서 가중치를 바꾸지 않고도 네트워크가 조건화되는 실력을 변화시킬 수 있다. 여기서는 이 실력 다이얼을 돌리는 것이 self-attention에 어떤 영향을 미치는지 조사한다. Elo 700부터 2500까지 각 Elo에서 모든 어텐션 헤드를 어블레이션한 결과, 1) 실력이 높아질수록 측정한 모든 체스 기물과 수 유형에 대해 연산의 인과적 질량 중심이 단조적으로 더 깊은 층으로 밀려난다; 2) 깊이 이동은 다른 수 유형보다 특정 전술, 특히 나이트 포크(knight fork)에서 훨씬 크다; 3) 이동은 더 깊은 헤드가 더 전문화된 연산에 기용되는 동시에 하나의 공유된 얕은 헤드가 대략 일정한 기여를 유지하는 것으로 구성된다. 이 결과는 더 큰 트랜스포머에서 조건화 입력이 연산을 어떻게 재배치하는지에 대한 통찰을 제공할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.