희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지
What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
한국어 초록
희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.
원문 초록
Sparse autoencoder (SAE) features are typically discovered from how their activations co-vary with behaviour, yet they are often used through interventions such as steering or ablation. We take intervention attribution, the first-order effect of a specified intervention on the model output, as our estimand. For a broad class of response functions, we show that observational feature-discovery evidence generally does not identify this attribution, and derive an exact gradient-based decomposition of the gap between linear-probe predictions and intervention attribution. Across four model-SAE pairs, median probe-to-attribution magnitude ratios range from tens to hundreds, while attributions closely track small-step steering. For single-latent ablations with nonzero effects, gradient predictions match the realized sign in 91-97% of cases, compared with 17-35% for probe-implied changes. Attribution-selected sets also produce larger absolute mean ablation effects on held-out prompts than sets selected by correlation, rank tests or probe coefficients. Together, these results establish intervention attribution as a principled, gradient-estimable target for selecting SAE features for intervention.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다
Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.
대기 화학에 파인튜닝된 AI 파운데이션 모델의 기계론적 해석 가능성을 향하여
Toward Mechanistic Interpretability of an AI Foundation Model Fine-Tuned for Atmospheric Chemistry
기상 예보 파운데이션 모델(FM)은 공기질 예측을 위해 점점 더 많이 파인튜닝되고 있으며, 기존 화학 수송 모델보다 낮은 계산 비용으로 빠른 전 지구적 오염 예보를 제공한다. 이러한 FM은 일반적으로 재분석(reanalysis) 데이터로 학습되며 자기회귀(autoregressive) 롤아웃을 통해 예보를 생성한다. 이들은 지배적인 물리적 또는 화학적 과정을 명시적으로 표현하지 않는다. 따라서 높은 예보 기술(forecast skill)만으로는 모델이 물리적 메커니즘을 학습했는지, 아니면 학습 데이터의 통계적 규칙성을 이용하는지 알 수 없다. 여기서 우리는 Microsoft의 Aurora 모델을 검토하여 대기 화학에 파인튜닝된 FM이 무엇을 학습했는지에 대한 최초의 연구를 제시한다. 우리는 예보에 통제된 화학적 섭동(perturbation)을 가하고 이를 알려진 광화학(photochemical) 관계와 대조하여 검증한다. 그다음 이러한 예보를 생성하는 내부 표현(internal representations)을 조사한다. 우리는 Aurora가 반응성 질소(reactive nitrogen)에 대한 1차 오존(ozone) 반응을 포착하지만, 과정 기반(process-based) 모델이 인코딩하는 화학적 제약을 강제하지는 않음을 발견한다. 이 모델은 관련 종(species)의 화학적으로 불일치하는 조합을 생성하고, 산불 연기(wildfire plumes)와 같은 국지적 배출 특성을 배경(background) 수준으로 완화(relax)시킨다. 내부적으로 그 표현은 사전학습(pre-training) 동안 상속된 기상학(meteorology)을 중심으로 대체로 조직되어 있으며, 화학에 특화된 구조는 거의 없다. 희소 오토인코더(sparse autoencoders)를 사용하여, 화학 예보를 인과적으로 제어하지만 개별 대기 과정에 깔끔하게 대응(map)되지 않는 내부 구성 요소를 식별한다. 본 연구는 AI 예보 시스템이 재분석 데이터로부터 대기 화학을 학습하는지 검증하는 프레임워크를 제공한다. 이러한 모델이 환경 정책 결정에 점점 더 많이 활용됨에 따라, 우리는 성분(composition) 예보가 벤치마크 기술만이 아니라 내부 메커니즘으로도 평가되어야 한다고 주장한다.
Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders
비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘
Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models
비전-언어 모델은 시각적 증거와 기억된 세계 지식이 충돌할 때 이 둘을 조화시켜야 한다. 이러한 충돌을 어떻게 해결하는지는 멀티모달 시스템의 신뢰성을 좌우하지만, 기존 연구는 구성요소 수준의 인과적 설명 없이 이를 행동적으로만 특성화했다. 우리는 세 가지 세분성(잔차 스트림, 어텐션 헤드, MLP 서브레이어)에 걸친 activation patching, 모델 구성요소 절제(ablation) 연구, 기계론적 분석을 결합한다. 세 가지 VLM 계열에서 시각적 그라운딩(visual grounding)은 기본적으로 나타나는 반면, 사전 그라운딩(prior grounding)은 네트워크 후반부에 집중된 인과적으로 필수적인 소수의 어텐션 헤드(2.5–4.8%)에 의존함을 발견했다. 이러한 헤드는 충돌하는 시각 입력에도 불구하고 저장된 세계 지식(예: 딸기에 대해 "red")에 기반한 답을 가능하게 한다. 사전지식 프롬프트 하에서 이들을 절제하면 68–96%의 경우 지식-그라운딩된 예측이 시각적으로 그라운딩된 답으로 뒤집히지만, 시각적으로 그라운딩된 예측은 0.8–7.5%만 변화시켜 비대칭적 인과 구조를 확립한다. 식별된 헤드는 정보 흐름을 조절하는 라우팅 헤드(routing heads)와 잔차 스트림에 답 토큰을 직접 투사하는 쓰기 헤드(writing heads)로 분해된다. 이 구조는 모델 계열과 스케일 전반에 걸쳐 일관되며, VLM에서 지각-지식 충돌을 뒷받침하는 희소 인과 회로를 드러낸다.
CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견
From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment
음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.