Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders
원문 초록
Neural Quantum States (NQS) are a remarkably expressive class of variational ansätze for quantum many-body wavefunctions, yet little is understood about their internal mechanisms: trained on variational objectives alone, how do NQS accurately capture physical observables that they have never been explicitly optimized for? In this work, we present a systematic approach to analyze the internal activations of NQS using sparse autoencoders. We extract features from the residual stream and demonstrate that these features strongly correlate with physical observables such as order parameters, staggered magnetization, and half-chain correlators, across both ground state representation and real-time dynamics. Remarkably, the discovery of these features is entirely unsupervised, with no physical labels provided. We further establish that such features causally affect the corresponding observables predicted by NQS, by showing that targeted, post-training intervention on a \textit{single} feature smoothly and monotonically steers the corresponding observable, while leaving the variational energy nearly unchanged. These results demonstrate that NQS are not merely functional approximators, but encode rich, interpretable internal representations of physical information. Our approach provides both a diagnostic and an intervention tool for NQS, and serves as a foundation for using mechanistic interpretability towards more reliable, transparent NQS.
요약
신경 양자 상태(Neural Quantum States, NQS)의 내부 표현을 해석하기 위해 희소 오토인코더(Sparse Autoencoder, SAE)를 적용하여, 비지도 방식으로 순서 파라미터·교번 자화 등 물리적 관측량과 강하게 상관된 특징을 잔차 스트림에서 추출했다. 나아가 단일 특징에 대한 학습 후 개입(post-training intervention)이 변분 에너지를 거의 변화시키지 않으면서 해당 관측량을 단조롭게 조종(steer)할 수 있음을 1D TFIM 및 2D Heisenberg 반강자성 모델에서 실증했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01336v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
scTrilemma: 단일 세포 표현 학습에서 정체성, 불변성, 충실도의 균형 잡기
scTrilemma: Balancing Identity, Invariance, and Fidelity in Single-Cell Representation Learning
단일 세포 RNA 시퀀싱(single-cell RNA-seq) 표현 학습은 근본적으로 레이블이 없습니다(label-free). 즉, 세포 정체성(cell identity), 상태(state), 맥락(context)이 고정된 학습(training) 목표가 아니므로, 무엇이 신호(signal)이고 방해 요인(nuisance)인지는 분석 목적에 따라 달라집니다. 따라서 단일 표현은 생물학적 정체성과 상태를 보존하고, 방해 요인이 되는 맥락에 강건해야 하며, 유전자 발현 분석에 필요한 유전자 수준의 변이를 유지해야 합니다. 본 연구에서는 이 세 가지 요구 사항을 '표현 트릴레마(representation trilemma)'라고 부릅니다. 이 문제를 해결하기 위해, 모든 발현 기반 변이를 하나의 임베딩(embedding)으로 강제 통과시키는 대신 임베딩, 디코더, 사전 분포(prior)로 라우팅하는 잠재 병목 VAE인 scTrilemma를 소개합니다. scTrilemma는 단일 재구성 목표 아래에서 대상 어노테이션이나 보조 표현 손실 없이, 발현량에 따라 유전자 토큰을 게이팅하고, 세포 표현을 디코더로 라우팅하며, 레이블이 지정되지 않은 유사 벌크(pseudo-bulk) 맥락에 따라 사전 분포를 조건화합니다. 연속적인 CZ CELLxGENE Census 릴리스에 대한 릴리스 기반 제로샷(zero-shot) 평가에서, scTrilemma는 세 가지 요구 사항을 동시에 모두 선도하며 여러 질병 환경 전반에 걸쳐 생물학적 상태, 차등 발현(differential-expression) 및 경로(pathway) 구조를 보존합니다. 잠재 변수 개입(latent intervention) 실험은 다른 요구 사항에 거의 영향을 주지 않고 맥락을 제거할 수 있음을 추가로 보여주며, 정체성과 충실도 간의 관계만이 상충 관계(tension)로 남음을 입증합니다. 코드는 https://github.com/yunhak0/scTrilemma 에서 공개적으로 이용 가능합니다.
삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식
Hidden not Deleted: How Networks Suppress Entangled Features
HARN: 이벤트 기반 다중 시간대 예측을 위한 계층적 연상 공명 네트워크
HARN: Hierarchical Associative Resonance Network for Event-Driven Multi-Timeframe Forecasting
CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적
CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지
What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions
희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.
S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구
S-Space: Exploring Spatial Workspace in Multimodal Language Models
멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.