arXiv:2511.09432v2 cs.LG

등변 희소 오토인코더: 대칭 데이터에 대한 신경망의 기계론적 해석 가능성

Equivariant Sparse Autoencoders: Mechanistic Interpretability of Neural Networks on Symmetric Data

Ege Erdogan, Ana Lucic

제출 2025-11-12

한국어 초록

머신러닝(ML) 모델은 뛰어난 성능을 달성하지만 그 규모와 복잡성으로 인해 여전히 해석하기 어렵습니다. 특히 모델의 활성화는 여러 개념을 더 적은 차원에 얽히게 만드는데, 이는 중첩(superposition)으로 알려진 현상입니다. 희소 오토인코더(SAE)와 같은 기계론적 해석 가능성(mechanistic interpretability) 방법은 이러한 조밀한 활성화를 해석 가능한 특징(feature)들의 희소한 합으로 풀어낼 수 있지만, SAE는 비식별성(unidentifiability) 문제를 겪습니다. 즉, 서로 다른 설명들이 기본 모델에 대해 반드시 더 해석 가능하거나 충실하지 않더라도 데이터를 동등하게 잘 적합할 수 있습니다. 우리는 이러한 문제가 과학 분야에서 흔히 나타나는 회전과 같은 데이터 대칭성으로 인해 더욱 악화됨을 보여줍니다. 우리는 SAE의 기반 이론인 선형 표현 가설(Linear Representation Hypothesis)을 확장하여 대칭성을 고려하도록 하고, 합성 데이터셋과 실제 과학 데이터셋 및 모델에서 그 결과물인 등변(Equivariant) SAE가 (1) 대칭 데이터에 대한 기존 SAE의 함정을 피할 수 있으며, (2) 재구성(reconstruction) 성능이 더 나쁨에도 불구하고 다운스트림 작업에 더 유용한 특징을 발견할 수 있음을 보입니다. 우리의 연구 결과는 SAE에 올바른 사전 지식(prior)을 통합하면 유용성을 크게 향상시킬 수 있음을 보여주는 동시에, 대칭성 하에서는 재구성 품질이 특징의 유용성과 역의 상관관계를 가질 수 있음을 강조하여 이를 해석 가능성의 핵심 척도로 사용하는 것에 대해 경고합니다. 코드: https://github.com/ege-erdogan/equivariant-sae

원문 초록

Machine learning (ML) models achieve remarkable performance but remain hard to interpret due to their scale and complexity. In particular, their activations entangle many concepts into fewer dimensions, a phenomenon known as superposition. Mechanistic interpretability methods such as sparse autoencoders (SAEs) can disentangle these dense activations into sparse sums of interpretable features, but SAEs suffer from unidentifiability: different explanations can fit the data equally well without necessarily being more interpretable or faithful to the underlying model. We show that this problem is exacerbated by data symmetries such as rotations that are prevalent in scientific domains. We extend the Linear Representation Hypothesis, the theory behind SAEs, to account for symmetries and show on synthetic as well as real-world scientific datasets and models that the resulting Equivariant SAEs can (1) avoid the pitfalls of existing SAEs on symmetric data and (2) discover features more useful for downstream tasks despite worse reconstructions. Our results show that incorporating the correct priors in SAEs can significantly improve their usefulness while highlighting that reconstruction quality can be inversely correlated with feature usefulness under symmetries, cautioning against its use as a key measure of interpretability. Code: https://github.com/ege-erdogan/equivariant-sae

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.09432v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.