PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12138v1cs.LG

불안정한 특징, 재현 가능한 부분 공간: 희소 오토인코더에서의 시드 의존성 이해

Unstable Features, Reproducible Subspaces: Understanding Seed Dependence in Sparse Autoencoders

희소 오토인코더(SAE)는 신경망 표현을 해석하는 데 널리 사용되지만, 그 유용성은 학습된 특징이 학습 과정마다 재현 가능한지 여부에 달려 있습니다. 우리는 \emph{특징 안정성}(feature stability)을 통해 이 문제를 연구합니다: 각 SAE 특징에 대해, 독립적으로 학습된 SAE에서 유사한 특징이 다시 나타날 확률을 추정합니다. 이는 안정적인 특징과 불안정한 특징을 분리하는 확장 가능한 특징별 신호를 산출합니다. 시드, 모델, 레이어, 사전 크기, SAE 변형에 걸친 대규모 연구에서 우리는 뚜렷한 기능적 비대칭성을 발견했습니다: 안정적인 특징은 대부분의 재구성 및 예측 관련 신호를 담고 있는 반면, 불안정한 특징은 미미한 영향을 미치며 활성화 통계와 자동 설명 모두에서 저빈도 표면 형식 트리거에 의해 지배됩니다. 기하학적으로, 불안정한 특징은 개별적으로는 재현 불가능하지만 재현 가능한 낮은 랭크의 부분 공간(lower-rank subspaces)에 집중되어 있으며, 이는 시드 의존성이 종종 순수 잡음보다는 활성화 공간의 공유된 영역 내에서의 기저 모호성을 반영함을 시사합니다. 제어된 합성 모델은 이 메커니즘을 명확히 하여, 낮은 랭크의 실제 특징(ground-truth features)이 부분 공간 수준에서는 복원될 수 있지만 시드 간 개별 SAE 잠재 변수로는 식별 불가능한 상태로 남아 있음을 보여줍니다. 마지막으로, 서로 다른 시드 간의 고유한 특징을 풀링(pooling)하여 이 설정에서 설명된 분산을 보존하면서 더 안정적인 SAE를 구성합니다. 종합하면, 이 결과들은 불안정한 특징이 단순히 실패하거나 잡음이 많은 잠재 변수가 아님을 보여줍니다: 이들은 개별적인 기능적 영향은 미약하지만, 표준 SAE가 시드마다 다르게 분해하는 재현 가능한 저차원 구조를 반영합니다.