arXiv:2606.14990v3 cs.LG

유리함수 희소 오토인코더

Rational Sparse Autoencoder

Naiyu Yin, Maosen Tang, Alex Townsend, Yue Yu

제출 2026-11-19

한국어 초록

희소 오토인코더(SAE)는 기계적 해석 가능성의 표준 도구이지만, 현재의 SAE 계열은 ReLU, JumpReLU, TopK와 같은 고정된 인코더 비선형성에 제약을 받는다. 이는 특정 희소성 메커니즘을 모델에 고정시켜 재구성 대 희소성의 절충 관계를 왜곡할 수 있다. 우리는 고정된 인코더 활성화를 학습 가능한 유리함수로 대체하는 유리함수 희소 오토인코더(Rational Sparse Autoencoder, RSAE)를 소개한다. 이 설계는 동일한 기대 희소성에서 RSAE가 갖는 재구성 우위를 증명한 결과에 기반하며, ReLU에 대한 비열등성이 보장되고 명시된 가정 하에서 JumpReLU와 TopK에 대한 증명 가능한 개선이 성립한다. 이 모델은 이후 2단계 파이프라인으로 구현되는데, 먼저 사전 학습된 기준 SAE 가중치를 복사하고 유리 계수와 함께 스케일 매개변수를 보정하는 초기화 절차를 수행하고, 이어서 $\ell_0$를 교사 모델의 값으로 유지하는 희소성 정규화 재구성 목적함수 하에서 미세조정 단계를 수행한다. 이론과 일치하게, 세 개의 공개 가중치 언어 모델의 잔차 스트림 활성화와 세 가지 기준 활성화 계열 모두에서, RSAE는 동일한 희소성 수준에서 미세조정 단계 이후 재구성 충실도를 향상시킨다. 이러한 이득은 호스트 언어 모델, 기준 활성화 계열, 그리고 우리가 시험한 기준 희소성의 전 범위에 걸쳐 일관되며, 업그레이드 자체는 오토인코더당 20개의 스칼라 매개변수만 추가하고 한 번의 학습은 단일 소비자용 GPU에서 약 4분에서 25분이 걸린다.

원문 초록

Sparse autoencoders (SAEs) are standard tools for mechanistic interpretability, but current SAE families are constrained by fixed encoder nonlinearities such as ReLU, JumpReLU, and TopK. This hard-codes a particular sparsity mechanism into the model and can distort the reconstruction-versus-sparsity trade-off. We introduce the Rational Sparse Autoencoder (RSAE), which replaces the fixed encoder activation with a trainable rational function. The design is motivated by a reconstruction advantage that we prove for RSAE at matched expected sparsity, with guaranteed non-inferiority to ReLU and, under stated assumptions, provable improvements over JumpReLU and TopK. The model is then implemented through a two-stage pipeline: an initialization procedure that copies the pre-trained baseline SAE weights and calibrates the scale parameters along with the rational coefficients; followed by a fine-tuning step under a sparsity-regularized reconstruction objective that holds $\ell_0$ at the teacher's value. Consistent with this theory, on residual-stream activations of three open-weight language models and across all three baseline activation families, the RSAE improves reconstruction fidelity after the fine-tuning step at the same level of sparsity. These gains are consistent across host language models, across baseline activation families, and across the full range of baseline sparsity we tested, while the upgrade itself adds only 20 scalar parameters per autoencoder and one training run takes between about 4 and 25 minutes on a single consumer GPU.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.14990v3제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.