독립적으로 학습된 BERT 모델들 사이의 크로스-시드 특징 보편성 문제를 해결하기 위해, 결합 SAE 학습 전 직교 Procrustes 회전으로 활성화 공간을 정렬하는 Procrustes 조건화 결합 엔드투엔드 Top-K 희소 오토인코더(SAE)를 제안한다. SST-2, Stanford Politeness, TweetEval Emotion 세 벤치마크에서 10개의 BERT 모델로 평가한 결과, 사후 정렬 기준선 대비 시드 간 Pearson r ≥ 0.70의 보편적 특징을 더 많이 생성하며, 높은 보편성의 특징이 해석 가능한 사회언어학적 패턴을 인코딩함을 확인했다.
희소 오토인코더(SAE)를 활용한 활성화 조종(activation steering)에서 매 토큰마다 신호를 주입하는 방식이 유창성을 저하시킨다는 문제를 해결하기 위해, 각 토큰을 확률 $p$로 독립적으로 게이팅하는 확률적 토큰 조종(STS)과 시퀀스 선두 윈도우에 단일 게이트를 적용하는 확률적 블록 조종(SBS)을 제안한다. LLaMA 3.1-8B와 Gemma-2 2B 실험에서 토큰의 50%만 조종해도 밀집 조종 효과의 95% 이상을 회복하고 30%만으로도 프롬프트 기반 제어를 능가하며, 최적 조종 크기가 개입 비율에 반비례함을 밝혀 SAE 매개 제어가 누적 신호량에 의존하는 속도 제한적 특성임을 입증한다.
희소 오토인코더(SAE)의 핵심 하이퍼파라미터인 L0이 올바르게 설정되지 않으면, L0이 너무 낮을 경우 상관된 특성(feature)들이 혼합되고 너무 높을 경우 퇴화된 해로 수렴하여 단일의미(monosemantic) 특성 학습에 실패함을 토이 모델과 Gemma-2-2b 실험을 통해 규명하였다. 또한 SAE 디코더 기반 대리 지표를 제안하여 올바른 L0을 탐색하는 방법을 제시하였으며, 현재 널리 사용되는 대부분의 SAE가 L0이 지나치게 낮게 설정되어 있음을 발견하였다.
RL 학습된 사고 모델(thinking model)과 SFT 증류 모델이 기반 모델 대비 무엇을 다르게 학습하는지 분석하기 위해, 희소 오토인코더(Sparse Autoencoder)로 추론 분류 체계를 비지도 방식으로 발견하고 구성적 모델 차분(constructive model diffing) 프레임워크를 제안한다. 9개의 기반/사고 모델 쌍 실험 결과, RL 학습은 기반 모델에 이미 존재하는 추론 메커니즘을 언제 활용할지 결정하는 휴리스틱을 주로 학습하는 반면, SFT 증류는 새로운 메커니즘 자체를 설치함을 보이며, 이는 효율적인 추론 모델 개발에 중요한 시사점을 제공한다.
텍스트-이미지 확산 모델 적응(파인튜닝 및 개념 언러닝) 시 FID·KID 같은 집계 지표로는 포착되지 않는 숨겨진 개념 손상이 체계적으로 발생함을 희소 오토인코더 분석과 제로샷 분류를 통해 입증하며, 이를 해결하기 위해 두 모델 체크포인트 간 크로스-어텐션 맵의 발산을 소프트 프롬프트 최적화로 최대화하여 시각적 개념 드리프트가 가장 큰 토큰을 순위별로 반환하는 진단 도구 DriftScope를 제안한다.
Dense sentence embeddings are fundamental to modern Retrieval-Augmented Generation (RAG) systems but suffer from a lack of interpretability due to feature superposition. This opacity hinders the alignment of retrieval processes with human intent, as the entangled representations are difficult to analyze or control. In this work, we propose a method to disentangle the dense representations of sentence transformers (e.g., E5) into human-interpretable concepts using Top-k Sparse Autoencoders (SAEs). We demonstrate that these disentangled features align with specific semantic, syntactic, and pragmatic categories. Furthermore, we introduce an activation steering mechanism that allows for precise intervention in the retrieval process. By clamping specific latent features, we show that it is possible to re-rank search results to better align with user constraints without retraining the backbone model. Our findings suggest that SAE-based decomposition offers a viable path toward transparent and steerable neural information retrieval.
Large Language Models (LLMs) have achieved strong complex reasoning capabilities through Chain-of-Thought (CoT) reasoning. However, their reasoning patterns remain too complicated to analyze. While Sparse Autoencoders (SAEs) have emerged as a powerful tool for interpretability, existing approaches predominantly operate at the token level, creating a granularity mismatch when capturing more critical step-level information, such as reasoning direction and semantic transitions. In this work, we propose step-level sparse autoencoder (SSAE), which serves as an analytical tool to disentangle different aspects of LLMs' reasoning steps into sparse features. Specifically, by precisely controlling the sparsity of a step feature conditioned on its context, we form an information bottleneck in step reconstruction, which splits incremental information from background information and disentangles it into several sparsely activated dimensions. Experiments on multiple base models and reasoning tasks show the effectiveness of the extracted features. By linear probing, we can easily predict surface-level information, such as generation length and first token distribution, as well as more complicated properties, such as the correctness and logicality of the step. These observations indicate that LLMs should already at least partly know about these properties during generation, which provides the foundation for the self-verification ability of LLMs. Our code is available at https://github.com/Miaow-Lab/SSAE.
희소 오토인코더(SAE)가 대형 딕셔너리로 확장될 때 발생하는 특징 분열(feature splitting)과 특징 흡수(feature absorption) 문제를 샘플별 최적화의 교차 샘플 일관성 부재로 규명하고, 민코프스키 부등식에 기반한 교차 샘플 일관성 정규화(C²R)를 제안하여 방향적으로 유사한 잠재 변수의 동시 활성화에 패널티를 부여함으로써 이 두 문제를 이론적 보장과 함께 완화한다. 재구성 충실도를 유지하면서 잠재 변수의 해석 가능성을 향상시킴을 종합적인 실험을 통해 검증하였다.
비전-언어 모델(VLM)의 공유 임베딩 공간에서 희소 오토인코더(SAE)를 적용할 때 동일한 개념이 이미지와 텍스트 모달리티 간에 서로 다른 특징 방향(feature direction)으로 인코딩되는 교차 모달 특징 이질성(cross-modal feature heterogeneity) 현상을 규명하고, 이것이 모달리티 분리(modality split)의 핵심 원인임을 밝힌다. 이를 해결하기 위해 모달리티별 SAE로 각 모달리티의 특징 기하 구조를 보존한 후 대응 특징을 사후 정렬하는 방법을 제안하여 재구성 충실도와 교차 모달 검색 및 개념 조향(concept steering) 성능을 향상시켰다.
학습 데이터가 모델의 고수준 행동 정책을 어떻게 형성하는지 설명하지 못하는 기존 데이터 귀인(data attribution) 방법의 한계를 극복하기 위해, 희소 오토인코더(SAE) 특징 위에서 폐쇄형 Ridge 회귀로 심볼릭 정책을 학습한 뒤 각 SFT 학습 쌍이 특징 활성화(ΔX)와 출력 확률(ΔY) 경로를 통해 해당 정책을 어떻게 변화시키는지 분해하는 SMDA(Symbolic Mechanistic Data Attribution) 프레임워크를 제안한다. Llama-3.2-3B-Instruct의 거부(refusal) 행동에 적용한 결과, 심볼릭 정책의 계수가 종교적 고정관념 등 범주별 안전성 격차를 드러내고, 개별 학습 쌍이 의도치 않은 특징에 교차 간섭을 일으키는 현상을 식별하는 등 블랙박스 영향 함수보다 세밀하고 수동 회로 분석보다 확장 가능한 진단 도구임을 보였다.
희소 오토인코더(SAE)는 언어 모델에서 해석 가능한 특징을 추출하는 유용한 도구로 자리잡았다. 그러나 표준 SAE 아키텍처는 개별 토큰 활성화를 기반으로 동작하기 때문에, 활성화되는 특징의 수가 컨텍스트 길이에 선형적으로 비례하여 증가하며, 긴 모델 대화 기록을 분석하기 어렵다. 우리는 턴 평균 SAE를 도입하며, 이는 턴 전반의 평균 모델 활성화를 재구성하도록 학습함으로써 단일 Human 또는 Assistant 턴을 고정된 수의 특징으로 표현한다. 우리는 턴 평균 특징이 대규모 언어 모델(LLM)의 판단 기준으로 볼 때 토큰별 특징보다 단일 턴의 고수준 특성을 더 완전하게 설명함을 발견하였다. 또한 턴 평균 SAE가 귀인 그래프와 같은 SAE의 일반적인 다운스트림 활용을 크게 단순화함을 입증한다. 전반적으로, 턴 평균 SAE는 긴 컨텍스트 길이에서도 해석 가능성 기법을 실용적으로 활용할 수 있게 한다.
Large Language Models (LLMs) have demonstrated the ability to simulate human-like OCEAN personality traits in generated text. Previous efforts have focused on prompt engineering or fine-tuning to shape LLM personality. In this work, we propose a mechanistic interpretability approach that directly intervenes on the model's latent features. Our method identifies latent directions in the residual stream corresponding to a target OCEAN trait using sparse autoencoders (SAEs) and contrastive activation analysis. We formalize an additive steering vector in activation space and demonstrate how applying a small additive shift to the hidden states enhances the target trait while preserving overall language modeling performance. To determine the optimal combination of feature shifts, we explore a linear weighting heuristic with grid search optimization that balances personality expression with task performance. Our approach shows promise in controllably steering personality traits at the mechanistic level while maintaining high performance on standard benchmarks.
구조 생물학을 위한 파운데이션 모델(foundation model)은 생체분자 구조 예측에서 뛰어난 성능을 달성했으며, 단백질 및 소분자 설계에도 가능성을 보여준다. 그러나 어떤 내부 특징이 출력을 좌우하는지 이해하는 것은 여전히 어렵다. 트랜스포머 스타일의 시퀀스 임베딩에서 효과적인 표준 희소 오토인코더(sparse autoencoder, SAE)는 pairformer 유사 아키텍처에 깔끔하게 이식되지 않는다. 쌍별(pairwise) 표현에 단순히 적용하면 특징 수가 이차적으로 폭증하고, 시퀀스 표현과 페어 표현에 걸쳐 분산된 개념을 흐려버린다. 우리는 N-mode SVD를 통해 쌍별 텐서를 토큰 단위 상호작용 역할로 요약한 뒤, 희소 오토인코더로 시퀀스 표현과 페어 표현 모두로 디코딩되는 공유 토큰 수준 특징 집합을 학습하는 PairSAE를 제안한다. PLINDER 단백질-리간드 복합체에 대한 Boltz-2 활성화값으로 평가한 결과, PairSAE는 UniProt 주석과 일치하는 해석 가능한 특징을 생성하고 Boltz-2 친화도(affinity) 값을 예측한다. 이러한 결과는 PairSAE가 구조 생물학 파운데이션 모델의 잠재 공간을 해석 가능한 구조적 개념과 연결하여 모델이 "무엇을 아는지"를 명확히 하면서, 기존 SAE를 제한하는 pairformer 유발 함정을 피할 수 있음을 보여준다.
VASAE(Vocabulary-Aligned Sparse Autoencoder)는 희소 오토인코더(SAE)의 학습된 특징에 사후 해석 없이 학습 시점에 토큰 어휘 기반 이름을 부여하는 방법으로, 표준 SAE 대비 재구성 품질을 유지하면서 GPT-2-small의 0~10층에서 약 90%, Llama-3.1-8B 얕은층에서 92.8%의 특징을 어휘와 정렬하는 데 성공했다.
Qwen3 인스트럭션 튜닝 모델(Qwen3-1.7B, 4B, 8B)의 잔차 스트림·MLP·어텐션 출력 등 주요 활성화 지점에서 학습한 Qwen3-Instruct SAE 희소 오토인코더(SAE) 모음을 공개하고, 재구성 및 모델 복원 지표로 층·구성 요소별 희소성-충실도 트레이드오프를 체계적으로 평가한다. 거부(refusal) 스티어링 사례 연구에서는 선택된 SAE 특징이 인과적으로 거부 행동을 유도할 수 있음을 보여, 인스트럭션 튜닝된 언어 모델의 희소 표현·특징 수준 메커니즘·행동 개입 연구를 위한 실용 자원을 제공한다.
SAE(sparse autoencoder)로 LLM 감정 추론의 인과 메커니즘을 분석해, 놀람·두려움은 집중된 인과 특징에 의존하는 반면 혐오는 특징이 약하고 분산되며 분노 특징에 가려져 특정 감정에서 성능이 떨어지는 이유를 설명한다. 약한 인과 특징을 목표로 한 조향(steering)과 전역 조향 벡터 최적화 개입으로 감정별 실패를 줄이고 전반적 감정 인식 성능을 개선한다.
Sparse autoencoders (SAEs) are increasingly used to extract interpretable concepts from vision and vision language models, yet existing evaluation methods largely rely on proxy metrics or qualitative inspection rather than measuring semantic correspondence. We present a human-grounded evaluation framework that quantifies alignment between SAE latents and human-annotated concepts, without requiring user studies, and validate this matching through targeted attribute perturbations. To enable this intervention-style evaluation in vision, we construct synCUB and synCOCO, synthetic benchmarks of paired images that differ in exactly one attribute. We introduce Fully-Binary Matching Pursuit (FBMP), a coalition-based matching procedure that supports many-to-one mappings between SAE latents and annotated concepts, and consistently outperforms one-to-one baselines. For functional validation, we propose a Targeted Attribute Perturbation Alignment Score (TAPAScore), which tests whether matched concepts respond selectively and in the expected direction under targeted image-level attribute perturbations. Under sanity checks, our matching and TAPAScore are the only evaluated metrics that reliably distinguish trained SAEs from untrained ones. Across SAEs trained on CLIP and DINOv2 embeddings, we find that increased overcompleteness can reduce perturbation alignment, indicating a reduction in interpretability. Our evaluation framework suggests that moderate dictionary sizes provide the best trade-off, yielding the most interpretable SAEs. Code and datasets are available at https://github.com/JonasKlotz/sae-concept-eval.
희소 오토인코더(SAE) 재구성으로 만든 희소 프록시를 통해 동결된 언어 모델(LM)의 기대 위험 상한을 프록시 위험, 재구성 격차, 개념 풀 불일치, 희소 복잡도 네 항으로 분해하는 사후 일반화 인증 프레임워크를 제안하고, 이를 설명적 충실성의 운용 기준으로 해석한다. GPT-2 Small, Gemma-2B, Llama-3-8B에서 실용적 샘플 크기로 자명하지 않은 상한을 확인했으며, Llama-3-8B 레이어별 분석에서는 후반 레이어가 더 쉽게 인증되고, 특징 셔플링 제거 실험으로 진정한 의미적 정렬과 단순 통계적 희소성을 구별할 수 있음을 보였다.
희소 오토인코더(SAE) 특징 고정(clamping) 기반 잠재 공간 방어는 유해 행동의 한 경로만 막을 수 있어, 개입 후 잔차 공간에서 제약 최적화로 억제된 행동을 개입이 유지된 상태에서도 회복할 수 있음을 보인다. TPP·언러닝·IOI·거부 조종(refusal steering) 실험에서 특히 거부 조종의 유효 샘플 95.8%에서 회복이 가능했고, 회복은 SAE 재구성 잔차를 통해 이루어져 특징 수준 제어가 기저 행동 제어를 보장하지 않음을 드러낸다.