Weight-protecting regularizers such as elastic weight consolidation (EWC) are a standard defense against catastrophic forgetting; however, in the sequential fine-tuning of large language models, they exhibit a stability-plasticity tradeoff that penalty tuning cannot resolve. We attribute this limitation in part to polysemanticity: because each weight participates in many unrelated concepts, a per-weight importance score has difficulty isolating the knowledge that requires protection. We instead regularize in activation space, using a pretrained sparse autoencoder (SAE) as a fixed dictionary of approximately monosemantic features. We formulate continual learning as constrained optimization over feature drift, with a stability constraint on the features to be preserved and a plasticity constraint on the features used by the current task, and we show that the resulting squared-hinge loss is a regularized Lagrangian relaxation of this problem, with EWC as a special case. A replay variant measures drift on 200 stored sequences per previous task, whereas a data-free variant stores only a 197 KB feature mask per task, versus 6.5 GB for EWC. On TRACE (Gemma-2 9B, Llama-3.1 8B) and MedCL (Gemma-2 9B), the replay variant matches or exceeds SAE-based feature distillation at approximately one third of its per-step cost, and the data-free variant attains the highest mean overall performance among methods that store no previous-task data and add no task-specific parameters. Task-relevant units are linearly separable in the SAE basis but not in the neuron basis (ROC-AUC of 0.87-0.88 versus 0.50), and weight-space protection constrains the features of other tasks nearly as strongly as those of the protected task.
A central goal of cognitive neuroscience is to characterize the features that are represented by human language cortex. Artificial language models (LMs) have emerged as a powerful tool to address this challenge, but studies relating biological and artificial representations are often criticized as relating one black box to another. The present work introduces Augmented Sparse Encoding Models, an encoding framework that replaces dense LM hidden states with hierarchically-organized sparse autoencoder (SAE) features, while explicitly including surprisal as a predictor. Using this approach, we (i) produce interpretations of neural responses and (ii) test whether model-brain alignment reflects primary or idiosyncratic variation in LM representations. Using a high-field 7T fMRI dataset of eight participants listening to 200 linguistically diverse sentences, we first validate our modeling framework by recovering previous interpretations of voxel populations tuned to processing difficulty and meaning abstractness. We then interpret a previously-uncharacterized (but reliable) voxel population and find that it is tuned to people-related content. Next, we show that the fronto-temporal human language network is predicted by a common set of features across its constituent regions, but find that frontal regions are relatively well-explained by surprisal alone, even in the absence of LM-based features. Finally, we show that brain responses are best explained by the features that tend to capture the most general information encoded in LM representations, suggesting a nontrivial correspondence between brain and LM language representation.
적대적 패치(adversarial patch)는 시각적 관측을 조작하여 비전-언어-행동(VLA) 모델을 교란함으로써 로봇 제어 실패를 초래할 수 있습니다. 그러나 이러한 실패의 기저에 어떤 내부 메커니즘이 존재하는지, 표적화된 개입을 통해 이를 어떻게 완화할 수 있는지는 여전히 명확히 이해되지 않았습니다. 본 연구에서는 희소 오토인코더(SAE)를 사용하여 VLA 표현을 기제론적으로 분석하고, 활성화 정도가 적대적 패치의 존재와 강하게 상관되는 특징(feature)을 식별합니다. 이 분석을 바탕으로, 선형 탐침(linear probe)이 공격을 탐지할 때에만 추론(inference) 시점에 식별된 특징을 억제합니다. 이러한 개입은 VLA를 미세조정(fine-tuning)하는 비용 없이도 견고성을 향상합니다. 저자들은 LIBERO-10에서 VLA 적대적 패치 공격에 대해 제안 방식을 평가합니다. 조건부 개입은 간헐적인 공격 상황에서 성공률을 향상하는 반면, 동일한 개입을 지속적으로 적용할 경우 정책(policy) 성능이 크게 저하됩니다. 이러한 결과는 공격 관련 내부 표현이 VLA 적대적 방어를 위한 유용한 표적이 될 수 있음을 보여주며, 정상적인 정책 동작에 대한 방해를 제한하기 위해서는 개입 시점을 제어하는 것이 중요하다는 점을 시사합니다.
개인화 텍스트 생성은 모델이 과거 데이터로부터 사용자 고유의 문체를 포착해야 한다. 검색, 매개변수 효율적 미세조정, 또는 활성화 스티어링(activation steering)에 기반한 기존 접근법은 추론 및 저장 오버헤드를 유발하거나, 문체적 신호와 의미적 내용을 분리하는 데 어려움을 겪는다. 우리는 희소 사전(sparse priors)을 활용한 전역-지역 활성화 스티어링(Global-Local Activation Steering)을 통해 개인화 생성을 수행하는 학습 없는(training-free) 프레임워크인 GLASS를 제안한다. GLASS는 희소 오토인코더(sparse autoencoders)를 사용하여 과거 응답으로부터 전역 사용자 문체 사전을 추출하고, 클러스터링된 상호작용 시나리오에 대해 지역적 대조적 문체 벡터를 구성한다. 추론 시, 전역 및 지역 벡터를 서로 다른 모델 레이어에 공동으로 주입하여, 검색이나 매개변수 업데이트 없이 문맥 인식 개인화를 가능하게 한다. LaMP 및 LongLaMP에서의 실험은 GLASS가 ROUGE 지표와 LLM-as-judge 평가 전반에 걸쳐 검색-, 미세조정-, 스티어링 기반 베이스라인을 능가함을 보여준다. 추가 분석은 SAE 기반 표현이 주제 및 길이 변화에 더 강건하여, 문체 정보와 의미적 잔여(semantic residue)의 더 나은 분리를 시사함을 보여준다.
자기지도 학습(self-supervised learning) 기반 음성 인코더는 공유되고 얽힌 표현 공간 내에 언어적 정보와 준언어적(paralinguistic) 정보를 함께 포함합니다. 본 연구에서는 TopK 희소 오토인코더(sparse autoencoder)를 경로별 지도(route-specific supervision) 및 교차 요인 적대적 학습(cross-factor adversaries)과 결합합니다. 동결된 SPEAR 및 WavLM 인코더 전반에서 독립적인 프로브(probe)를 통해 요인별 유지 및 억제를 확인했습니다. 언어적 정보는 언어 경로에서 더 강하게 유지되는 반면, 화자 신원, 감정, 운율을 포함한 준언어적 요인은 준언어 경로에 유지되고 언어 경로에서는 대폭 감소합니다. LibriSpeech에서 학습된 경로 구성은 표현 측 재학습 없이도 MSP-Podcast에서도 지속됩니다. 특징(feature) 공간에서의 경로 개입은 변경되지 않은 경로가 전달하는 정보를 대부분 보존하면서 교체된 요인을 추가로 전이합니다. 이러한 결과는 인코더, 말뭉치(corpora), 독립 프로브 및 표현 수준 개입 전반에서 일관된 경로 선택적 분리가 이루어짐을 보여줍니다.
멀티모달 대규모 언어 모델(MLLM)은 비전-언어(vision-language) 태스크에서 뛰어난 성능을 입증했으나, 내부 시각적 표현은 여전히 해석하기 어렵습니다. 희소 오토인코더(SAE)는 조밀한 모델 활성화를 희소하고 해석 가능한 특징(feature)으로 분해하는 확장 가능한 방법을 제공합니다. 그러나 기존 SAE 아키텍처는 주로 평면적인 특징 사전을 복원하며, 명시적인 다단계 개념 구성에는 덜 적합합니다. 본 논문에서는 MLLM에서 계층적 시각 개념을 학습하기 위해 SAE++라 명명된 계단식 희소 오토인코더 아키텍처를 소개합니다. SAE++는 SAE의 희소 활성화 코드를 중첩하거나 쌓는 대신, 1단계 SAE의 디코더 가중치에서 직접 2단계 SAE를 학습하여 학습된 저수준 특징 방향을 고수준 추상화를 위한 입력으로 처리합니다. 이러한 설계를 통해 SAE++는 중첩 방식의 공유 접두 문맥(shared-prefix) 결합, 마트료시카 스타일 계층 구조의 단점 및 단순 적층형 SAE의 병목 현상을 방지하면서 "개념의 개념"을 학습할 수 있습니다. 여러 시각 데이터셋에서 Qwen3-VL, Gemma-3, LLaVA를 대상으로 진행한 실험에 따르면, SAE++는 최첨단 SAE 베이스라인에 비해 계층적 개념 일관성 측면에서 해석 가능성을 향상시키는 것으로 나타났습니다. 개념 조향(concept steering)에 대한 결과는 학습된 개념 그룹이 MLLM 출력에 대한 효과적인 그룹 수준 개입을 지원함을 추가로 보여줍니다. 코드는 https://github.com/Wang-ML-Lab/sae-plus-plus 에서 확인할 수 있습니다.
인간의 행동을 대규모로 지속해서 관찰하는 것은 어렵지만, 일상적인 기기 사용 속에는 측정 가능한 흔적이 남습니다. 본 연구에서는 어디에나 존재하며 항상 켜져 있는 수동적 센싱(passive sensing) 양식인 암호화된 스마트폰 네트워크 트래픽이 수면, 스트레스, 외로움과 관련된 행동 패턴을 수동적으로 포착할 수 있는지 검증합니다. 사용자별 어댑터(adapter)를 갖춘 트랜스포머(transformer) 백본을 사용해 공유된 행동 구조를 모델링함으로써, 모델이 전형적인 개인의 행동과 그로부터의 일탈을 모두 표현할 수 있도록 합니다. 이러한 표현을 해석 가능하게 만들기 위해, 희소 오토인코더(sparse autoencoder)를 적용하여 구별되는 활동 패턴에 대응하는 행동 특징을 추출합니다. 그런 다음 먼들락 분해(Mundlak decomposition)를 적용한 일반화 추정 방정식(GEE)을 사용하여 이러한 특징들을 수면 장애, 스트레스, 외로움과 연계하고, 개인 간 차이와 시간에 따른 개인 내 변화를 분리합니다. 연구 결과 세 가지 결과 변수는 서로 다른 시간적 구조를 반영하는 것으로 나타났습니다. 스트레스는 주로 안정적인 개인 간 차이와 연관되고, 외로움은 개인 내 변동과 연관되며, 수면 장애는 두 가지가 결합된 형태를 보였습니다. 특히 이러한 개인 내 역동성은 사전에 정의된 네트워크 트래픽 특징으로는 포착되지 않아, 종단적 행동 센싱을 위한 학습된 표현의 가치를 입증합니다. 이러한 결과는 암호화된 네트워크 트래픽이 실현 가능한 수동적 센싱 양식임을 확립하며, 원시 트래픽 특징에서는 드러나지 않는 해석 가능한 행동 역동성, 특히 개인의 기준선(baseline)으로부터의 일탈을 밝혀냅니다.
대규모 언어 모델(LLM)의 배포 시점 안전성(safety) 기법은 대부분 지도학습 방식이며 안전하지 않은 학습(training) 데이터에 접근할 수 있다고 가정한다. 그럼에도 불구하고 새로운 공격과 위해 유형은 주기적으로 발생하며, 이러한 지도학습 방식으로 훈련된 모델로는 이를 포착하지 못한다. 대안적인 접근법은 이 문제를 이상치 탐지(anomaly detection)의 관점에서 바라보는 것, 즉 안전한 데이터만을 모델링하고 분포 외(out-of-distribution) 입력을 식별하는 데에만 의존하는 것이다. 그러나 LLM 활성화 값은 고차원 공간에 존재하기 때문에 이상치 탐지가 통계적으로 실현 가능한지에 대한 우려가 제기된다. 본 논문에서는 선형 표현 가설(LRH) 하에서 실제로 가능성이 있음을 보인다. 일반적으로 희소 오토인코더(SAE)를 통해 복원되는 LRH 개념 공간에서는 인접한 점들이 작고 공통된 활성 지지 집합(active support)을 공유한다. 이러한 국소적 희소성(sparsity)에 대한 통찰을 바탕으로, 이론적 근거를 갖춘 국소 마스킹 SAE 기반 이상치 탐지 프레임워크를 제안한다. 능력 평가 데이터셋과 안전성 특화 데이터셋을 모두 포함하여 다양한 아키텍처와 데이터셋에서 이를 검증한다. 마지막으로, 보정(calibration)을 위해 알고리즘이 1%의 분포 외 데이터를 사용할 수 있도록 허용했을 때, 국소적 희소성 기반 방식은 거의 최적에 가까운 성능을 달성하여 연산에 SAE 뉴런의 1-2%만을 사용하면서도 의미 있는 안전성 정보를 포착할 수 있음을 입증한다.
DINOv2와 같은 자기지도학습 비전 트랜스포머(Vision Transformer, ViT)는 풍부한 시각적 표현을 학습하지만, 내부 토큰들의 기능은 여전히 명확히 이해되지 않고 있습니다. 최근 아키텍처들은 배경 영역에서 발생하는 고노름(high-norm) 이상치 패치 토큰을 줄이기 위해 전용 레지스터 토큰을 도입했으나, 두 토큰 유형 모두 의미적 및 기능적 역할이 완전히 규명되지 않았습니다. 본 논문에서는 DINOv2의 레지스터 토큰 및 이상치 토큰 활성화에 희소 오토인코더(SAE)를 학습시켜 이러한 역할들을 분석합니다. 자동화된 해석 가능성 파이프라인, UMAP 클러스터링, CLIP 공간 교차 검증을 통해 레지스터 토큰 특징이 고수준 의미론적 개념과 더 강하게 연관되어 있음을 발견했습니다. 반면 이상치 토큰 특징은 저수준의 구조적, 배경적 및 질감 위주의 패턴과 더 자주 연관됩니다. 나아가 인과적 절제(causal ablation) 실험은 상당한 기능적 비대칭성을 드러냅니다. 즉, 활성화가 가장 높은 레지스터 유래 특징을 교란하면 표현 코사인 유사도가 48.17% 감소하는 반면, 이상치 유래 특징을 교란하면 단 0.31%만 감소합니다. 종합적으로, 본 연구 결과는 자기지도학습 ViT에서 토큰 전문화(token specialization)의 증거를 제공합니다.
퓨샷 분할(FSS)은 일반적으로 깨끗한 픽셀 수준의 서포트 마스크를 가정하지만, 실무적인 서포트 지도 학습에서는 박스, 스크리블(scribble), 거친 마스크, 또는 의사 마스크(pseudo-mask)가 자주 사용된다. 이러한 약한 주석에는 타깃과 함께 텍스처가 유사한 방해 요소(distractor)와 배경 맥락이 포함될 수 있어, 쿼리 예측 전에 클래스 프로토타입이나 시각적 프롬프트를 오염시킨다. 본 논문은 SADe를 제안한다. 이는 쿼리 정보 없이 선택된 서포트 패치의 신뢰도를 추정하는 예측기 무관(predictor-agnostic) 서포트 정화 층이다. SADe의 핵심은 희소 오토인코더(SAE) 원자(atom) 증거이다. 밀집 유사도(dense similarity)는 타깃과 텍스처가 유사한 맥락 모두에 반응할 수 있는 반면, 약한 서포트 영역 내부와 외부의 원자 활성화를 대비하는 것은 요인 수준(factor-level)의 신뢰도 단서를 제공한다. 경량 라우터(router)는 원자 증거와 밀집 유사도 및 에피소드 통계를 결합하여 패치 신뢰도를 예측하고 정화된 서포트 마스크를 생성한다. FSS-1000의 합성 약한 서포트 에피소드에서 한 번 학습된 라우터는 모든 타깃 평가에서 고정(frozen)된다. 결과 마스크는 독립 예측을 지원하거나, 쿼리 측 추론을 변경하지 않고 네이티브 서포트 인터페이스를 통해 이질적인 FSS 모델에 제공될 수 있다. 일치하는 약한 서포트 프로토콜 하에서 SADe는 9개의 독립 프롬프트-샷 조합 중 6개에서 최고의 쿼리 mIoU를 달성한다. 동일한 ProMi 쿼리 헤드에서 tight box 하에서는 SAM3 파생 마스크와 0.03 mIoU 이내이며, box-r2 및 box-r4에서는 각각 11.17 및 19.49 포인트를 초과한다. 플러그인으로서 SADe는 4개의 고정 다운스트림 모델과 2개 데이터셋에 걸친 72개의 일치하는 box-family 비교 중 70개에서 raw support 대비 개선한다. 포인트 및 스크리블 프롬프트에서는 평균 성능이 해당 raw-support 기준선에 가깝게 유지된다. Ablation 및 원자 제거(atom-removal) 대조 실험은 원자 증거가 밀집 유사도를 넘어 신뢰도 정보에 기여함을 보여준다.
새로운 언어 모델을 감사하려면 보통 내부 특징을 처음부터 다시 학습하고 재해석해야 한다. 우리는 참조 특징 아틀라스(reference feature atlas)를 제안한다. 이는 참조 패널(reference panel)에서 한 번 학습된 희소(sparse) 특징 라이브러리로, 새로운 대상 모델에는 선형 디코더(linear decoder)만 적합하여 연결된다. 이는 두 가지 상보적인 관점을 제공한다. 아틀라스 채널(atlas channel)은 이미 해석된 패널 특징 위에서 대상 모델을 읽어 모델 간 안정적인 좌표계를 제공한다. 잔차 채널(residual channel)은 아틀라스가 재구성하지 못한 부분에서만 특징을 학습하여, "참조 패널 밖(outside the reference panel)"을 명시적인 감사 신호로 만든다. 우리는 5개의 70억~90억(7-9B) 파라미터 규모의 인스트럭션 튜닝(instruction-tuned) 모델에 대해 leave-one-out 아틀라스를 학습하고, 홀드아웃(held-out) Mistral 및 Qwen 대상을 감사한다. 두 대상 모두에 주입된 세 가지 통제된 LoRA 은닉(hidden) 목표(objective)에 대해, 잔차 채널은 런타임(runtime)에 심어둔(planted) 메커니즘을 완벽히 제어 가능하게 만들면서 대응되는 대조군(matched controls)은 영향을 받지 않게 하고, 두 대상 모두에서 심어둔 목표를 최상위 순위 잠재(latent)로 복원한다. Mistral에서는 대상별 SAE(per-target SAE)와 쌍wise(pairwise) crosscoder 베이스라인이 일대일(head-to-head) 벤치마크를 위해 재학습되는데, 두 베이스라인 모두 이를 달성하지 못한다. Qwen-2.5에서는 동일한 채널이 추가로 패널 상대적(panel-relative) 정치적 프레이밍(political-framing) 클러스터를 드러내며, 이를 스티어링(steering)하면 감사된 프레이밍 지표가 변화하는 반면 도메인 외(out-of-domain) 대조군은 변하지 않는다.
희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.
본 논문은 Gemma 2 2B에서 홀로노미(holonomy)가 활성 희소 자동인코더(SAE) 특징 평면에 집중하는지 검증한다. 이는 더 넓은 의미 집중(semantic-concentration) 예측의 구체적 운영화이다. 홀로노미는 최종 토큰의 층 12에서 층 13까지의 잔차 스트림(residual-stream) readout에서, 계측 도구의 제한 야코비안(restricted-Jacobian) 수송 규칙을 사용해 작은 루프 주위로 국소 프레임(local frame)을 운반한 뒤 결과 회전을 둘러싼 면적으로 정규화하여 측정된다. 설계, 물질성(materiality) 임계값, 분석, 판정 규칙은 분석 대상 측정값을 검토하기 전에 사전등록되고 고정되었다. 예측은 역방향으로 기각되었다: 활성 특징 평면은 매칭된 혼합 특징 대조군보다 더 적은 홀로노미를 지니며, 조정된 로그 대조(adjusted log contrast)는 -0.29439이고 95% 구간은 [-0.43989, -0.14889]이다. 크기(magnitude)만으로 설명하는 것은 이 설계에서 뒷받침되지 않았으며, 무작위, 혼합 특징, 활성 특징 평면 간의 3분류 순서는 매칭된 크기에서 공통 지지(common support)가 실패하여 정의되지 않았다. 동일 readout에서의 동결 후(post-freeze) 진단은 작은 검증 부분집합에서 면적 법칙(area law)을 지지했고, 단순 쌍 회귀 하에서 매칭된 중심 변위(matched-center displacement)를 한정했으며, 수송 왜곡(transport distortion)을 유효한 메커니즘이거나 교란 변수(confound)로 식별했다. 따라서 이 결과는 좁고 감사 가능한(auditable) 운영적 역전이며, 의미가 홀로노미를 억제한다는 인과 주장이 아니다. 원인은 여전히 열려 있으며, 활성화 강도 기하(activation-strength geometry), 특징 참여 정도(degree of feature engagement), 사전(dictionary) 기하, 매칭된 중심 변위, 활성화 다양체(manifold) 근접성, 수송 전단(transport shear)이 유효한 대안이다.
대규모 언어 모델(LLM)의 기만적 출력을 탐지하기 위한 프로브(probe) 학습은 여전히 미해결 문제이다. 최근 연구는 탐지 프로브가 특히 도메인 외(out-of-domain) 시나리오에서 실패함을 보여주었다 — 한 유형의 거짓말에 대해 학습한 것은 다른 유형의 거짓말을 포함하는 기만 시나리오로 잘 전이되지 않는다. 본 연구에서는 탐지 성능에 영향을 미치는 다양한 요인에 대해 체계적으로 조사한다: 표현 깊이, 프로브 표현력, 희소 특징 표현, 그리고 학습 데이터의 거짓말 유형. 이를 위해 표준 벤치마크 학습 데이터에 허구(fabrication), 누락(omission), 과장(exaggeration) 사례를 포함한 다양한 유형의 기만을 담은 보조 데이터셋을 추가한다. 7가지 프로브 유형에 걸쳐 이러한 요인을 분석한 실험 결과, 최적의 표현 깊이는 데이터셋에 크게 의존하며, 더 표현력 있는 프로브는 선형 기준선 대비 선택적인 이득만을 제공하고, 희소 오토인코더 특징은 밀집 은닉 상태와 유사한 성능을 보인다. 궁극적으로 학습 데이터와 거짓말 유형의 선택이 탐지 가능성을 실질적으로 바꾼다는 것을 보여주며, 기만 탐지가 표현에 크게 의존하는 문제임을 강조한다.
Safety as Polytope(SaP)는 LLM 은닉 공간에서 선형 반공간 제약을 학습하지만, 제약 개수 K에 대한 카테고리별 튜닝이 필요하다. 우리는 희소 오토인코더(SAE) 특징 추출이 이를 해결함을 보인다: Qwen3.5-9B에서 14개 카테고리 중 12개에 대해 K=2가 최적이 되며, BeaverTails 분류 벤치마크에서 카테고리당 96-99% 정확도를 달성하여, (무작위 초기화를 사용한 K=4-25에 대한) 포괄적 탐색의 필요성을 대부분 없앤다. 두 평면으로의 이러한 수렴은 선형 표현 가설(Linear Representation Hypothesis)과 일치하며, 이 설정에서 안전성 경계가 SAE 특징 공간에서 저차원 선형 기술을 허용함을 시사하는 증거를 제공한다. 이 기하학적 관점을 바탕으로, 학습 가능한 개구(aperture)가 각 카테고리의 클러스터 집중도에 적응하는 원뿔 제약을 도입하며, 3단계 학습에 의해 안정화된다.
활성화 조향(activation steering)은 대규모 언어 모델(LLM)의 행동 제어를 위한 미세조정의 경량 대안을 제공하지만, SAE 기반 조향 방법은 종종 학습된 조향 목표나 단일 기준 특징 선택에 의존한다. 우리는 먼저 6가지 조건의 신뢰성 필터를 적용한 뒤, $F$-test, KSG 상호정보(mutual information), Cohen's $d$라는 세 가지 상보적 통계량에 대한 비가중 Borda 합의를 통해 희소 특징을 순위화하는 투명한 SAE-특징 조향 파이프라인을 제안한다. 그 결과로 얻어진 조향 방향은 SAE 디코더 행들의 Cohen's $d$ 가중 결합으로 구성되며, 근사적 SAE-특징 비상관(decorrelation) 하에서 Fisher-LDA에 의해 동기화된 최적화 없는(optimization-free) 방향을 제공한다. Gemma 계열 모델 3종, 4개 행동 도메인, 356개 층-강도 구성에 걸쳐, 이 방법은 측정 가능한 도메인별 변화를 만들어내면서 원시 속성(attribute) 이동과 품질을 보존하는 생성 사이에 상당한 격차가 있음을 드러낸다. 가장 강한 구성에서 논리적 정확성(logical-correctness) 조향은 Gemma~2 9B에서 주요 점수(primary-score) 델타 $+1.16$에 도달한다. 그러나 더 넓은 범위의 발견은, 실용 가능한 조향이 모델, 도메인, 층, 강도에 따라 매우 국소화되어 있음을 보여준다. 이 결과는 활성화 조향 평가가 원시 행동 변화와 함께 품질 조건부 성공(quality-conditioned success)을 보고해야 함을 시사한다. 코드와 데이터는 https://github.com/Oshayer-Siddique/LLM-Steering-Using-SAE 에서 이용할 수 있다.
다중 에이전트 시스템(MAS)은 다양한 맥락과 많은 분야에서 활용된다. 이러한 MAS는 에이전트 간 통신에 의존하며, 이는 보통 평문 메시지 전달로 구현된다. 우리는 복잡한 개념을 전달해야 할 때, 대규모 언어 모델(LLM)이 텍스트로 표현 가능한 범위를 넘어서는 세계 모델(world model)을 이용할 수 있을 가능성이 있다고 가설한다. 본 연구의 목표는 구조화된 실험을 통해 이 가설의 증명에 근접하는 것이다. 본 논문에서는 텍스트를 통해 통신하는 LLM 에이전트가 정보를 잃는다는 점을 보이며, 이를 Sparse Autoencoder(SAE) 특징 분석으로 정량화한다. 우리는 세 가지 통신 채널을 구성하고 각 채널에서 개념을 구별하는 정보를 측정한다. 먼저 SAE-sparse 채널이 dense-latent 채널 대비 28배 압축에서 99.4%의 probe 정확도를 유지하는 반면, text 채널은 80.4%임을 보인다. 이어서 sparse 잠재 공간 정렬(sparse latent space alignment)을 이용해 아키텍처 간 통신에서도 동일한 분석을 수행한다. Procrustes 정렬(Procrustes alignment)의 경우 Llama와 Mistral 간 top-1 검색에서 92%를 확인한다. 텍스트 왕복(text round-trip)을 통해 특징 생존 분석(feature survival analysis)을 수행한 결과, 텍스트 직렬화가 SAE 특징의 88%를 파괴하고 이를 다른 특징 집합으로 대체함을 발견한다. 우리는 이 손실을 감쇠(attenuation)가 아닌 동일성 대체(identity replacement)에 기인한다고 귀인한다. 분석을 통해 선형 Procrustes 정렬에 3–10%p의 성능 페널티가 있음을 귀인할 수 있었으며, 비선형 정렬 방법으로 이는 개선된다. 과제 수준 평가(task-level evaluation)에서는 잠재 채널이 교차 언어 개념 과제에서 text 채널과 동등하지만 이를 초과하지는 않는다. 잠재 특징으로 text를 증강해도 이점이 없으며, 이는 초기 가설에 대한 부정적 결론으로 이어진다: 손실된 특징은 대부분 또는 전적으로 과제 관련 의미가 아니라 표면 형태(surface form)를 인코딩한다. text 채널 대비 잠재 통신의 실질적 이점을 특정하려면, 복잡한 개념을 유도하는 더 깊은 과제와 이에 대응하는 분석 프레임워크가 필요하다.
희소 오토인코더(SAE)는 중첩(superposition)된 신경 표현을 해석 가능한 특징(feature)으로 분해하는 표준이며, 평가는 주로 상관적 복원(recovery) 지표—ground-truth 방향과 디코더 atom 간의 코사인 유사도—에 의존한다. 우리는 이것이 디코더 기하(geometry) 정렬과 인코더 활성화(activation) 동작이라는 두 가지 서로 다른 주장을 혼동한다는 것을 보인다. 우리는 Elhage et al. (2022)의 중첩 위상(phase) 다이어그램을 재현하여, 높은 희소성(sparsity)에서의 수렴(convergence) 아티팩트와 극단적 과완전성(overcompleteness)에서 충분히 설명되지 않은 diffuse sharing 영역을 확인한다. 우리는 Gao et al. (2024)의 TopK 대 L1 비교를 재현하고, L1 수축(shrinkage)의 직접적 증거를 제시한다. 우리의 핵심 결과는 인과적(causal)이다: 복원된 모든 특징에 ablation과 steering을 적용한 결과, 성능이 저하된 SAE에서 복원 기준(recovery bar)(cosine >= 0.90)을 통과하는 특징의 최대 77%—잘 학습된 SAE에서는 9%—가 인과적으로 비활성(inert)하다는 것을 발견한다. 매칭된 atom은 특징이 존재할 때 절대 발화(fire)하지 않으며, cosine ~1.000인 매칭도 포함된다. 우리는 이 방법을 결정론적(deterministic) 파이프라인을 갖춘 모델 불변(model-agnostic) 도구 sae-causal-audit으로 패키징한다. 재감사(re-auditing)는 이 발견을 정교화한다: 비활성(inertness)은 원인별로 구조적 비활성(양극(antipodal) 쌍 기하, 양호한 SAE에 존재)과 경쟁적 비활성(성능 저하 SAE의 TopK 병리(pathology))로 분해되며, 방향별로는 read- 및 write-inertness로 분해되는데, 다섯 개의 antipodal 쌍이 이를 완전히 분리한다—모니터링 불가능(unmonitorable)하지만 동일한 atom을 통해 steerable하며, ablation 효과가 0인 상태에서 steering 특이도(specificity) 143-310이 붙는다. 우리는 바이트 단위 정확(byte-exact) 재현성이 구조상 불가능한 이유를 문서화하고, 명시적 범위(scope)를 갖는 주장(claim)의 스택으로 보고할 것을 제안한다. 프로덕션 SAE에 이 도구를 적용하면 소규모(14% inert)에서도 동일한 패턴이 재현되며 atom 충돌(collision) 신호가 드러난다: 소수의 atom이 서로 무관한 수십 개 개념에 대해 최근접 매칭으로 반복적으로 등장하며, 이는 세 배치에 걸쳐 재현된다.
우리는 희소 오토인코더(SAE) 특징이 안전성 관련 행동에 대한 국소화된 제어 핸들로 작동하는 시점을 평가한다. 이 질문은 표면적 성공이 약한 개입, 불일치한 기준선, 모델 강건성, 또는 자동화된 안전성 판정기가 실질적인 유해 순응을 나타내지 않으면서도 안전하지 않다고 표시하는 퇴화된 출력에서 비롯될 수 있기 때문에 어렵다. 우리는 런타임 안전성 개입을 위한 매칭 일관성 게이팅(coherence-gated) 평가 프로토콜을 도입한다: 방법들은 매칭된 목표 효과 지점에서 비교되며, 주요 목표 지표는 출력이 판정기 기준 안전하지 않으면서 동시에 일관성이 있을 때만 유해 순응으로 계산한다. 이 프로토콜을 Gemma Scope 20번째 층 잔차 SAE를 사용하여 Gemma-2-9B-it의 세 가지 프롬프트 분할에 적용한 결과, SAE 특징 절제(ablation)는 좁은 유용 영역을 가짐을 발견한다. SAE top800은 낮은 전체 섭동(perturbation)과 경쟁력 있는 유용성으로 낮은~중간 수준의 목표 효과에 도달하지만, SAE top1600은 매칭된 밀집 거부 방향 기준선 대비 유용성을 상실하며, SAE top3200은 주로 일관성 붕괴를 유발한다. 인간 감사는 일관성 게이팅이 안전하지 않음만을 나타내는 아티팩트를 제거함을 확인하며, 특징 진단은 유용 영역이 순위에 따라 활성화 분리가 급속히 감소하는 거부 정렬 특징들의 안정적인 선두에 의해 구동됨을 보여준다. 이러한 결과는 SAE 기반 안전성 개입이 균일하게 국소화된 것으로 가정하기보다는 영역 의존적 제어 메커니즘으로 평가되어야 함을 시사한다.
강력한 추론은 모델의 지식뿐만 아니라 생성 과정에서 인지적 행동이 얼마나 효과적으로 발휘되는지에도 달려 있다. 기존 방법들은 명시적인 행동 수준 제어에 의존하는 경우가 많아, 추론 상태·과제·모델에 따라 실패 양상과 필요한 교정이 달라질 때 충분히 적응하지 못한다. 이를 위해 우리는 잠재 보상 조향(LRS, Latent Reward Steering)을 제안한다. LRS는 인지적 행동을 암묵적으로 담고 있는 희소 오토인코더(SAE, sparse-autoencoder) 잠재 상태를 최적화함으로써 인지적 행동을 촉진하는 적응형 추론 시간 프레임워크이다. 사전에 정의된 인지적 행동이나 그로부터 도출된 조향 방향에 의존하는 대신, LRS는 최종 답안의 정확성을 기준으로 추론 궤적 위에서 잠재 보상 모델을 학습하여 중간 잠재 상태의 품질을 추정한다. 추론 시에는 보상 그래디언트가 취약한 잠재 상태에 대한 상태별 교정 방향을 제공하며, 보상 및 신뢰도 게이트가 보상 신호가 취약하다고 표시한 상태에만 개입을 제한한다. 여러 추론 LLM 백본과 벤치마크에서 수행한 실험은 LRS가 다양한 기준선 대비 일관되게 성능을 향상시킴을 보여주며, 사후 분석을 통해 LRS가 원래의 추론 오류를 수정하는 바람직한 인지적 행동을 암묵적으로 촉진함을 확인하였다. 코드는 https://github.com/jiakanglee/Latent-Reward-Steering 에서 확인할 수 있다.