PyTorchKR Papers

최신 논문

총 27편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15850v1cs.LG

희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지

What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions

희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.

arXiv:2603.28744v2cs.LG

프로빙을 멈추고 코딩을 시작하라: 선형 프로브와 희소 오토인코더가 조합적 일반화에 실패하는 이유

Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation

선형 표현 가설(linear representation hypothesis)은 신경망(neural network) 활성화가 고수준 개념을 선형 혼합으로 인코딩한다고 주장합니다. 그러나 중첩(superposition) 상태에서 이러한 인코딩은 더 높은 차원의 개념 공간에서 더 낮은 차원의 활성화 공간으로의 투영이며, 개념 공간에서의 선형 결정 경계가 투영 후에도 선형으로 유지될 필요는 없습니다. 이 환경에서 샘플별 반복 추론(inference)을 수행하는 고전적인 희소 코딩(sparse coding) 방법은 압축 센싱(compressed sensing) 보증을 활용하여 잠재 요인을 복원합니다. 반면, 희소 오토인코더(SAE)는 희소 추론을 고정된 인코더로 상각(amortise)하여 체계적인 격차를 유발합니다. 우리는 이러한 상각 격차(amortisation gap)가 학습(training) 세트 크기, 잠재 차원, 희소성(sparsity) 수준 전반에 걸쳐 지속되어, 분포 외(OOD) 조합적 변화 하에서 SAE가 실패하게 만든다는 것을 보여줍니다. 실패 원인을 분해하는 통제된 실험을 통해, 우리는 제한 요인이 (추론 절차가 아닌) 딕셔너리 학습(dictionary learning)임을 확인했습니다. 즉, SAE로 학습된 딕셔너리는 실질적으로 잘못된 방향을 가리키며, 동일한 딕셔너리에서 인코더를 샘플별 FISTA로 대체해도 그 격차가 좁혀지지 않습니다. 오라클 기준선(baseline)은 테스트된 모든 스케일에서 우수한 딕셔너리가 있다면 이 문제를 해결할 수 있음을 증명합니다. 실제 LLM 활성화(Pythia-70M, Gemma-2-2B)를 사용한 실험을 포함한 우리의 결과는 SAE의 실패를 추론 문제가 아닌 딕셔너리 학습의 과제로 재구성하며, 중첩 하에서의 희소 추론을 위한 핵심 미해결 과제로 확장 가능한 딕셔너리 학습을 지목합니다.

arXiv:2606.00356v3cs.CL

자동 해석 레이블은 어디까지 일반화되는가: 언어, 문자 체계, 표현 변경에 대한 통제된 연구

How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

희소 오토인코더(SAE) 특징(feature)은 언어 모델을 해석하는 데 점점 더 많이 사용되고 있으며, 자동으로 생성된 자연어 레이블은 각 특징이 무엇을 나타내는지 이해하기 위한 주요 인터페이스 역할을 합니다. 본 연구에서는 이러한 레이블이 일반화되는지, 즉 특정 개념에 대해 레이블이 지정된 특징이 언어와 문자 체계(script) 전반에 걸쳐 해당 개념을 실제로 추적하는지 질문을 던집니다. 결정론적 전자(transliteration)를 통해 라틴 문자와 키릴 문자 모두로 표기되는 동일한 언어인 세르비아어 이중문자(digraphia)를 통제된 테스트베드로 활용하여, 서로 다른 언어, 문자 체계 및 표현에서 동일한 내용에 의해 활성화되는 SAE 특징 집합이 상당한 중복도를 공유함(랜덤 기준선 0.13 대비 평균 자카드 유사도 0.39, 최대 0.57)을 먼저 확인했으며, 이는 진정한 교차 언어적 의미 특징이 존재함을 시사합니다. 이어서 자동 해석 레이블이 이를 따라가는지 테스트했습니다. 결과는 그렇지 못한 경우가 많았습니다. 의미론적 내용을 설명하는 레이블을 가진 특징은 영어 내에서보다 세르비아어에서 동일한 의미를 최대 4배 더 자주 놓쳤으며, 서로 결정론적 전자 관계인 두 문자 체계 사이에서도 세르비아어 라틴 문자보다 세르비아어 키릴 문자를 더 많이 놓쳤습니다. 이러한 격차는 네트워크 깊이가 깊어질수록 커지지만, 레이블 자체는 이러한 실패 징후를 전혀 나타내지 않습니다. 이러한 결과는 자동 해석 레이블이 개념 자체보다는 모델이 학습(training) 중에 가장 많이 접한 언어와 문자 체계에서의 특징 동작을 반영함을 시사합니다.

arXiv:2605.27813v2cs.CV

확산 모델 해석을 위한 잔차화된 시간 희소 오토인코더

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.

arXiv:2605.10971v2cs.LG

망가뜨리지 않고 제어하기: 이산 확산 언어 모델을 위한 기계론적 정보 기반 개입

Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

이산 확산 언어 모델(Discrete diffusion language model, DLM)은 모든 위치를 병렬로 반복해서 노이즈를 제거(denoising)하며 텍스트를 생성하여 자기회귀 모델(autoregressive model)의 대안을 제공합니다. 자기회귀 모델에서 도입된 기존 DLM 제어 생성 방식들은 모든 노이즈 제거 단계에서 균일한 개입을 적용합니다. 본 연구는 이러한 균일한 스케줄이 비효율적이고 품질을 저하시키며, 여러 속성을 공동으로 제어(steering)할 때 손상이 가중됨을 보여줍니다. 이러한 실패 원인을 진단하기 위해 4개의 DLM(124M~8B 파라미터)에서 희소 오토인코더(sparse autoencoder)를 학습시켰으며, 서로 다른 속성들이 타이밍, 선명도, 크기 면에서 상이하고 뚜렷한 스케줄에 따라 결정된다는 점을 발견했습니다. 예를 들어, MDLM에서 주제(topic)는 노이즈 제거의 초기 2% 이내에 결정되는 반면, 감성(sentiment)은 전체 과정의 20%에 걸쳐 점진적으로 나타납니다. 이러한 프로파일에 착안하여, 각 속성이 활발하게 형성되는 구간에 개입을 집중하는 적응형 스케줄링 메커니즘을 제안합니다. 이상화된 할당 분석에 따르면 형성 과정이 더 급격히 집중되는 속성일수록 적응형 스케줄링의 이점을 더 크게 얻는 것으로 예측되며, 이를 실험적으로 확인했습니다. 4개의 DLM에 대한 7가지 단일 및 다중 속성 제어 작업 전반에서, 적응형 제어는 균일 개입 및 구간 제한 베이스라인 대비 제어와 품질 간의 균형을 일관되게 개선합니다.

arXiv:2605.07922v3cs.LG

Tree SAE: 희소 오토인코더에서 계층적 특징 구조 학습

Tree SAE: Learning Hierarchical Feature Structures in Sparse Autoencoders

희소 오토인코더(Sparse Autoencoder, SAE)에서 계층적 특징(feature)을 학습하는 것은 실세계 데이터의 구조화된 특성을 포착하고 특징 흡수(feature absorption) 또는 분할(splitting)과 같은 문제를 완화하는 데 필수적입니다. 기존 연구들은 자식 특징이 부모 특징이 활성화될 때만 활성화되어야 한다는 가정인 활성화 커버리지(activation coverage)에 의존하여 독립적인 특징 집합 내에서 계층 관계를 식별하고자 시도합니다. 그러나 본 논문에서는 이 조건만으로는 불충분하며, 부모 및 자식 개념이 의미론적으로 무관한 거짓 양성(false positive)을 자주 생성함을 보입니다. 이를 해결하기 위해 계층 수준 간에 더 깊은 기능적 연결을 강제하는 새로운 재구성 조건(reconstruction condition)을 도입합니다. 활성화 및 재구성 제약을 모두 결합하여, 특징 집합 내부로부터 계층적 구조를 직접 학습하도록 설계된 모델인 Tree SAE를 제안합니다. 실험 결과는 Tree SAE가 여러 핵심 벤치마크에서 SOTA(최고 성능)에 필적하는 경쟁력 있는 성능을 유지하면서, 계층적 쌍을 학습하는 데 있어 기존 SAE를 크게 능가함을 입증합니다. 마지막으로, 자식 특징 부분공간(subspace)의 기하학적 구조를 매핑하고 대규모 언어 모델(LLM) 내에 인코딩된 복잡한 계층적 개념 구조를 밝혀냄으로써 Tree SAE의 실용적 유용성을 입증합니다.

arXiv:2606.22994v2cs.LG

희소 오토인코더는 의미 있는 개념 계층 구조를 학습하는가?

Do Sparse Autoencoders Learn Meaningful Concept Hierarchies?

희소 오토인코더(SAE)는 대규모 모델에서 비지도 개념 발견을 위한 중요한 도구가 되었습니다. 그 결과로 얻어지는 특징 공간을 더욱 해석 가능하고 다루기 쉽게 만들기 위해, 최근 접근법들은 명시적으로나 혹은 학습 제약 조건의 암묵적 효과로서 계층 구조를 부여하기 시작했으나, 엄밀한 비교는 여전히 어렵습니다. 의미 있는 특징 계층 구조가 무엇을 만족해야 하는지에 대한 합의된 요구사항이 없으며, 평가는 파편화된 정량적 프로토콜과 함께 주로 정성적 예시에 의존해 왔습니다. 이를 해결하기 위해, 본 논문에서는 시맨틱 넷(semantic net) 및 분류 체계(taxonomy) 연구와 최근 SAE 연구를 참고하여 비지도 개념 발견에서의 일반화/전문화 계층 구조에 대한 일련의 핵심 요구사항을 도출하고, 이를 활용해 구체적인 평가 프로토콜을 도출합니다. 시각 데이터로 학습된 최신 SAE 접근법들에 이 프로토콜을 적용한 결과, 특징 공간이 일반적으로 타당한 계층 구조를 위한 기반을 제공하지만 훌륭한 계층 구조를 확립하는 것은 여전히 어렵다는 점을 발견했습니다. 특히 잘 알려진 하드(hard) 형태와 연속적인 소프트(soft) 형태 모두에서 나타나는 특징 흡수(feature absorption)가 계층 구조의 품질을 체계적으로 저하시키며, 이는 향후 접근법들이 해결해야 할 근본적인 긴장 관계를 시사합니다.

arXiv:2605.18882v2cs.LG

호출할 것인가 말 것인가: LLM 에이전트의 내재적 과도 호출 바이어스 진단

To Call or Not to Call: Diagnosing Intrinsic Over-Calling Bias in LLM Agents

대규모 언어 모델(LLM) 에이전트는 도구가 전혀 필요하지 않은 상황에서도 도구를 호출하는 등 일관되게 과도 호출(over-call)하는 경향을 보입니다. When2Call 벤치마크에서 3개 패밀리의 6개 모델은 높은 호출 정확도를 보이지만 미호출(no-call) 정확도는 훨씬 낮아, 전반적인 정확도는 55%~70% 범위에 머물렀습니다. 우리는 이를 내재적 바이어스 가설(Intrinsic Bias Hypothesis, IBH)로 추적합니다. 즉, 호출/미호출 결정 매핑에 활성화와 무관한 호출 오프셋(offset)이 수반되어, 활성화가 동등한 상태에서도 모델이 호출을 선호한다는 것입니다. 우리는 희소 오토인코더(SAE)를 사용하여 호출/미호출 결정에 부합하는 행동 정렬 특징 기저를 복원하고, 이를 부호가 있는 활성화 마진으로 축소한 뒤 오프셋을 직접 추정합니다. 6개 모델 전체에서 모델은 미호출 활성화가 호출 활성화를 압도할 때만 결정 중립적이었으며, 이는 IBH와 일치합니다. 그런 다음 우리는 SAE 디코더 방향을 따라 닫힌 형식(closed-form)의 바이어스 상쇄 시프트를 적용하는 적응형 마진 보정 스티어링(AMCS)을 통해 IBH를 인과적으로 검증합니다. 진단된 오프셋을 상쇄하면 호출 정확도의 하락을 최소화하면서도 과도 호출이 완화되고 전반적인 정확도가 향상됩니다. 본 연구는 과도 호출을 단순한 경험적 현상에서 인과적 교정이 가능한 기계론적 대상(mechanistic object)으로 재구성합니다. 코드는 https://github.com/SKURA502/agent-sae/ 에서 확인할 수 있습니다.

arXiv:2608.12573v2cs.LG

Prof-K: 효율적인 Top-k 선택을 위한 확률론적 단일 패스 필터링

Prof-K: Probabilistic One-Pass Filtering for Efficient Top-k Selection

Top-k 선택은 데이터베이스, 정보 검색, 신호 처리뿐만 아니라 희소 활성화 및 어텐션(attention) 가지치기(pruning)를 포함한 현대 머신러닝 워크로드 전반에 활용되는 핵심적인 기본 연산(computational primitive)입니다. 데이터 규모가 커짐에 따라 기존 접근법은 비효율적이 됩니다. 정확한(exact) 방식은 높은 메모리 및 연산 오버헤드를 유발하며, 근사(approximate) 방식은 취약한 휴리스틱에 의존하는 경우가 많아 적대적이거나 두터운 꼬리(heavy-tailed) 분포를 갖는 입력에서 성능이 저하됩니다. 본 논문에서는 정확한 Top-k 선택을 위한 빠르고 확장 가능하며 분포에 구애받지 않는(distribution-agnostic) 알고리즘인 Prof-K를 소개합니다. Prof-K는 단일 패스 필터링 절차를 수행합니다. 즉, 작은 무작위 표본을 통해 적응형 임계값을 추정한 후, N개의 입력 요소를 컴팩트한 버퍼로 한 번 스트리밍하며, 이 버퍼에 대해 정확한 Top-k 루틴을 수행하여 사용자가 지정한 $\varepsilon>0$에 대해 최소 $1-\varepsilon$의 확률로 첫 번째 시도에서 실제 Top-k 요소를 복원합니다. 본 연구는 N과 k의 함수로서 오버헤드를 최소화하는 대략적으로 최적화된 표본 크기와 함께, 정확도 및 버퍼 크기에 대한 높은 확률 보장(high-probability guarantees)을 도출합니다. 실증적으로 Prof-K는 고도로 최적화된 PyTorch topk 및 최근의 RadiK 구현 대비 1.5배~15배의 속도 향상을 달성하며, 기존 방법들이 가장 취약했던 대규모이면서 작거나 중간 크기의 k 영역에서 가장 큰 성능 향상을 보입니다. 이전 접근법과 달리 이러한 보장은 입력 분포와 무관하게 유지되므로 적대적 설정에 대한 견고성을 보장합니다. 런타임 검사를 통해 드물게 발생하는 실패를 감지하고 재시도를 트리거하므로, 반환되는 집합은 항상 정확하며 $\varepsilon$은 추가 패스가 필요할 확률만을 제한합니다. 나아가 Top-k 선택이 학습 비용의 상당 부분을 차지하는 BatchTopK 희소 오토인코더(SAE) 학습(training)에서 Prof-K의 효과를 입증합니다.

arXiv:2610.01864v1cs.SD

개별 특징에서 궤도로: 다중 SAE 정렬을 통한 음악 개념 발견

From Isolated Feature to Orbits: Discovering Music Concepts via Multi-SAE Alignment

음악 파운데이션 모델이 내부적으로 무엇을 학습했는지 어떻게 이해할 수 있을까요? 프로빙(probing) 및 희소 오토인코더(Sparse Autoencoders, SAE)와 같은 대부분의 해석 가능성 접근 방식은 구조적 가정을 최소화한 채 개별 특징(feature)을 식별하는 데 집중합니다. 우리는 많은 개념이 고립된 특징보다는 구조화된 관계로 이해하는 것이 더 적절하다고 주장합니다. 이는 음고(pitch)와 시간 공간에서 음조 구조가 구성되는 음악 분야에서 특히 두드러집니다. 예를 들어 화음(chord)이나 조(key)와 같은 개념은 고립된 특징이 아니라 구조화된 집합(예: 화음의 12가지 조옮김 또는 조 내의 온음계 시스템)으로 자연스럽게 표현됩니다. 본 연구에서는 특징 식별에서 구조 기반 분석으로 전환하여, 음악 파운데이션 모델의 학습된 내부 표현이 특징 전반에 걸쳐 조직화된 구조로 창발하는지 질문합니다. 이를 위해 우리는 다중 뷰 SAE 정렬(multi-view SAE alignment)을 통해 정렬된 궤도(orbit)를 유도하기 위한 귀납적 바이어스(inductive bias)로 음고 조옮김(pitch transposition)을 활용하는 프레임워크를 도입합니다. 구체적으로는 음고가 변조된 입력 쌍을 생성하고 이들의 SAE 표현을 정렬하여 음고 관련 특징의 구조화된 그룹을 발견합니다. 실험 결과에 따르면, 이 접근 방식은 두 가지 최첨단 음악 파운데이션 모델 전반에서 화음, 조, 멜로디 패턴에 해당하는 궤도 구조를 복원하며, 전체 개념군을 해석하는 데 최소한의 그라운딩(예: 소수의 앵커 예시)만을 필요로 합니다.

arXiv:2609.24379v1cs.CV

지형적 학습은 뉴런 단의의성을 개선하지 않으면서 인과 회로를 집중시킨다

Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity

비전 트랜스포머의 기계론적 해석 가능성(mech interp)은 모델 연산을 사람이 읽을 수 있는 단위로 분해하려 하지만, 학습된 표현은 각 뉴런에 많은 개념을 얽혀 둔다. 특징(feature) 중첩(superposition)은 이러한 분해의 핵심 장애물로 널리 여겨지지만, 대부분의 완화 방법(희소 오토인코더, dictionary learning)은 사후적(post-hoc)이며 기저 네트워크는 그대로 둔다. 우리는 공간 지역성(spatial-locality) 학습 손실(TopoLoss)이 표준 mech-interp 도구의 해석 가능성을 높이는 경량의 학습 시점 사전(prior) 역할을 할 수 있는지 묻는다. ImageNet-100에서 여러 TopoLoss 가중치 $\alpha$로 ViT를 학습(training)하며, 활성화 패칭(activation patching)으로 지형(topographic) 클러스터의 인과적 충분성을, 동일 잔차 스트림(residual stream)에 적합한 희소 오토인코더로 특징 기하를 측정한다. $\alpha=1.0$에서 지형 클러스터는 동일 크기의 무작위 단위 집합보다 인과적으로 2.79$\times$ 더 충분하며, 효과는 $\alpha$에 단조 증가한다. SAE L0 희소성(sparsity)은 11% 감소하고 dead-feature 비율은 19배 증가하지만, 표준 뉴런 수준 단의의성(monosemanticity) 점수는 변하지 않아, 지형적 압력이 회로(circuit) 수준에서 작용하여 개별 뉴런을 분리(disentangle)하지 않고 인과적 기여를 공간적으로 지역적인 구조에 집중시킴을 나타낸다. 이러한 분리(dissociation)는 현재 뉴런 수준 단의의성 지표가 한 유형의 실질적 해석 가능성 이득에는 둔감함을 시사하며, 저렴한 구조적 사전을 사후 도구에 대한 실행 가능한 학습 시점 보완으로 제시한다.

arXiv:2607.20778v1cs.LG

대기 화학에 파인튜닝된 AI 파운데이션 모델의 기계론적 해석 가능성을 향하여

Toward Mechanistic Interpretability of an AI Foundation Model Fine-Tuned for Atmospheric Chemistry

기상 예보 파운데이션 모델(FM)은 공기질 예측을 위해 점점 더 많이 파인튜닝되고 있으며, 기존 화학 수송 모델보다 낮은 계산 비용으로 빠른 전 지구적 오염 예보를 제공한다. 이러한 FM은 일반적으로 재분석(reanalysis) 데이터로 학습되며 자기회귀(autoregressive) 롤아웃을 통해 예보를 생성한다. 이들은 지배적인 물리적 또는 화학적 과정을 명시적으로 표현하지 않는다. 따라서 높은 예보 기술(forecast skill)만으로는 모델이 물리적 메커니즘을 학습했는지, 아니면 학습 데이터의 통계적 규칙성을 이용하는지 알 수 없다. 여기서 우리는 Microsoft의 Aurora 모델을 검토하여 대기 화학에 파인튜닝된 FM이 무엇을 학습했는지에 대한 최초의 연구를 제시한다. 우리는 예보에 통제된 화학적 섭동(perturbation)을 가하고 이를 알려진 광화학(photochemical) 관계와 대조하여 검증한다. 그다음 이러한 예보를 생성하는 내부 표현(internal representations)을 조사한다. 우리는 Aurora가 반응성 질소(reactive nitrogen)에 대한 1차 오존(ozone) 반응을 포착하지만, 과정 기반(process-based) 모델이 인코딩하는 화학적 제약을 강제하지는 않음을 발견한다. 이 모델은 관련 종(species)의 화학적으로 불일치하는 조합을 생성하고, 산불 연기(wildfire plumes)와 같은 국지적 배출 특성을 배경(background) 수준으로 완화(relax)시킨다. 내부적으로 그 표현은 사전학습(pre-training) 동안 상속된 기상학(meteorology)을 중심으로 대체로 조직되어 있으며, 화학에 특화된 구조는 거의 없다. 희소 오토인코더(sparse autoencoders)를 사용하여, 화학 예보를 인과적으로 제어하지만 개별 대기 과정에 깔끔하게 대응(map)되지 않는 내부 구성 요소를 식별한다. 본 연구는 AI 예보 시스템이 재분석 데이터로부터 대기 화학을 학습하는지 검증하는 프레임워크를 제공한다. 이러한 모델이 환경 정책 결정에 점점 더 많이 활용됨에 따라, 우리는 성분(composition) 예보가 벤치마크 기술만이 아니라 내부 메커니즘으로도 평가되어야 한다고 주장한다.

arXiv:2607.20652v1cs.LG

Parity Bottleneck 층을 활용한 해석 가능 Transformer의 스케일링

Scaling Interpretable Transformers with Parity Bottleneck Layers

언어 모델은 중첩(superposition) 현상을 보이는 것으로 여겨지며, 잔차 스트림(residual stream)의 차원 수보다 훨씬 많은 특징을 표현한다. 희소 오토인코더(SAE)는 이러한 특징을 사후적으로 복원하도록 설계되었지만, 구조적으로 해석 가능한 모델을 학습하는 것은 층별 과완전(over-complete) 병목이 메모리와 연산 모두에서 지나치게 비용이 많이 들기 때문에 여전히 비현실적이다. 이 문제를 극복하기 위해, 중간 표현이 설계상 효율적이고 넓으며 희소한 GPT-2 규모 아키텍처인 ParityTransformer를 제안한다. 각 층에서 Deep Parity Bottleneck(DPB)은 학습된 과완전 기저를 매개변수 없는 대수적 사전으로 대체하여, 결정론적 비일관(incoherence) 보장을 제공하고 대규모에서 층별 해석 가능 병목을 막아온 메모리 요구사항을 제거한다. DPB는 다수준 전문가 혼합(MoE) 접근법을 사용하여 희소성을 효율적으로 강제하는 계층적으로 구조화된 희소 병목으로, 활성화 희소 학습과 밀집 학습 간의 비용 격차를 관리 가능한 해석 가능성 부담으로 줄이는 하드웨어 인식 구현이다. 실험적으로 ParityTransformer는 희소 프로빙(sparse probing) 과제에서 사후 SAE 이상의 성능을 보이며, 특징 흡수(feature absorption), 스티어링(steering) 효과, 세밀한 인과적 개입 측정에서 더 우수하다. 후속 연산은 희소 병목을 통과한 특징에만 작용하므로, ParityTransformer의 특징은 구조적으로 모델의 순전파(forward pass)에 내재하며, SAE가 모델이 실제 계산 중 사용하는 특징을 프로빙하는지에 대한 질문을 다룬다. 이를 사후 복원이 아닌 설계상 해석 가능한 내부 표현을 갖는 모델을 학습하는 방향으로의 한 걸음으로 본다.

arXiv:2607.12094v1cs.LG

해석 가능한 분포 외(OOD) 탐지를 위한 희소 오토인코더

Sparse Autoencoders for Interpretable Out-of-Distribution Detection

분포 외(OOD) 샘플의 신뢰할 수 있는 탐지는 머신러닝 모델의 안전한 배포에 매우 중요하다. 신경망은 학습 데이터와 벗어난 입력에 대해 종종 과도하게 확신하는 예측을 생성하여 성능이 크게 저하된다. 많은 OOD 탐지 방법이 최종 출력 층에만 초점을 맞추는 반면, 중간 네트워크 층에 존재하는 풍부한 계층적 정보는 간과한다. 본 논문은 이러한 중간 활성화로부터 해석 가능한 특징을 학습하기 위해 희소 오토인코더(SAE)를 활용하는 새로운 접근법을 제안한다. 분포 내(ID) 데이터와 OOD 데이터가 이러한 희소 특징의 서로 다른 집합을 활성화함을 발견했다. 테스트 샘플의 희소 특징 활성화와 ID 클래스의 평균 활성화 사이의 코사인 유사도로부터 도출된 새로운 OOD 점수를 제안한다. 우리의 사후(post-hoc) 탐지 방법은 표준 OOD 탐지 벤치마크에서 최첨단 성능을 달성할 뿐만 아니라, 분포 이동(distribution shift)이 학습된 표현에 미치는 영향에 대한 해석 가능한 통찰을 제공한다.

arXiv:2606.27321v2cs.LG

하드 예산을 넘어서: 더 해석 가능한 Top-k 희소 오토인코더를 위한 희소성 정규화기

Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders

희소 오토인코더(SAE)는 비전 기반 모델(vision foundation models)의 표현을 해석하는 데 핵심 도구가 되었으며, 다의적(polysemantic) 활성화를 더 크고 희소하며 더 단의적(monosemantic)인 특징 집합으로 분해한다. Top-$k$ SAE는 이제 표준이 된 변형으로, 활성화 함수를 통해 구조적으로 희소성을 강제하며 입력마다 가장 활성도가 높은 $k$개의 잠재 변수만 유지한다. 이 변형은 이전 SAE들이 사용하던 $\ell_1$ 페널티와 그로 알려진 단점을 피하기 위해 설계되었기 때문에, 명시적인 희소성 정규화기와 결합되지 않았다. 그러나 Top-$k$ SAE 역시 고유한 한계를 가지고 있으며, 우리는 선택 이전에 작용하는 희소성 페널티가 각 잠재 변수의 선택성(selectivity)을 높이고 $\ell_1$ 페널티의 단점을 다시 도입하지 않으면서 코드를 더 해석 가능하게 만들 수 있다고 가정한다. 우리는 Top-$k$ 아키텍처와 호환되는 두 가지 희소성 정규화기를 제안한다. 둘 다 Top-$k$ 선택 이전의 활성화에 작용한다: 선택되지 않은(off-support) 단위에 대한 $\ell_1$ 페널티, 그리고 코드를 더 적은 유효 단위에 집중시키는 스케일 불변(scale-invariant) $\ell_1/\ell_2$ 비율 페널티. 두 페널티 모두 배치 내에서 Top-$k$ 연산자에 의해 최소 한 번 선택된 단위, 즉 배치-활성(batch-active) 단위에만 적용된다. 두 데이터셋, 세 비전 기반 모델, 다양한 $k$ 범위에 걸쳐, 두 정규화기 모두 재구성 품질 손실 없이 일관되게 단의성(monosemanticity)을 개선한다. $\ell_1/\ell_2$ 페널티는 추가로 정보를 더 적은 잠재 변수에 집중시켜, 추론 시 $k$ 선택에 대한 재구성의 견고성을 높이고 소규모 예산 선형 프로빙(small-budget linear probing)을 개선한다. 우리의 핵심 발견은, 하드 구조적 희소성과 소프트 희소성 정규화가 상호 배타적이기보다 상호 보완적이라는 것이다.

arXiv:2607.08605v1cs.CV

구조적 희소 오토인코더가 모달리티 전반에 걸쳐 일관된 개념을 학습할 때

When Structured Sparse Autoencoders Learn Consistent Concepts Across Modalities

비전-언어 모델(VLM)에서 기존 희소 오토인코더(SAE)가 시각 모달리티의 개념을 분절된 영역으로 학습하는 문제를 해결하기 위해, 트랜스포머 어텐션 유사도와 공간적 근접성 기반의 패치 그룹화에 구조적 희소성 정규화를 결합한 Structured Sparse AutoEncoder(S²AE)를 제안한다. Qwen2.5-VL-7B-Instruct 모델에서 재구성 충실도(Explained Variance 99% 이상)를 유지하면서 의미 정렬(mIoU) 6.06% 향상과 함께 시각·언어 양측 모달리티의 단일 의미성(monosemanticity)을 개선하는 효과를 보인다.

arXiv:2607.01336v1quant-ph

Mechanistic Interpretability and Causal Feature Steering of Neural Quantum States via Sparse Autoencoders

신경 양자 상태(Neural Quantum States, NQS)의 내부 표현을 해석하기 위해 희소 오토인코더(Sparse Autoencoder, SAE)를 적용하여, 비지도 방식으로 순서 파라미터·교번 자화 등 물리적 관측량과 강하게 상관된 특징을 잔차 스트림에서 추출했다. 나아가 단일 특징에 대한 학습 후 개입(post-training intervention)이 변분 에너지를 거의 변화시키지 않으면서 해당 관측량을 단조롭게 조종(steer)할 수 있음을 1D TFIM 및 2D Heisenberg 반강자성 모델에서 실증했다.

arXiv:2507.23220v2cs.CL

단어가 아닌 모델 방향: 희소 오토인코더를 활용한 메커니즘 토픽 모델

Model Directions, Not Words: Mechanistic Topic Models Using Sparse Autoencoders

전통적인 토픽 모델은 대규모 텍스트 컬렉션에서 잠재적 주제를 발견하는 데 효과적이다. 그러나 단어 빈도(bag-of-words) 표현에 의존하기 때문에 의미적으로 추상적인 특징을 포착하는 데 어려움을 겪는다. 일부 신경망 변형은 더 풍부한 표현을 사용하지만, 주제를 단어 목록으로 표현하는 방식에 동일하게 제약되어 복잡한 주제를 명확히 표현하는 능력이 제한된다. 우리는 희소 오토인코더(SAE)가 학습한 해석 가능한 특징에 기반하여 동작하는 토픽 모델의 일종인 메커니즘 토픽 모델(MTM)을 소개한다. 의미적으로 풍부한 이 공간에서 주제를 정의함으로써, MTM은 표현력 있는 특징 설명을 통해 더 깊은 개념적 주제를 드러낼 수 있다. 또한, 토픽 모델 중 유일하게 MTM은 토픽 조향 벡터(topic steering vector)를 사용한 제어 가능한 텍스트 생성을 가능하게 한다. 단어 목록 방식과의 비교 평가를 위해, 우리는 대규모 언어 모델(LLM) 기반 쌍별 비교 평가 프레임워크인 topic judge를 제안한다. 8개의 데이터셋에 걸쳐, MTM은 일관성 지표에서 전통적 및 신경망 기반 기준 모델과 동등하거나 이를 초과하며, topic judge에서 일관되게 선호되고, 효과적인 LLM 조향을 가능하게 한다.

arXiv:2606.26396v1cs.LG

이해의 경계에서: 희소 자동인코더가 추적하는 트랜스포머 일반화의 한계

At the Edge of Understanding: Sparse Autoencoders Trace The Limits of Transformer Generalization

희소 오토인코더(SAE)를 활용해 트랜스포머 내부 표현에서 분포 외(out-of-distribution, OOD) 입력의 영향을 기계론적으로 분석하는 프레임워크를 제시한다. 미세 오타와 탈옥(jailbreak) 프롬프트 같은 OOD 입력은 더 많은 허위 개념 활성화를 유발하며, SAE로 분포 이동을 정량화하고 특징 활성을 정렬하는 전략이 LLM 견고성 강화와 안전성 개선에 효과적임을 실험으로 보였다.

arXiv:2606.27199v1cs.CL

LLM을 활용한 예측: 특징 스티어링을 통한 일반화 성능 향상

Forecasting With LLMs: Improved Generalization Through Feature Steering

LLM 예측 태스크에서 희소 오토인코더(sparse autoencoder)로 시간 인식 추론과 룩어헤드 바이어스(look-ahead bias)와 연관된 내부 특징(feature)을 식별하고, 예측 시장·M&A·제약 예측 등 다른 도메인에서 해당 특징을 증폭하는 feature steering으로 개입한다. 시간 인식 특징을 강화하면 일반 추론 성능을 유지하면서 예측 프롬프트의 룩어헤드 바이어스가 크게 줄지만, 룩어헤드 바이어스 후보 특징 스티어링은 효과가 없어 해석 가능한 시간적 특징이 역사적 근거 기반 추론으로 LLM을 인과적으로 전환할 수 있음을 보여준다.