PyTorchKR Papers

최신 논문

총 151편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.22673v3cs.AI

Agent MechSuits: Mechanistic Subspace Safety Steering for Multi-Turn CLI Agents

Command-Line Interface (CLI) agents based on large language models (LLMs) demonstrate remarkable autonomous capabilities, but they also introduce significant safety and misuse risks during multi-turn interactions with external environments. Existing safety mechanisms mainly rely on external guardrails, which have a limited ability to perform fine-grained behavioral control during execution. Meanwhile, recent mechanistic interpretability methods for LLM safety are mostly confined to single-turn or jailbreak-style QA settings, limiting their ability to capture the evolving risk dynamics of multi-turn agent execution. In this paper, we investigate the safety of multi-turn CLI agents from an internal perspective. We propose Agent MechSuits (Mechanistic Subspace Intervention and Steering), a white-box defense framework that performs runtime safety detection and representation-level mitigation for CLI agents. Unlike conventional agent guardrails, Agent MechSuits detects harmful execution states from step-level hidden representations and mitigates unsafe behavior by intervening in a 10-dimensional subspace within a single layer. To support this research, we introduce the Mechanistic Agent Safety (MAS) benchmark, comprising comprehensively annotated multi-turn execution trajectories across 194 tasks using LLaMA-3.1-8B, Qwen-2.5-7B, and Gemma-2-9B. Extensive experiments show that Agent MechSuits achieves strong safety detection performance, provides preliminary evidence for lookahead risk anticipation, and substantially reduces harmful actions of the CLI agent, establishing a foundation for applying mechanistic interpretability to dynamic LLM agent safety.

arXiv:2607.22595v2cs.AI

OrigaMI: An LLM Serving System with First-Class Interpretability Apps

Mechanistic interpretability (MI) enables monitoring and steering LLMs by operating on their internal state during inference. MI applications remain difficult to develop, expensive to execute, and challenging to manage at runtime. We present OrigaMI, a system that integrates MI applications as first-class components of LLM serving, enabling simplified development, efficient execution, and flexible deployment. Guided by a comprehensive analysis of modern MI applications, OrigaMI streamlines the MI applications development via a simple Python-based Domain Specific Language (DSL) for accessing intra- and inter-layer runtime model state at well-defined trigger points during inference. OrigaMI enables efficient access to ephemeral attention scores via a novel FlashInspect kernel that retains the performance benefits of FlashAttention. OrigaMI's compiler integrates multiple MI applications into the performance-optimized inference execution flow while ensuring conflict-free coexistence. OrigaMI's runtime supports dynamic, per-request activation and deactivation of MI applications without service interruption or performance degradation when inactive, leveraging OrigaMI's dynamic memory management and CUDA graph-compatible execution. We integrate OrigaMI with vLLM and evaluate ten MI applications, including sparse autoencoders, steering, and jailbreak detection, across four state-of-the-art LLMs. OrigaMI incurs negligible execution overhead, up to two orders of magnitude lower than existing frameworks, while enabling per-request activation and deactivation up to 1,000 times faster than alternatives. These results demonstrate that OrigaMI makes MI applications practical for deployment in production LLM serving systems.

arXiv:2602.22600v3cs.LG

트랜스포머는 불변 알고리즘 핵심으로 수렴한다

Transformers converge to invariant algorithmic cores

Training selects for behavior, not circuitry: many weight configurations can implement the same function. Studying any single trained neural network thus risks describing accidents of one training run rather than the computation itself. This work shifts focus from what transformers happen to do to what they must do by extracting algorithmic cores, compact subspaces that are necessary and sufficient for a task and that recur across independently trained models. Here, Algorithmic Core Extraction (ACE) is introduced to isolate these subspaces, causally validate them, and recover the algorithms they implement, from synthetic tasks to large pretrained models. Markov-chain transformers embed 3D cores in nearly orthogonal subspaces yet recover identical transition spectra. Modular-addition transformers form compact cyclic cores at grokking that later inflate under continued regularization, redundantly distributing the same computation across many functionally equivalent modes. This functional redundancy accelerates the transition from memorization to generalization, yielding an inverse scaling law for grokking time. In six language models spanning two orders of magnitude in scale (GPT-2 Small/Medium/Large, LLaMA-3.1, Gemma-2, and Qwen2.5), subject-verb agreement is governed by a single, steerable axis that aligns across architectures. Flipping this axis inverts grammatical number throughout open-ended generation. For indirect object identification, a multi-step task, the same six models route computation through compact multi-dimensional cores at two sites, linked by a linear operator that transfers across model families. Together these results suggest that beneath the apparent complexity of trained transformers lies a simpler, shared computational structure, and that targeting invariants rather than parameterizations may offer a more tractable path to mechanistic understanding and control.

arXiv:2606.12289v4cs.LG

The Standard Interpretable Model: Design interpretable machine learning methods from elementary symmetries

As Artificial Intelligence models grow in complexity, interpretability has become an indispensable tool for understanding, debugging, and controlling their computations. However, interpretability lacks general theories to deductively design interpretable methods. This gap between theories and methods results in a fragmented literature and inconsistent evaluation protocols. To fill this gap, we introduce the Standard Interpretable Model (SIM), a general theory that enables the deductive design of interpretable methods from first principles. Specifically, the SIM summarises, in a set of premises, what interpretability is for a target entity. From these premises, the SIM systematically derives interpretability symmetries and corresponding constraints. One can then build interpretable models by either introducing constraints in the optimisation problem or by compiling constraints into an interpretable architecture. The most important finding, both theoretical and empirical, is that full expressivity and interpretability symmetries can coexist in the same model, showing that the trade-off between accuracy and interpretability is an artefact of model design. We demonstrate this on language models (LMs), where SIM-based LMs match the performance of equivalent opaque LMs without making any compromise on interpretability. Beyond this, the SIM shows how to improve the interpretability of existing pre-trained models, highlights underexplored research directions, and unifies a discipline that has long been fragmented, offering pedagogical grounding for interpretability curricula.

arXiv:2606.06840v5cs.CL

특성화 후 증류: 대규모 출력 공간에서의 기계론적 추론

Characterize Then Distill: Mechanistic Reasoning in Large Output Spaces

Reasoning-trained language models can select, zero-shot, a small set of relevant labels from thousands to hundreds of thousands of candidates. We ask how they do it mechanistically, and whether the mechanism can be distilled. We treat each decision as a token-level event scored by the model's own margin: the token that picks a coarse region of the label space, the tokens that pick a label within it, and the token where the output departs from a near-miss named earlier. Attribution, exact mean-ablation, knock-in and a null calibration give individual attention heads causal standing. On clinical coding of MIMIC-IV discharge summaries, with all 5,651 candidate codes in context, a small, global, phase-structured set of heads is necessary and sufficient on essentially every summary; distinct head families read the candidate region and the earlier near-miss, and blocking what they read removes their effect; for mentions elicitable in the reasoning, a disjoint mid-layer set makes the region elicitable several tokens before the code. The structure recurs in a second reasoner. We introduce MISTILL, which, unlike chain-of-thought distillation, also supervises the student's pooled attention at these decision events. Read on heads found after training, it nearly doubles the causal recovery of the contrastive decision in a cross-family student and adds a small, seed-stable gain in one that already carries most of it, with no detected task difference at matched precision; under matched selection it exceeds a frozen random-head pool on both recovery and task score. On two corpora with human-annotated evidence (one read zero-shot, one in domain), a MISTILL student's decision heads attend to each code's evidence more, and more specifically, than a chain-of-thought-distilled student's. A pre-registered evidence-flip test detected no improvement in evidence-dependent decisions through the tested routes.

arXiv:2606.28273v2cs.CL

비전 기본, 사전지식 덮어쓰기: 비전-언어 모델에서 지각-지식 충돌의 인과적 메커니즘

Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

비전-언어 모델(VLM)이 시각적 입력과 사전학습된 세계 지식이 충돌할 때 이를 어떻게 해결하는지 인과적 메커니즘을 규명하기 위해, activation patching과 ablation 연구를 결합한 결과 시각적 그라운딩이 기본 경로로 작동하는 반면, 사전 지식 기반 응답은 네트워크 후반부에 집중된 소수의 어텐션 헤드(2.5–4.8%)에 의존하는 비대칭 인과 구조가 Qwen-VL, LLaVA-NeXT, PaliGemma 등 세 가지 VLM 계열에서 일관되게 나타남을 밝혔다. 이 헤드들은 정보 흐름을 조절하는 라우팅 헤드와 답 토큰을 잔차 스트림에 직접 투사하는 쓰기 헤드로 구분되며, 이를 절제하면 사전지식 프롬프트 조건에서 68–96%의 예측이 시각적 그라운딩 답변으로 전환된다.

arXiv:2606.22361v3cs.CL

첫 토큰 브로드캐스터: 트랜스포머에서 언어 정체성과 분산 견고성의 기계론적 기원

First-Token Broadcasters: Mechanistic Origins of Language Identity and Distributed Robustness in Transformers

How is language identity represented and causally maintained in transformers, and to what extent do the mechanisms identified in one language set transfer to other languages and training regimes? We introduce Language Identity Head Ablation (LIHA), a causal intervention that zeros each attention head individually and measures the resulting language switch rate. Across our multilingual evaluation sets, LIHA identifies heads whose ablation has disproportionate effects on output language. In GPT-2, a small set of first-token broadcaster heads---led by L6H1 (switch rate 0.32, 3.23$\sigma$ above the population mean)---attend persistently to the first prompt token across query positions. The combination of persistent first-token attention and causal sensitivity suggests that these heads participate in maintaining output language. Following ablation, first-token attention increases in heads above the ablated layer for the ablations tested (permutation test against random five-head sets, $p < 10^{-5}$). We do not test whether these heads functionally compensate for the ablated head. We also compare Qwen2.5-1.5B-Base and Qwen2.5-1.5B-Instruct, which are matched in architecture and parameter count but differ in training history. The base model is nearly flat (max SR$=$0.016, 200/336 heads at SR$=$0.0), whereas the instruct model concentrates causal influence at layer~0, led by L0H5 (SR$=$0.224, 8.93$\sigma$ above the mean). Finally, GPT-2 heads identified from the European-language experiments show no observed switch effects on the tested Chinese and Russian prompts, while other early-layer heads do show effects. Because script, typology, and tokenization vary together in this comparison, these results do not isolate a specifically script-driven mechanism. Repository is available at https://github.com/ajlrza/First-Token-Broadcasters.

arXiv:2609.38810v3cs.CV

CRAFT: 의료 비전-언어 모델의 인과적 책임 및 실패 추적

CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models

As vision language models are increasingly deployed in clinical diagnosis, understanding how they internally resolve competing visual and textual signals becomes a safety imperative. Existing mechanistic analyses remain confined to unimodal text and offer no explanation for why a single misleading sentence can override a correct image based diagnosis, or why a model commits to a confident answer despite insufficient visual evidence. We find that these two safety risks, arbitration failure where textual context overrides visual grounding and brake failure where the model commits without adequate evidence, are mediated by spatially disjoint attention head populations: arbitration heads form a mid-to-deep wideband reflecting cross-layer evidence competition, while brake heads concentrate in a narrow middle-to-late layer band that regulates evidence sufficiency and abstention behavior. To ground these observations in causal circuitry, we introduce CRAFT, which localizes each failure mode to a minimal causal head set via dual criteria and verifies necessity and sufficiency through temporal probes and Tuned Lens trajectory analysis. Excising arbitration heads sharply reduces conflict following with negligible degradation on clean inputs, while excising brake heads restores appropriate abstention under degraded visual evidence. The two interventions target spatially disjoint head sets and produce distinct corrective effects, underscoring the mechanistic separability of the failure modes. Experiments across multiple medical VQA benchmarks and VLM architectures validate both the localization and interventions, demonstrating that the identified heads causally drive each failure mode and that targeted modulation generalises without retraining. The code is available at https://github.com/zhcz328/CRAFT.

arXiv:2610.15850v1cs.LG

희소 오토인코더 특징 발견 점수는 무엇을 식별하는가? 활성화에서 개입까지

What Do Sparse Autoencoder Feature Discovery Scores Identify? From Activations to Interventions

희소 오토인코더(SAE) 특징은 일반적으로 해당 활성화가 동작과 어떻게 공변하는지를 통해 발견되지만, 실제로는 조향(steering)이나 절제(ablation)와 같은 개입을 통해 사용되는 경우가 많습니다. 본 논문에서는 모델 출력에 대한 특정 개입의 1차 효과인 개입 귀속(intervention attribution)을 추정 대상(estimand)으로 설정합니다. 광범위한 반응 함수 클래스에 대해, 관찰 기반의 특징 발견 증거는 일반적으로 이러한 귀속을 식별하지 못함을 보이고, 선형 프로브(linear-probe) 예측과 개입 귀속 간 격차의 정확한 그래디언트 기반 분해를 도출합니다. 4개의 모델-SAE 쌍에 걸쳐 프로브 대 귀속 크기 비율의 중앙값은 수십에서 수백 배에 달하는 반면, 귀속은 작은 단계의 조향을 밀접하게 추적합니다. 0이 아닌 효과를 갖는 단일 잠재 변수 절제에 대해, 그래디언트 예측은 91~97%의 사례에서 실제 실현된 부호와 일치한 반면, 프로브가 함의하는 변화는 17~35%에 불과했습니다. 또한 귀속을 통해 선택된 집합은 상관관계, 순위 검정 또는 프로브 계수로 선택된 집합보다 홀드아웃 프롬프트에서 더 큰 절대 평균 절제 효과를 생성합니다. 종합적으로 이러한 결과는 개입 귀속이 개입을 위한 SAE 특징을 선택하는 데 있어 원칙적이고 그래디언트로 추정 가능한 목표임을 확립합니다.

arXiv:2610.13895v1cs.CL

작업 문맥이 언어 모델 구성요소의 역할을 형성하는 방식

Task Context Shapes Component Roles in Language Models

대규모 언어 모델(LLM)은 여러 작업에 걸쳐 동일한 어텐션(attention) 헤드를 재사용하지만, 이러한 공유 헤드를 식별하는 것만으로는 각 작업에서 이들이 어떻게 다르게 동작하는지 설명하지 못합니다. 이에 대한 자연스러운 영감의 원천은 공유된 뇌 영역 간의 작업 의존적 상호작용이며, 이는 언어 모델 연산을 네트워크 관점에서 바라보도록 동기를 부여합니다. 본 연구에서는 어떤 방향성 연결이 존재하는지 명시하는 진술인 동일한 그래프 팩트(graph fact)를 사용하여 고정된 모델 구성요소들을 작업 전반에 걸쳐 비교합니다. 개입(intervention)이 어텐션 헤드와 후속 레이어의 활성화 상태(영향력, influence) 및 정답(중요도, importance)에 어떤 영향을 미치는지 측정합니다. 작업의 변화는 4개 패밀리와 15억~140억(1.5-14B) 파라미터에 걸친 5개의 공개 가중치(open-weight) 모델에서 영향력을 재분배합니다. Gemma-2-9B 및 Qwen3-14B에서는 활성화 편집(activation edit)을 통해 초기 내부 활성화 벡터를 변경함으로써, 서면 인스트럭션이 고정된 상태에서도 모델이 읽는 팩트를 전환합니다. 그 결과 동일한 헤드가 서로 다른 그래프 팩트에 반응하고 후속 구성요소에 다르게 영향을 미치게 됩니다. 각 프롬프트(prompt)에 대해 편집 전과 편집 후의 두 가지 선형 응답 맵(linear response map)을 구축합니다. 각 맵은 이전 헤드의 측정된 변화로부터 후속 헤드의 응답을 예측합니다. 별도의 팩트 개입에 대해, 해당 조건의 맵은 두 맵의 평균과 비교했을 때 평균 제곱 예측 오차를 Gemma에서 53.6%, Qwen에서 5.0% 감소시킵니다. 이러한 발견은 작업 문맥이 공유 구성요소가 반응하는 그래프 팩트와 이들의 출력이 후속 연산에 영향을 미치는 방식을 모두 변화시킨다는 점을 보여줍니다. 네트워크 관점의 설명은 모델이 공유 매개변수를 사용하여 서로 다른 연산을 수행하는 방식을 설명하는 데 도움이 될 수 있습니다. 또한 작업 의존적 영향력 측정은 다른 동작은 보존하면서 특정 동작만 변경하려는 개입을 유도하는 지침이 될 수 있습니다.

arXiv:2610.13794v1cs.CL

단순한 평가를 넘어서: 언어 모델의 담화 표지 민감도에 관한 사례 연구

Not Just an Evaluation: A Case Study of Discourse Particle Sensitivity in Language Models

담화 표지(discourse particle)는 대화 문맥과 화자의 태도를 반영하여 담화의 흐름을 미묘하게 형성하며, 진리 조건적 의미(truth-conditional meaning)는 그대로 두는 경우가 많습니다. 또한 담화 표지는 서로 다른 의미가 다른 표지와 부분적으로 겹치는 다기능성(polyfunctional)을 띠는 경우가 흔하며, 예를 들어 영어의 "just"와 "only"의 배타적 용법("John only/just drinks water")이 이에 해당합니다. 자연어에서 이러한 단어들의 빈번한 사용에도 불구하고, 그 효과의 미묘한 특성으로 인해 대체로 연구되지 않았습니다. 본 연구에서는 행동 분석 및 기제 분석(mechanistic analysis)을 통해 자연스러운 대화에서 "just"와 "only"에 대한 대규모 언어 모델(LLM)의 민감도를 조사합니다. 첫째, LLM과 인간 모두 문맥 내에서 이러한 표지가 존재하는 것을 비슷하게 선호하며, 둘 다 "only"에 비해 "just"에 더 민감하다는 점을 발견했습니다. 둘째, 이러한 표지가 있거나 없는 상태에서 LLM으로부터 샘플링할 때, LLM은 원본 문맥이 주어졌을 때의 생성 결과를 일관되게 더 높은 확률로 평가하여 표지 민감도를 입증했습니다. 두 실험 모두에서 지시 미세조정(instruction tuning)은 민감도를 증가시킵니다. 마지막으로, LLM 내에서 표지 민감 유닛(unit)을 국소화한 결과 "just"와 "only" 사이의 중첩이 비대칭적임을 확인했습니다. 즉, "only" 유닛은 배타적 "just"에 선택적으로 전이되는 반면, 모든 "just" 유닛은 의미에 관계없이 동일하게 "only"로 잘 전이되어 LLM의 어휘 수준 표지 표현이 부분적으로 의미별로 구조화되어 있음을 시사합니다. 저희는 코드, 의미 라벨이 부착된 대화 자극 자료, 인간 선호도 주석을 https://github.com/JiahuiKChen/Not_Just_an_Evaluation 에 공개합니다.

arXiv:2610.13527v1cs.CV

S-Space: 멀티모달 언어 모델의 공간 워크스페이스 탐구

S-Space: Exploring Spatial Workspace in Multimodal Language Models

멀티모달 언어 모델(MLLM)은 유망한 공간 추론 능력을 보이지만, 이를 뒷받침하는 내부 메커니즘은 여전히 잘 이해되지 않고 있다. 우리는 S-Space를 발견했는데, 이는 객체 토큰 표현이 수평, 수직, 거리 축을 따라 연속적인 좌표를 인코딩하는 선형 표현 부분공간(subspace)이다. 우리는 객체 토큰 활성화에 대해 공간 응답 점수를 미분함으로써 이 축들을 식별했지만, S-Space는 특정 데이터나 프롬프트에 의해 유도된 것이 아니라 본질적인 것으로, 비공간적 질문 하에서도 판독 가능하다. 우리는 S-Space가 MLLM의 내부 공간 워크스페이스로 기능함을 보인다. 지각(perception)은 객체 위치를 이 공간에 인코딩하여, 정확한 공간 판단을 뒷받침하기 위해 직접 판독될 수 있는 공간 표현을 형성한다. 내부 추론은 관점 변화에 맞춰 이를 변환한다. 언어적 응답은 이를 선택적으로 접근하며, 이는 비공간적 응답은 대체로 보존하면서 공간 판단만을 변화시키는 인과적 개입(causal intervention)을 통해 입증된다. 사례 연구는 더 나아가 S-Space가 보이지 않는 개체 및 관찰자에게 위치를 할당하고, 물리적 방향과 추상적인 언어적 의미를 연결함을 보여주며, 이는 대규모 언어 학습의 능력과 한계를 동시에 시사한다. 마지막으로, 우리는 S-Space를 공간 추론 실패를 진단하는 도구로 사용한다. 방향 단어 판독은 기본 방위(cardinal) 참조 틀과 이미지 상대적 참조 틀 간의 체계적인 결합을 드러낸다. 더 중요하게는, 지각-연산 분해(perception-computation decomposition)는 핵심 병목 지점을 노출하는데, MLLM은 유능한 공간 표현을 형성할 수 있지만, 관점 변화에 걸쳐 신뢰성 있게 추론하는 데 필요한 공간적 변환에서는 부족함을 보인다.

arXiv:2609.10739v2cs.LG

진실은 사라진 적이 없다: 순응적 문맥 진실 프로브에서의 완전한 앨리어싱

The Truth Was Never Gone: Perfect Aliasing in Compliant-Context Truth Probes

언어 모델(language model)의 활성화(activation)로부터 진실을 디코딩하는 선형 프로브(linear probe)는 기만 탐지 모니터로 제안되어 왔으며, 기만하도록 학습(training)된 모델에서 진실 프로브의 점수가 무작위 확률(chance) 이하로 나오는 것은 모델이 진실을 숨겼거나 표현하는 것을 멈췄다는 증거로 자연스럽게 해석됩니다. 우리는 적합 레이블(fitting-label)의 모호성이 동일한 판독 결과를 만들어낼 수 있음을 보여줍니다. 통제된 게임에서 모델은 아군에게는 비밀 비트를 보고하고, 라이벌에게는 그 보수(complement)를 보고해야 합니다. 순응적(아군) 문맥에서는 실제 비트와 과제가 규정한 답변이 동일한 레이블이 되므로, 그곳에 적합된 프로브는 둘 중 어느 것을 측정하는지 구별할 수 없습니다. 우리는 이러한 완전한 일치를 완전한 앨리어싱(perfect aliasing)이라고 부릅니다. 이 레이블들은 라이벌 문맥에서는 서로 보수 관계이므로, 각각에 대해 평가된 하나의 아군 적합 프로브는 합이 1이 되는 라이벌 AUROC를 갖습니다. 아군 및 라이벌 문맥을 함께 사용하는 혼합 적합(mixed fitting)은 두 레이블을 다르게 만듭니다. 또한 무작위화된 출력 코드북은 규정된 답변을 출력 글자로부터 분리합니다. 평가된 모든 라이벌 시행에서 거짓으로 답하는 보상(reward) 학습된 Gemma-2-9B 정책의 경우, 아군 적합 프로브는 마지막 층(layer)에서 $0.006 \pm 0.005$ AUROC(3개의 강화학습 시드에 대한 평균 $\pm$ 표본 표준편차)를 기록하는 반면, 혼합 적합 프로브는 동일한 홀드아웃(held-out) 활성화에서 1.000을 기록합니다. 혼합 적합은 또한 더 많은 예제와 레이블이 지정된 라이벌 데이터를 사용하므로, 이는 실제 비트가 선형적으로 복구 가능한 상태로 남아 있음을 보여줄 뿐, 레이블을 분리한 것만으로 성능 향상이 완전히 설명된다는 것을 의미하지는 않습니다. 지시(instructed) 모델인 Llama-3.1-8B에서는 한 프롬프트(prompt) 변형에서 재적합된 프로브와 참조 변형에서 고정된 프로브 모두 홀드아웃 아군 정확도가 1.000이지만, 동일한 시행에 대해 라이벌 진실 AUROC는 각각 0.080과 0.986을 보입니다. 우리의 주요 실험은 프롬프트에 비트를 명시하는 단일 토큰(token) 게임을 사용하므로, 복구된 방향은 유지된 비트의 복사본을 읽는 것일 수 있습니다. 모델이 비트를 추론해야 하는 경우, 테스트된 어떤 조건에서도 안정적으로 기만하지 못했습니다. 우리는 모델이 해당 정보를 사용하는지가 아니라, 프로브가 무엇을 측정하는지를 연구합니다.

arXiv:2607.09842v3cs.LG

4개 오픈 가중치 모델에서의 시스템 프롬프트 조건화 및 은닉 상태 기하학: 수정 사항과 유효한 결과

System-Prompt Conditioning and Hidden-State Geometry in Four Open-Weight Models: Corrections and What Survives

본 프리프린트의 버전 1과 2에서는 정체성을 지정하는 시스템 프롬프트가 4개의 오픈 가중치(open-weight) 언어 모델의 마지막 층 은닉 상태 궤적에 기하학적 지문을 남기며, 지시 미세조정(instruction tuning)이 이 지문을 은닉 상태 벡터의 방향에서 크기로 이동시킨다고 보고했습니다. 코드와 데이터에 대한 감사 결과 다음과 같은 사실이 확인되었습니다. 유클리드 k-NN 그래프에서의 올리비에-리치 곡률(Ollivier-Ricci curvature)로 기술된 곡률 통계량은 시간 및 코사인 k-NN 엣지로 구축된 그래프에서의 비표준 포먼 형태(Forman-type) 엣지 통계량이었습니다. 공개된 검정은 궤적이 아닌 풀링된 엣지를 치환했으며, 발표된 p-값은 미공개 코드에서 나온 것이었습니다. 첫 번째로 생성된 상태의 노름(norm)으로 보고된 수치는 첫 번째 출력 토큰이 예측되는 마지막 프롬프트 위치에서의 상태였습니다. 일반 대조군 프롬프트는 토큰이 아닌 문자 단위로 정체성 프롬프트와 일치하도록 맞춰졌습니다. 이번 버전에서는 방법론을 수정하고, 체제별 주장(체제당 모델 1개) 및 방향에서 크기로의 이동 주장을 철회하며, 추가된 대조군과 함께 데이터를 재분석합니다. 유효하게 남은 결과는 더 좁혀졌습니다. 중심점 거리, 최대 평균 불일치(MMD), 선형 탐침(linear probe)은 모든 모델에서 모든 프롬프트 조건 쌍을 분리하는 반면, 곡률 통계량이 반분 노이즈 플로어(split-half noise floor)를 초과하는 경우는 12개 비교 중 4개에 불과합니다. Gemma-4-E4B-it에서 이 상태는 토큰 길이가 일치된 일반 프롬프트보다 정체성 프롬프트 하에서 더 낮은 노름을 가집니다(138.1 대 216.5; Cohen's d = -5.45; n = 20). 해당 상태의 방향 역시 조건들을 분리하며, 이 효과는 출력을 계획하는 상태의 역할과 부합합니다. 즉, 정체성 프롬프트는 모든 답변 전에 일시 정지를 지시하며, 모델은 100개 응답 중 98개를 일시 정지 마커로 시작합니다. 첫 번째 토큰이 고정되면 노름 순서가 역전됩니다. 베이스 모델은 답변하는 대신 프롬프트 템플릿을 이어 작성합니다. 재설계된 후속 연구가 준비 중입니다.

arXiv:2605.08348v3cs.CL

서킷은 우리에게 얼마나 많은 것을 말해주는가? 언어 모델 서킷의 일관성과 특이성 측정

How Much Do Circuits Tell Us? Measuring the Consistency and Specificity of Language Model Circuits

기계론적 해석가능성(mechanistic interpretability)의 서킷(circuit) 프레임워크는 특정 동작의 인과적 원인이 되는 모델 컴포넌트의 희소 하위 그래프를 식별하는 것을 목표로 하며, 일반적으로 필요성과 충분성을 측정하여 평가합니다. 그러나 이러한 기준은 서킷이 모델이 과업을 수행하는 방식을 일관되게 포착하는지, 또는 해당 과업에 특이적인지(specific)에 대해서는 거의 설명하지 못합니다. 본 연구에서는 6개 과업과 5개 모델에 걸쳐 일관성(consistency)과 특이성(specificity)이라는 두 가지 특성을 조사하며, 컴포넌트 수준(어텐션 헤드 및 MLP 블록)과 개별 MLP 뉴런 수준에서 서킷을 추출합니다. 그 결과 컴포넌트 수준의 서킷은 대부분의 과업에서 높은 일관성을 보이고 인과적으로 중요하지만, 특이적이지는 않다는 점을 발견했습니다. 즉, 주어진 과업에서 자체 서킷을 절제(ablation)했을 때의 정확도 하락은 다른 과업의 서킷을 절제했을 때와 거의 비슷했습니다. 반면 뉴런 수준 서킷은 과업 간에 더 높은 특이성을 보이지만, 과업 내 일관성은 훨씬 낮았습니다. 이는 서킷의 중첩으로 설명됩니다. 컴포넌트 수준 서킷은 관련 여부와 무관하게 과업 전반에 걸쳐 대부분의 컴포넌트를 공유하지만, 뉴런 수준 서킷은 밀접하게 관련된 과업 간에만 중첩됩니다. Llama-3.2-3B의 과업 서킷이 공유하는 컴포넌트에 대한 사례 연구를 통해, 이들이 주로 MLP 블록으로 구성되어 있으며 소수의 어텐션 헤드는 범용적인 역할을 수행함을 보입니다. 전반적으로 본 연구 결과는 서킷이 모델 동작에 대한 표적화된 이해와 개입을 얼마나 뒷받침할 수 있는지에 대해 의문을 제기합니다.

arXiv:2603.28744v2cs.LG

프로빙을 멈추고 코딩을 시작하라: 선형 프로브와 희소 오토인코더가 조합적 일반화에 실패하는 이유

Stop Probing, Start Coding: Why Linear Probes and Sparse Autoencoders Fail at Compositional Generalisation

선형 표현 가설(linear representation hypothesis)은 신경망(neural network) 활성화가 고수준 개념을 선형 혼합으로 인코딩한다고 주장합니다. 그러나 중첩(superposition) 상태에서 이러한 인코딩은 더 높은 차원의 개념 공간에서 더 낮은 차원의 활성화 공간으로의 투영이며, 개념 공간에서의 선형 결정 경계가 투영 후에도 선형으로 유지될 필요는 없습니다. 이 환경에서 샘플별 반복 추론(inference)을 수행하는 고전적인 희소 코딩(sparse coding) 방법은 압축 센싱(compressed sensing) 보증을 활용하여 잠재 요인을 복원합니다. 반면, 희소 오토인코더(SAE)는 희소 추론을 고정된 인코더로 상각(amortise)하여 체계적인 격차를 유발합니다. 우리는 이러한 상각 격차(amortisation gap)가 학습(training) 세트 크기, 잠재 차원, 희소성(sparsity) 수준 전반에 걸쳐 지속되어, 분포 외(OOD) 조합적 변화 하에서 SAE가 실패하게 만든다는 것을 보여줍니다. 실패 원인을 분해하는 통제된 실험을 통해, 우리는 제한 요인이 (추론 절차가 아닌) 딕셔너리 학습(dictionary learning)임을 확인했습니다. 즉, SAE로 학습된 딕셔너리는 실질적으로 잘못된 방향을 가리키며, 동일한 딕셔너리에서 인코더를 샘플별 FISTA로 대체해도 그 격차가 좁혀지지 않습니다. 오라클 기준선(baseline)은 테스트된 모든 스케일에서 우수한 딕셔너리가 있다면 이 문제를 해결할 수 있음을 증명합니다. 실제 LLM 활성화(Pythia-70M, Gemma-2-2B)를 사용한 실험을 포함한 우리의 결과는 SAE의 실패를 추론 문제가 아닌 딕셔너리 학습의 과제로 재구성하며, 중첩 하에서의 희소 추론을 위한 핵심 미해결 과제로 확장 가능한 딕셔너리 학습을 지목합니다.

arXiv:2601.21731v3cs.LG

사전 데이터 적합 네트워크(PFN) 내 스펙트럼 구조에 대한 기저 메커니즘적 증거

Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks

사전 데이터 적합 네트워크(PFN, Prior-Data Fitted Network)는 단일 순전파(forward pass)로 근사 베이지안 추론(inference)을 수행하며, 이를 기반으로 구축된 정형 파운데이션 모델(TFM)은 현재 널리 사용되고 있습니다. 네트워크가 내부적으로 무엇을 추론하는지 이해하기 위해 최근 TFM에 대한 기저 메커니즘(mechanistic) 연구들은 예측이 형성되는 위치를 파악하고 있으나, 이러한 모델을 PFN이 아닌 단순 정형 예측기로 다루고 있습니다. 따라서 PFN이 정상 커널(stationary kernel)을 규정하는 양인 컨텍스트의 스펙트럼 성분을 표현하는지, 그리고 이 성분을 명시적인 커널로 읽어낼 수 있는지는 여전히 밝혀지지 않았습니다. 본 연구에서는 두 질문에 모두 답합니다. 첫째, 4개의 사전학습된 TFM 및 의사결정 나무 사전에 대해서만 학습된 모델을 포함한 7개의 PFN 전반에서 잔차 스트림(residual stream)에 대한 선형 프로브는 $R^2 \geq 0.95$로 컨텍스트의 주파수를 복원합니다. 이 구조는 단일 주방향(principal direction)에 의해 주도됩니다. 둘째, 활성화 및 부분공간 패칭(activation and subspace patching)은 네트워크가 저차원 부분공간을 통해 이 구조를 사용함을 보여주며, 여기서 소수의 스펙트럼 방향이 무작위 방향보다 예측을 훨씬 더 크게 변화시킵니다. 이는 의사결정 나무 모델에서도 성립하므로, 스펙트럼 학습 사전이 필수적인 것은 아닙니다. 최대 499개의 특성을 가진 실제 데이터셋에서 라벨 없이 선택된 TabPFN의 192개 방향 중 64개는 단 한 쌍을 제외한 모든 경우에서 컨텍스트 인과 효과의 85~95%를 전달합니다. 셋째, 보흐너 정리(Bochner's theorem)를 통해 고정된 PFN 표현을 명시적인 정상 커널로 변환하는 필터 뱅크 디코더(Filter Bank Decoder)를 도입합니다. 테스트 시점의 최적화 없이도, 디코딩된 커널은 약 200배 낮은 비용으로 딥 커널 학습(deep kernel learning) 및 랜덤 푸리에 특성(random Fourier features)에 필적하는 가우시안 프로세스 회귀를 지원합니다. 따라서 PFN 잠재 공간은 인과적으로 사용되며 이식 가능한 커널로 복원할 수 있는 스펙트럼 구조를 보유하고 있습니다.

arXiv:2606.16193v3cs.CV

SAE++: 계단식 희소 오토인코더를 통한 멀티모달 대규모 언어 모델(MLLM)의 다단계 시각적 개념 학습

SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

멀티모달 대규모 언어 모델(MLLM)은 비전-언어(vision-language) 태스크에서 뛰어난 성능을 입증했으나, 내부 시각적 표현은 여전히 해석하기 어렵습니다. 희소 오토인코더(SAE)는 조밀한 모델 활성화를 희소하고 해석 가능한 특징(feature)으로 분해하는 확장 가능한 방법을 제공합니다. 그러나 기존 SAE 아키텍처는 주로 평면적인 특징 사전을 복원하며, 명시적인 다단계 개념 구성에는 덜 적합합니다. 본 논문에서는 MLLM에서 계층적 시각 개념을 학습하기 위해 SAE++라 명명된 계단식 희소 오토인코더 아키텍처를 소개합니다. SAE++는 SAE의 희소 활성화 코드를 중첩하거나 쌓는 대신, 1단계 SAE의 디코더 가중치에서 직접 2단계 SAE를 학습하여 학습된 저수준 특징 방향을 고수준 추상화를 위한 입력으로 처리합니다. 이러한 설계를 통해 SAE++는 중첩 방식의 공유 접두 문맥(shared-prefix) 결합, 마트료시카 스타일 계층 구조의 단점 및 단순 적층형 SAE의 병목 현상을 방지하면서 "개념의 개념"을 학습할 수 있습니다. 여러 시각 데이터셋에서 Qwen3-VL, Gemma-3, LLaVA를 대상으로 진행한 실험에 따르면, SAE++는 최첨단 SAE 베이스라인에 비해 계층적 개념 일관성 측면에서 해석 가능성을 향상시키는 것으로 나타났습니다. 개념 조향(concept steering)에 대한 결과는 학습된 개념 그룹이 MLLM 출력에 대한 효과적인 그룹 수준 개입을 지원함을 추가로 보여줍니다. 코드는 https://github.com/Wang-ML-Lab/sae-plus-plus 에서 확인할 수 있습니다.

arXiv:2606.00356v3cs.CL

자동 해석 레이블은 어디까지 일반화되는가: 언어, 문자 체계, 표현 변경에 대한 통제된 연구

How Far Do Auto-Interpretation Labels Generalize: A Controlled Study Across Languages, Scripts, and Rewordings

희소 오토인코더(SAE) 특징(feature)은 언어 모델을 해석하는 데 점점 더 많이 사용되고 있으며, 자동으로 생성된 자연어 레이블은 각 특징이 무엇을 나타내는지 이해하기 위한 주요 인터페이스 역할을 합니다. 본 연구에서는 이러한 레이블이 일반화되는지, 즉 특정 개념에 대해 레이블이 지정된 특징이 언어와 문자 체계(script) 전반에 걸쳐 해당 개념을 실제로 추적하는지 질문을 던집니다. 결정론적 전자(transliteration)를 통해 라틴 문자와 키릴 문자 모두로 표기되는 동일한 언어인 세르비아어 이중문자(digraphia)를 통제된 테스트베드로 활용하여, 서로 다른 언어, 문자 체계 및 표현에서 동일한 내용에 의해 활성화되는 SAE 특징 집합이 상당한 중복도를 공유함(랜덤 기준선 0.13 대비 평균 자카드 유사도 0.39, 최대 0.57)을 먼저 확인했으며, 이는 진정한 교차 언어적 의미 특징이 존재함을 시사합니다. 이어서 자동 해석 레이블이 이를 따라가는지 테스트했습니다. 결과는 그렇지 못한 경우가 많았습니다. 의미론적 내용을 설명하는 레이블을 가진 특징은 영어 내에서보다 세르비아어에서 동일한 의미를 최대 4배 더 자주 놓쳤으며, 서로 결정론적 전자 관계인 두 문자 체계 사이에서도 세르비아어 라틴 문자보다 세르비아어 키릴 문자를 더 많이 놓쳤습니다. 이러한 격차는 네트워크 깊이가 깊어질수록 커지지만, 레이블 자체는 이러한 실패 징후를 전혀 나타내지 않습니다. 이러한 결과는 자동 해석 레이블이 개념 자체보다는 모델이 학습(training) 중에 가장 많이 접한 언어와 문자 체계에서의 특징 동작을 반영함을 시사합니다.

arXiv:2605.27813v2cs.CV

확산 모델 해석을 위한 잔차화된 시간 희소 오토인코더

Residualized Temporal Sparse Autoencoders for Interpreting Diffusion Models

텍스트-이미지 확산 모델(diffusion model)은 반복적인 노이즈 제거(denoising)를 통해 이미지를 생성하므로, 내부 레이어는 단일 정적 표현이 아닌 활성화 궤적을 생성합니다. 최근 희소 오토인코더(SAE)를 사용하여 확산 활성화를 해석 가능한 특징(feature)으로 분해하려는 시도가 있었지만, 대부분의 접근법은 전체 궤적으로부터 학습하기보다는 개별 타임스텝을 분석하거나 시간에 조건을 부여합니다. 전체 궤적에 대해 하나의 SAE를 학습시키면 각 특징이 타임스텝 전반에 걸친 단일 궤적이 되지만, 인접한 활성화는 서로에 대해 대부분 선형적으로 예측 가능하므로 이러한 SAE는 단계마다 계속 이어지는 내용에 잠재 변수(latent)를 소모하게 됩니다. 본 연구에서는 이웃한 타임스텝 사이에 선형 예측기를 적합시키고 초기 활성화 및 이러한 동역학으로 설명되지 않는 잔차로 각 궤적을 표현하는 잔차화된 시간 SAE(ReSAE)를 소개합니다. 이 표현에서 SAE를 학습하는 것은 선형 동역학에 의해 유도된 메트릭 하에서 원본 궤적에 대해 학습하는 것과 동등하며, 선형적으로 예측 가능한 범위를 넘어서는 구조를 잠재 변수가 포착하도록 유도합니다. 각 잠재 변수의 디코더 방향은 노이즈 제거 시간에 걸친 특징 궤적으로서 활성화 공간에 다시 매핑됩니다. Stable Diffusion 1.5와 Diffusion Transformer 전반에서 ReSAE 특징은 전체 궤적에 걸쳐 나타나는 동시에 변화가 궤적에 유입되는 시점을 정확히 짚어내므로, ReSAE는 확산 모델이 시간에 따라 이미지를 생성하는 방식을 연구하는 데 자연스러운 도구가 됩니다.