arXiv:2606.11657v1 cs.LG

희소 프로브와 불투명한 물리학: 연속체 역학 파운데이션 모델에서의 해석 가능성 도전 과제에 대한 사례 연구

Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Katherine Rosenfeld, Maike Sonnewald

제출 2026-06-10

한국어 초록

생성형 AI 에뮬레이터는 이미 강력한 이론, 벤치마크, 물리적 직관이 존재하는 과학 분야에서 점점 더 많이 사용되고 있습니다. 이는 중요한 평가 및 해석 가능성 질문을 제기합니다. 파운데이션 스타일 모델이 알려진 연속체 역학을 재현할 수 있을 때, 어떤 내부 메커니즘이 그 동작을 지원하는지, 내부 동작이 알려진 물리학과 일치하는지, 그리고 이것이 에뮬레이터가 성공하거나 실패하는 지점과 어떤 관련이 있는가입니다. 우리는 물리적 원칙에 의해 안내되는 기계적 해석 가능성을 사용하여, 연속체 역학을 위한 교차 도메인 파운데이션 모델인 Polymathic의 Walrus를 조사합니다. 우리는 희소 오토인코더(SAE)를 적용하여 선택된 층을 프로브하고, 엔스트로피(enstrophy)를 물리적으로 근거 있는 지표로 사용하여 대규모 특징 집합(20,000개 이상)을 선별하는 실제적인 과제를 해결합니다. 의도적으로 단순화된 테스트베드로서, 우리는 전단 유동(shear flow)에 초점을 맞추고 여러 전단 유동 설정, 즉 수치 시뮬레이션의 매개변수 값에 걸쳐 특징 동원을 비교합니다. 설정에 걸쳐 우리는 구간별 일관성의 증거를 발견했으며, 특징의 부분집합이 유사한 역할로 재발하지만, 이 구조는 간헐적이며 표준 물리적 분해에 깔끔하게 매핑되지 않습니다. 병행하여, 수치 시뮬레이션과 에뮬레이터 간의 직접적인 비교는 에너지/구조가 너무 확산되거나 너무 국지화되는 영역을 포함하여 체계적인 출력 수준 불일치를 드러냅니다. 우리는 이러한 불일치의 일부를 특정 SAE 특징 사용의 변화와 연결합니다. 우리의 작업은 과학적 파운데이션 모델에 대한 미해결 과제를 강조합니다. 기계적으로 의미 있는 특징을 어떻게 견고하게 우선순위로 지정하는지, 안정적인 구조를 분석 인공물(단일 층 및 SAE 한계 포함)과 어떻게 분리하는지, 그리고 "다른" 내부 표현이 단순히 효과적인 것이 아니라 진정으로 정보성 있는 것인지를 결정하기 위해 확립된 벤치마크를 어떻게 사용하는지에 대한 것입니다.

원문 초록

Generative AI emulators are increasingly used in scientific domains where we already have strong theory, benchmarks, and physical intuition. This raises a central evaluation and interpretability question: when a foundation-style model can reproduce known continuum dynamics, what internal mechanism supports that behavior, is the internal behaviour consistent with known physics, and how does it relate to where the emulator succeeds or fails? We investigate a cross-domain foundation model for continuum dynamics, Walrus by Polymathic, using mechanistic interpretability guided by physical principles. We apply a sparse autoencoder (SAE) to probe a selected layer, and address the practical challenge of triaging a large feature set (over 20,000) using enstrophy as a physically grounded metric. As a deliberately simple testbed, we focus on shear flow and compare feature recruitment across multiple shear-flow setups, i.e. parameter values in the numerical simulation. Across setups we find evidence of piecewise consistency, with subsets of features recurring in similar roles, but this structure is intermittent and does not map cleanly onto standard physical decompositions. In parallel, direct comparisons between numerical simulation and the emulator reveal systematic output-level discrepancies, including regimes where energy/structures become too diffuse or too localized. We connect parts of these discrepancies to changes in specific SAE feature usage. Our work highlights open questions for scientific foundation models: how to robustly prioritize mechanistically meaningful features, how to separate stable structure from analysis artifacts (including single-layer and SAE limitations), and how to use established benchmarks to decide when "different" internal representations are genuinely informative rather than merely effective.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11657v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.16193v3cs.CV공통 태그 mechanistic interpretability, sparse autoencoder

SAE++: 계단식 희소 오토인코더를 통한 멀티모달 대규모 언어 모델(MLLM)의 다단계 시각적 개념 학습

SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

멀티모달 대규모 언어 모델(MLLM)은 비전-언어(vision-language) 태스크에서 뛰어난 성능을 입증했으나, 내부 시각적 표현은 여전히 해석하기 어렵습니다. 희소 오토인코더(SAE)는 조밀한 모델 활성화를 희소하고 해석 가능한 특징(feature)으로 분해하는 확장 가능한 방법을 제공합니다. 그러나 기존 SAE 아키텍처는 주로 평면적인 특징 사전을 복원하며, 명시적인 다단계 개념 구성에는 덜 적합합니다. 본 논문에서는 MLLM에서 계층적 시각 개념을 학습하기 위해 SAE++라 명명된 계단식 희소 오토인코더 아키텍처를 소개합니다. SAE++는 SAE의 희소 활성화 코드를 중첩하거나 쌓는 대신, 1단계 SAE의 디코더 가중치에서 직접 2단계 SAE를 학습하여 학습된 저수준 특징 방향을 고수준 추상화를 위한 입력으로 처리합니다. 이러한 설계를 통해 SAE++는 중첩 방식의 공유 접두 문맥(shared-prefix) 결합, 마트료시카 스타일 계층 구조의 단점 및 단순 적층형 SAE의 병목 현상을 방지하면서 "개념의 개념"을 학습할 수 있습니다. 여러 시각 데이터셋에서 Qwen3-VL, Gemma-3, LLaVA를 대상으로 진행한 실험에 따르면, SAE++는 최첨단 SAE 베이스라인에 비해 계층적 개념 일관성 측면에서 해석 가능성을 향상시키는 것으로 나타났습니다. 개념 조향(concept steering)에 대한 결과는 학습된 개념 그룹이 MLLM 출력에 대한 효과적인 그룹 수준 개입을 지원함을 추가로 보여줍니다. 코드는 https://github.com/Wang-ML-Lab/sae-plus-plus 에서 확인할 수 있습니다.

arXiv:2609.20129v2cs.LG공통 태그 mechanistic interpretability, sparse autoencoder

국소적 희소성을 활용한 비지도 대규모 언어 모델 안전성 탐지

Local Sparsity Enables Unsupervised LLM Safety Detection

대규모 언어 모델(LLM)의 배포 시점 안전성(safety) 기법은 대부분 지도학습 방식이며 안전하지 않은 학습(training) 데이터에 접근할 수 있다고 가정한다. 그럼에도 불구하고 새로운 공격과 위해 유형은 주기적으로 발생하며, 이러한 지도학습 방식으로 훈련된 모델로는 이를 포착하지 못한다. 대안적인 접근법은 이 문제를 이상치 탐지(anomaly detection)의 관점에서 바라보는 것, 즉 안전한 데이터만을 모델링하고 분포 외(out-of-distribution) 입력을 식별하는 데에만 의존하는 것이다. 그러나 LLM 활성화 값은 고차원 공간에 존재하기 때문에 이상치 탐지가 통계적으로 실현 가능한지에 대한 우려가 제기된다. 본 논문에서는 선형 표현 가설(LRH) 하에서 실제로 가능성이 있음을 보인다. 일반적으로 희소 오토인코더(SAE)를 통해 복원되는 LRH 개념 공간에서는 인접한 점들이 작고 공통된 활성 지지 집합(active support)을 공유한다. 이러한 국소적 희소성(sparsity)에 대한 통찰을 바탕으로, 이론적 근거를 갖춘 국소 마스킹 SAE 기반 이상치 탐지 프레임워크를 제안한다. 능력 평가 데이터셋과 안전성 특화 데이터셋을 모두 포함하여 다양한 아키텍처와 데이터셋에서 이를 검증한다. 마지막으로, 보정(calibration)을 위해 알고리즘이 1%의 분포 외 데이터를 사용할 수 있도록 허용했을 때, 국소적 희소성 기반 방식은 거의 최적에 가까운 성능을 달성하여 연산에 SAE 뉴런의 1-2%만을 사용하면서도 의미 있는 안전성 정보를 포착할 수 있음을 입증한다.

arXiv:2607.22570v1cs.AI공통 태그 mechanistic interpretability, sparse autoencoder

언어 모델의 메커니스틱 감사를 위한 참조 특징 아틀라스

Reference Feature Atlases for Mechanistic Auditing of Language Models

새로운 언어 모델을 감사하려면 보통 내부 특징을 처음부터 다시 학습하고 재해석해야 한다. 우리는 참조 특징 아틀라스(reference feature atlas)를 제안한다. 이는 참조 패널(reference panel)에서 한 번 학습된 희소(sparse) 특징 라이브러리로, 새로운 대상 모델에는 선형 디코더(linear decoder)만 적합하여 연결된다. 이는 두 가지 상보적인 관점을 제공한다. 아틀라스 채널(atlas channel)은 이미 해석된 패널 특징 위에서 대상 모델을 읽어 모델 간 안정적인 좌표계를 제공한다. 잔차 채널(residual channel)은 아틀라스가 재구성하지 못한 부분에서만 특징을 학습하여, "참조 패널 밖(outside the reference panel)"을 명시적인 감사 신호로 만든다. 우리는 5개의 70억~90억(7-9B) 파라미터 규모의 인스트럭션 튜닝(instruction-tuned) 모델에 대해 leave-one-out 아틀라스를 학습하고, 홀드아웃(held-out) Mistral 및 Qwen 대상을 감사한다. 두 대상 모두에 주입된 세 가지 통제된 LoRA 은닉(hidden) 목표(objective)에 대해, 잔차 채널은 런타임(runtime)에 심어둔(planted) 메커니즘을 완벽히 제어 가능하게 만들면서 대응되는 대조군(matched controls)은 영향을 받지 않게 하고, 두 대상 모두에서 심어둔 목표를 최상위 순위 잠재(latent)로 복원한다. Mistral에서는 대상별 SAE(per-target SAE)와 쌍wise(pairwise) crosscoder 베이스라인이 일대일(head-to-head) 벤치마크를 위해 재학습되는데, 두 베이스라인 모두 이를 달성하지 못한다. Qwen-2.5에서는 동일한 채널이 추가로 패널 상대적(panel-relative) 정치적 프레이밍(political-framing) 클러스터를 드러내며, 이를 스티어링(steering)하면 감사된 프레이밍 지표가 변화하는 반면 도메인 외(out-of-domain) 대조군은 변하지 않는다.

arXiv:2607.20596v1cs.LG공통 태그 mechanistic interpretability, sparse autoencoder

단일 토큰 희소 오토인코더 특징은 인과적으로 필요한가? 층 깊이와 SAE 계열 효과

Are Single-Token Sparse Autoencoder Features Causally Necessary? Layer-Depth and SAE-Family Effects

희소 오토인코더(SAE) 특징은 대규모 언어 모델(LLM)을 해석하고 조종하는 데 사용되지만, SAE 계열 간 특징의 인과적 역할이 안정적인지는 아직 검증되지 않았다. 하나의 어휘 항목에서만 활성화되는 단일 토큰 특징은 정답(ground truth)을 통해 직접 비교가 가능한 진단 사례를 제공한다. 우리는 전 층 깊이에서 제로 소거(zero-ablation)를 사용하여 6개 모델과 3개 SAE 계열에 걸친 390만 개의 특징을 분석한다. 단일 토큰 특징은 디코더 공간에서 4.7배 더 촘촘하게 군집화되며 초기 층에 집중된다(GPT2-Small에서는 Layer 0; Gemma에서는 L0-L4). 이들을 소거하면 208개 전층 조건 중 178개에서 Benjamini-Hochberg 유의성을 갖는 로짓 감소가 나타나며, 깊이는 손상이 하류로 전파되는지 아니면 출력을 직접 형성하는지를 결정한다. 계열 간 인과적 차이는 계열 내 규모 효과를 초과한다: 동일한 기본 모델에서 GemmaScope와 BatchTopK 특징은 인과적으로 고정되어 있는 반면, LlamaScope 특징은 국소적으로 중복적이다. 동일한 소거 후 대상 토큰의 순위는 96-98%의 경우 기준선의 2배 이내로 회복되며, 통제된 활성화 함수 비교는 동일 모델 내에서 부호를 반전시켜 학습 레시피를 잔여 후보로 남긴다. 따라서 계열 간 해석 가능성 주장은 활성화 함수나 규모뿐 아니라 학습 방법론에 민감하다.

arXiv:2607.12166v1cs.LG공통 태그 mechanistic interpretability, sparse autoencoder

기하학적 복원에서 인과적 검증으로: 중첩 기하에서 인과적 비활성까지 희소 오토인코더 특징의 재현 가능 감사

From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

희소 오토인코더(SAE)는 중첩(superposition)된 신경 표현을 해석 가능한 특징(feature)으로 분해하는 표준이며, 평가는 주로 상관적 복원(recovery) 지표—ground-truth 방향과 디코더 atom 간의 코사인 유사도—에 의존한다. 우리는 이것이 디코더 기하(geometry) 정렬과 인코더 활성화(activation) 동작이라는 두 가지 서로 다른 주장을 혼동한다는 것을 보인다. 우리는 Elhage et al. (2022)의 중첩 위상(phase) 다이어그램을 재현하여, 높은 희소성(sparsity)에서의 수렴(convergence) 아티팩트와 극단적 과완전성(overcompleteness)에서 충분히 설명되지 않은 diffuse sharing 영역을 확인한다. 우리는 Gao et al. (2024)의 TopK 대 L1 비교를 재현하고, L1 수축(shrinkage)의 직접적 증거를 제시한다. 우리의 핵심 결과는 인과적(causal)이다: 복원된 모든 특징에 ablation과 steering을 적용한 결과, 성능이 저하된 SAE에서 복원 기준(recovery bar)(cosine >= 0.90)을 통과하는 특징의 최대 77%—잘 학습된 SAE에서는 9%—가 인과적으로 비활성(inert)하다는 것을 발견한다. 매칭된 atom은 특징이 존재할 때 절대 발화(fire)하지 않으며, cosine ~1.000인 매칭도 포함된다. 우리는 이 방법을 결정론적(deterministic) 파이프라인을 갖춘 모델 불변(model-agnostic) 도구 sae-causal-audit으로 패키징한다. 재감사(re-auditing)는 이 발견을 정교화한다: 비활성(inertness)은 원인별로 구조적 비활성(양극(antipodal) 쌍 기하, 양호한 SAE에 존재)과 경쟁적 비활성(성능 저하 SAE의 TopK 병리(pathology))로 분해되며, 방향별로는 read- 및 write-inertness로 분해되는데, 다섯 개의 antipodal 쌍이 이를 완전히 분리한다—모니터링 불가능(unmonitorable)하지만 동일한 atom을 통해 steerable하며, ablation 효과가 0인 상태에서 steering 특이도(specificity) 143-310이 붙는다. 우리는 바이트 단위 정확(byte-exact) 재현성이 구조상 불가능한 이유를 문서화하고, 명시적 범위(scope)를 갖는 주장(claim)의 스택으로 보고할 것을 제안한다. 프로덕션 SAE에 이 도구를 적용하면 소규모(14% inert)에서도 동일한 패턴이 재현되며 atom 충돌(collision) 신호가 드러난다: 소수의 atom이 서로 무관한 수십 개 개념에 대해 최근접 매칭으로 반복적으로 등장하며, 이는 세 배치에 걸쳐 재현된다.

arXiv:2607.10226v1cs.AI공통 태그 mechanistic interpretability, sparse autoencoder

희소 특징 개입이 실제로 국소화되는 때는 언제인가? SAE 기반 안전성 제어를 위한 매칭 평가

When Are Sparse Feature Interventions Actually Localized? Matched Evaluation for SAE-Based Safety Control

우리는 희소 오토인코더(SAE) 특징이 안전성 관련 행동에 대한 국소화된 제어 핸들로 작동하는 시점을 평가한다. 이 질문은 표면적 성공이 약한 개입, 불일치한 기준선, 모델 강건성, 또는 자동화된 안전성 판정기가 실질적인 유해 순응을 나타내지 않으면서도 안전하지 않다고 표시하는 퇴화된 출력에서 비롯될 수 있기 때문에 어렵다. 우리는 런타임 안전성 개입을 위한 매칭 일관성 게이팅(coherence-gated) 평가 프로토콜을 도입한다: 방법들은 매칭된 목표 효과 지점에서 비교되며, 주요 목표 지표는 출력이 판정기 기준 안전하지 않으면서 동시에 일관성이 있을 때만 유해 순응으로 계산한다. 이 프로토콜을 Gemma Scope 20번째 층 잔차 SAE를 사용하여 Gemma-2-9B-it의 세 가지 프롬프트 분할에 적용한 결과, SAE 특징 절제(ablation)는 좁은 유용 영역을 가짐을 발견한다. SAE top800은 낮은 전체 섭동(perturbation)과 경쟁력 있는 유용성으로 낮은~중간 수준의 목표 효과에 도달하지만, SAE top1600은 매칭된 밀집 거부 방향 기준선 대비 유용성을 상실하며, SAE top3200은 주로 일관성 붕괴를 유발한다. 인간 감사는 일관성 게이팅이 안전하지 않음만을 나타내는 아티팩트를 제거함을 확인하며, 특징 진단은 유용 영역이 순위에 따라 활성화 분리가 급속히 감소하는 거부 정렬 특징들의 안정적인 선두에 의해 구동됨을 보여준다. 이러한 결과는 SAE 기반 안전성 개입이 균일하게 국소화된 것으로 가정하기보다는 영역 의존적 제어 메커니즘으로 평가되어야 함을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.