PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27593v2cs.LG

삭제가 아닌 은닉: 네트워크가 얽힌 특징을 억제하는 방식

Hidden not Deleted: How Networks Suppress Entangled Features

When a neural network stops reporting a feature, has it forgotten the feature or merely hidden it? Shared representations complicate the answer: removing one feature's direction can also damage another feature. We study this problem in a small autoencoder that compresses and reconstructs inputs, allowing individual feature contributions to be traced directly. With the representation fixed, restoring a single bias partially recovers target detection by exposing a signal hidden behind the output's activation threshold. Tests on target-absent inputs distinguish this recovery from interventions that simply increase output. The same bias intervention becomes less effective when the representation is allowed to change. We find that training only the other outputs can weaken the target's contribution, even without a loss on its own output. A conditional theoretical analysis explains how interference with retained predictions creates this pressure. Yet more flexible predictors still detect residual target information. These findings show how recovery depends on feature geometry and on which parameters are trained, and why a silent output is insufficient evidence of forgetting.

arXiv:2607.12166v1cs.LG

기하학적 복원에서 인과적 검증으로: 중첩 기하에서 인과적 비활성까지 희소 오토인코더 특징의 재현 가능 감사

From Geometric Recovery to Causal Validation: A Reproducible Audit of Sparse Autoencoder Features, from Superposition Geometry to Causal Inertness

희소 오토인코더(SAE)는 중첩(superposition)된 신경 표현을 해석 가능한 특징(feature)으로 분해하는 표준이며, 평가는 주로 상관적 복원(recovery) 지표—ground-truth 방향과 디코더 atom 간의 코사인 유사도—에 의존한다. 우리는 이것이 디코더 기하(geometry) 정렬과 인코더 활성화(activation) 동작이라는 두 가지 서로 다른 주장을 혼동한다는 것을 보인다. 우리는 Elhage et al. (2022)의 중첩 위상(phase) 다이어그램을 재현하여, 높은 희소성(sparsity)에서의 수렴(convergence) 아티팩트와 극단적 과완전성(overcompleteness)에서 충분히 설명되지 않은 diffuse sharing 영역을 확인한다. 우리는 Gao et al. (2024)의 TopK 대 L1 비교를 재현하고, L1 수축(shrinkage)의 직접적 증거를 제시한다. 우리의 핵심 결과는 인과적(causal)이다: 복원된 모든 특징에 ablation과 steering을 적용한 결과, 성능이 저하된 SAE에서 복원 기준(recovery bar)(cosine >= 0.90)을 통과하는 특징의 최대 77%—잘 학습된 SAE에서는 9%—가 인과적으로 비활성(inert)하다는 것을 발견한다. 매칭된 atom은 특징이 존재할 때 절대 발화(fire)하지 않으며, cosine ~1.000인 매칭도 포함된다. 우리는 이 방법을 결정론적(deterministic) 파이프라인을 갖춘 모델 불변(model-agnostic) 도구 sae-causal-audit으로 패키징한다. 재감사(re-auditing)는 이 발견을 정교화한다: 비활성(inertness)은 원인별로 구조적 비활성(양극(antipodal) 쌍 기하, 양호한 SAE에 존재)과 경쟁적 비활성(성능 저하 SAE의 TopK 병리(pathology))로 분해되며, 방향별로는 read- 및 write-inertness로 분해되는데, 다섯 개의 antipodal 쌍이 이를 완전히 분리한다—모니터링 불가능(unmonitorable)하지만 동일한 atom을 통해 steerable하며, ablation 효과가 0인 상태에서 steering 특이도(specificity) 143-310이 붙는다. 우리는 바이트 단위 정확(byte-exact) 재현성이 구조상 불가능한 이유를 문서화하고, 명시적 범위(scope)를 갖는 주장(claim)의 스택으로 보고할 것을 제안한다. 프로덕션 SAE에 이 도구를 적용하면 소규모(14% inert)에서도 동일한 패턴이 재현되며 atom 충돌(collision) 신호가 드러난다: 소수의 atom이 서로 무관한 수십 개 개념에 대해 최근접 매칭으로 반복적으로 등장하며, 이는 세 배치에 걸쳐 재현된다.

arXiv:2607.04800v1cs.LG

$L^4$ 손실 하의 압축 연산은 중첩에서의 연산일 가능성이 높다

Compressed Computation under $L^4$ Loss is likely Computation in Superposition

$L^4$ 손실(오차의 평균 4승)로 학습된 단일 은닉층 ReLU 네트워크가 뉴런 수(50개)보다 많은 입력 특징(100개)을 중첩에서의 연산(computation in superposition) 방식으로 처리함을 보이며, 이를 역공학한 결과 각 특징에 희소 이진 코드워드가 할당되고 인코더의 유사역행렬로 디코딩되는 구조를 발견했다. 단 3개의 스칼라 파라미터로 네트워크 성능의 대부분을 재현할 수 있으며, 수동 설계된 코드로 구축한 동등한 네트워크로 이를 검증했다.

arXiv:2606.24964v1cs.LG

Evidence for feature-specific error correction in LLMs

슈퍼포지션(superposition) 연산 이론이 예측하는 feature 방향 우대형 오류 보정을, residual stream 활성화 교란과 Lp 노름 기하 분석으로 대규모 언어 모델(LLM)에서 처음 실증한다. 대조·MELBO·SAE 후보 feature 방향은 p>2를, 무작위·PCA 대조는 p≈2를 보이며 Gemma, Qwen, Llama 등 여러 모델에서 재현된다.

arXiv:2606.20431v1cs.LG

희소성, 중첩, 그리고 망각: 지속적 학습에서 표현 유지에 대한 기제 연구

Sparsity, Superposition, and Forgetting: A Mechanistic Study of Representation Retention in Continual Learning

지속적 학습(CL) 시스템은 종종 이전에 습득한 지식을 망각하지만, 실제 데이터셋은 여러 요인이 복합적으로 얽혀 있어 망각을 유도하는 기제를 실제로 분리하기 어렵습니다. 우리는 이러한 기제를 관찰 가능하고 테스트 가능하게 만드는 제어된 toy-world 프레임워크를 제시합니다. 합성 생성기-분리기 파이프라인을 사용하여 ground-truth 잠재 특징(latent features)을 정의하고, 조정 가능한 희소성(sparsity)과 중첩(overlap)을 갖는 태스크를 구축하며, 표현 강도와 중첩(superposition, 특징 간의 방향성 중첩)에 대한 측정 가능한 양을 도입합니다. 그런 다음 유지, 중첩, 노출 이력 사이의 희소 동적 관계(SINDy 통해)를 피팅하여 표현 강도의 시간적 변화인 유지 역학(dynamics)을 연구합니다. 유효 계수(effective rank)에 기반한 보완적인 태스크 수준 분석은 표현 용량이 태스크 전반에 걸쳐 어떻게 할당되는지 특성화합니다. 우리의 제어된 실험은 세 가지 시사점을 도출합니다. (1) 중첩은 시간이 지남에 따라 증가하는 경향이 있으며 태스크 경계에서 일시적 하락을 보이는데, 이는 점진적인 드리프트(drift)보다는 경계 특이적 간섭을 시사합니다. (2) 더 높은 특징 희소성은 더 많은 중첩을 유발하지만 필연적으로 망각을 초래하지는 않습니다. 표현이 강력하게 유지될 때 중첩에도 불구하고 망각을 줄일 수 있습니다. (3) 태스크 수준 유효 계수는 희소성에 따라 증가하며, 이는 희소성(sparse) 레짐에서 더 넓은 용량 사용을 나타냅니다. 종합적으로, 이러한 결과는 중첩이 표현 강도 및 용량 할당과 상호작용한다는 것을 보여줌으로써, 더 많은 중첩이 더 많은 망각으로 이어진다는 일반적인 직관을 정교화합니다. 우리의 toy 분석은 CL을 위한 반증 가능한 가설과 진단 도구를 제공합니다.

arXiv:2606.18538v1cs.LG

단순 오토인코더에서 희소성과 중첩이 손실에 미치는 영향

Effects of sparsity and superposition on loss in simple autoencoders

신경망의 기계적 해석 가능성(mechanistic interpretability)에서 가장 큰 난관 중 하나는 다의성(polysemanticity)의 발생입니다. 이는 각 뉴런이 보통 여러 가지 다른 작업을 담당한다는 것을 시사하며, 이로 인해 뉴런의 기능을 명확하게 해석하는 것을 어렵게 만듭니다. Elhage et al. (2022)의 선구적인 논문은 이러한 현상이 중첩(superposition) 때문에 발생한다고 주장합니다. 중첩이란 신경망이 저차원 공간에서 서로 다른 특징(feature)을 비직교 방향으로 표현하는 현상을 말합니다. 이는 입력 벡터의 특징 희소성(sparsity) 덕분에 충실도를 저하시키지 않으면서 훨씬 더 큰 데이터 압축을 가능하게 하는 전략입니다. Elhage et al. (2022)은 희소 입력(sparse inputs)을 사용하는 비교적 자연스럽고 단순한 오토인코더(autoencoder)를 통해 이러한 가설들을 실험적으로 검증했습니다. 본 연구의 기여는 중첩의 발생과 최적성에 대한 수학적 기초를 분석하고, 선행 연구의 일부 발견을 엄밀하게 검증하는 것입니다. 특히, 거듭제곱 활성화 함수(power activation functions)에 대해 매우 희소한 영역(very sparse regime)에서 엄밀한(tight) L2 재구성 손실(L2 reconstruction loss)의 상한과 하한을 제공합니다. 마지막으로 흥미로운 미해결 문제(open problems) 목록을 간략히 포함했습니다.

arXiv:2510.11709v2cs.LG

중첩(superposition) 내 특징 간의 간섭을 활용하는 적대적 공격

Adversarial Attacks Leverage Interference Between Features in Superposition

적대적 예제는 왜 존재하며, 왜 모델 간에 전이되는가? 기존 설명은 고차원 기하학, 입력 내 견고하지 않은 패턴, 결정 경계 구조에 기반하고 있지만, 특정 섭동이 왜 성공하는지와 공격이 모델 간에 왜 전이되는지를 설명하는 표현 수준의 메커니즘은 제공하지 않습니다. 본 논문에서 우리는 적대적 취약성이 신경망의 효율적인 정보 인코딩에서 기인할 수 있음을 보여줍니다. 구체적으로, 취약성은 중첩(superposition) 현상에서 발생할 수 있는데, 이는 신경망이 가진 차원보다 더 많은 개념을 표현하여 비직교 표현을 강제하고 결과적으로 간섭을 유발하는 현상입니다. 이러한 간섭은 하나의 표현을 겨냥한 섭동이 다른 표현에 영향을 미치게 만들며, 이는 간섭 패턴에 의해 결정되는 취약성을 야기합니다. 중첩이 정밀하게 제어된 합성 설정에서, 우리는 중첩만으로도 적대적 취약성이 발생하기에 충분함을 입증합니다. 결과적으로 생성되는 공격은 예측 가능한데, PGD를 통해 발견된 섭동은 간섭 기하학에서 도출된 이론적으로 최적의 섭동과 일치합니다. 유사한 데이터로 학습된 모델은 유사한 간섭 패턴을 형성하며, 이는 공격의 전이성을 설명합니다. 그 후 우리는 이미지 분류기에 대한 성공적인 공격이 우리가 제안한 메커니즘에 의해 예측된 구조를 보임을 보여줍니다. 이러한 발견은 적대적 취약성이 신경망의 표현 압축 과정에서 발생하는 부산물일 수 있음을 시사하며, 데이터 속성이나 아키텍처 요인에 기반한 기존의 설명을 보완합니다.