신경망이 어떤 특징을 더 이상 보고하지 않을 때, 그 특징을 잊은 것인가 아니면 단지 숨긴 것인가? 공유 표현은 이 질문에 대한 답을 복잡하게 만든다. 한 특징의 방향을 제거하면 다른 특징도 손상될 수 있기 때문이다. 우리는 입력을 압축하고 복원하는 소규모 오토인코더에서 이 문제를 연구하며, 이를 통해 개별 특징의 기여를 직접 추적할 수 있다. 표현을 고정한 상태에서 단일 편향을 복원하면 출력의 활성화 임계값 뒤에 숨겨진 신호가 드러나면서 대상 검출이 부분적으로 회복된다. 대상이 없는 입력에 대한 테스트는 이러한 회복을 단순히 출력을 증가시키는 개입과 구별한다. 표현이 변할 수 있도록 허용하면 동일한 편향 개입은 효과가 떨어진다. 우리는 대상 자체의 출력에 대한 손실이 없더라도 다른 출력만 학습시키면 대상의 기여가 약해질 수 있음을 발견하였다. 조건부 이론적 분석은 유지되는 예측과의 간섭이 어떻게 이러한 압력을 만드는지를 설명한다. 그러나 더 유연한 예측기는 여전히 잔여 대상 정보를 검출한다. 이러한 결과는 회복이 특징 기하와 어떤 파라미터가 학습되는지에 따라 달라짐을 보여주며, 침묵하는 출력만으로는 망각의 충분한 증거가 되지 못하는 이유를 설명한다.
희소 오토인코더(SAE)는 중첩(superposition)된 신경 표현을 해석 가능한 특징(feature)으로 분해하는 표준이며, 평가는 주로 상관적 복원(recovery) 지표—ground-truth 방향과 디코더 atom 간의 코사인 유사도—에 의존한다. 우리는 이것이 디코더 기하(geometry) 정렬과 인코더 활성화(activation) 동작이라는 두 가지 서로 다른 주장을 혼동한다는 것을 보인다. 우리는 Elhage et al. (2022)의 중첩 위상(phase) 다이어그램을 재현하여, 높은 희소성(sparsity)에서의 수렴(convergence) 아티팩트와 극단적 과완전성(overcompleteness)에서 충분히 설명되지 않은 diffuse sharing 영역을 확인한다. 우리는 Gao et al. (2024)의 TopK 대 L1 비교를 재현하고, L1 수축(shrinkage)의 직접적 증거를 제시한다. 우리의 핵심 결과는 인과적(causal)이다: 복원된 모든 특징에 ablation과 steering을 적용한 결과, 성능이 저하된 SAE에서 복원 기준(recovery bar)(cosine >= 0.90)을 통과하는 특징의 최대 77%—잘 학습된 SAE에서는 9%—가 인과적으로 비활성(inert)하다는 것을 발견한다. 매칭된 atom은 특징이 존재할 때 절대 발화(fire)하지 않으며, cosine ~1.000인 매칭도 포함된다. 우리는 이 방법을 결정론적(deterministic) 파이프라인을 갖춘 모델 불변(model-agnostic) 도구 sae-causal-audit으로 패키징한다. 재감사(re-auditing)는 이 발견을 정교화한다: 비활성(inertness)은 원인별로 구조적 비활성(양극(antipodal) 쌍 기하, 양호한 SAE에 존재)과 경쟁적 비활성(성능 저하 SAE의 TopK 병리(pathology))로 분해되며, 방향별로는 read- 및 write-inertness로 분해되는데, 다섯 개의 antipodal 쌍이 이를 완전히 분리한다—모니터링 불가능(unmonitorable)하지만 동일한 atom을 통해 steerable하며, ablation 효과가 0인 상태에서 steering 특이도(specificity) 143-310이 붙는다. 우리는 바이트 단위 정확(byte-exact) 재현성이 구조상 불가능한 이유를 문서화하고, 명시적 범위(scope)를 갖는 주장(claim)의 스택으로 보고할 것을 제안한다. 프로덕션 SAE에 이 도구를 적용하면 소규모(14% inert)에서도 동일한 패턴이 재현되며 atom 충돌(collision) 신호가 드러난다: 소수의 atom이 서로 무관한 수십 개 개념에 대해 최근접 매칭으로 반복적으로 등장하며, 이는 세 배치에 걸쳐 재현된다.
$L^4$ 손실(오차의 평균 4승)로 학습된 단일 은닉층 ReLU 네트워크가 뉴런 수(50개)보다 많은 입력 특징(100개)을 중첩에서의 연산(computation in superposition) 방식으로 처리함을 보이며, 이를 역공학한 결과 각 특징에 희소 이진 코드워드가 할당되고 인코더의 유사역행렬로 디코딩되는 구조를 발견했다. 단 3개의 스칼라 파라미터로 네트워크 성능의 대부분을 재현할 수 있으며, 수동 설계된 코드로 구축한 동등한 네트워크로 이를 검증했다.
지속적 학습(CL) 시스템은 종종 이전에 습득한 지식을 망각하지만, 실제 데이터셋은 여러 요인이 복합적으로 얽혀 있어 망각을 유도하는 기제를 실제로 분리하기 어렵습니다. 우리는 이러한 기제를 관찰 가능하고 테스트 가능하게 만드는 제어된 toy-world 프레임워크를 제시합니다. 합성 생성기-분리기 파이프라인을 사용하여 ground-truth 잠재 특징(latent features)을 정의하고, 조정 가능한 희소성(sparsity)과 중첩(overlap)을 갖는 태스크를 구축하며, 표현 강도와 중첩(superposition, 특징 간의 방향성 중첩)에 대한 측정 가능한 양을 도입합니다. 그런 다음 유지, 중첩, 노출 이력 사이의 희소 동적 관계(SINDy 통해)를 피팅하여 표현 강도의 시간적 변화인 유지 역학(dynamics)을 연구합니다. 유효 계수(effective rank)에 기반한 보완적인 태스크 수준 분석은 표현 용량이 태스크 전반에 걸쳐 어떻게 할당되는지 특성화합니다. 우리의 제어된 실험은 세 가지 시사점을 도출합니다. (1) 중첩은 시간이 지남에 따라 증가하는 경향이 있으며 태스크 경계에서 일시적 하락을 보이는데, 이는 점진적인 드리프트(drift)보다는 경계 특이적 간섭을 시사합니다. (2) 더 높은 특징 희소성은 더 많은 중첩을 유발하지만 필연적으로 망각을 초래하지는 않습니다. 표현이 강력하게 유지될 때 중첩에도 불구하고 망각을 줄일 수 있습니다. (3) 태스크 수준 유효 계수는 희소성에 따라 증가하며, 이는 희소성(sparse) 레짐에서 더 넓은 용량 사용을 나타냅니다. 종합적으로, 이러한 결과는 중첩이 표현 강도 및 용량 할당과 상호작용한다는 것을 보여줌으로써, 더 많은 중첩이 더 많은 망각으로 이어진다는 일반적인 직관을 정교화합니다. 우리의 toy 분석은 CL을 위한 반증 가능한 가설과 진단 도구를 제공합니다.
신경망의 기계적 해석 가능성(mechanistic interpretability)에서 가장 큰 난관 중 하나는 다의성(polysemanticity)의 발생입니다. 이는 각 뉴런이 보통 여러 가지 다른 작업을 담당한다는 것을 시사하며, 이로 인해 뉴런의 기능을 명확하게 해석하는 것을 어렵게 만듭니다. Elhage et al. (2022)의 선구적인 논문은 이러한 현상이 중첩(superposition) 때문에 발생한다고 주장합니다. 중첩이란 신경망이 저차원 공간에서 서로 다른 특징(feature)을 비직교 방향으로 표현하는 현상을 말합니다. 이는 입력 벡터의 특징 희소성(sparsity) 덕분에 충실도를 저하시키지 않으면서 훨씬 더 큰 데이터 압축을 가능하게 하는 전략입니다. Elhage et al. (2022)은 희소 입력(sparse inputs)을 사용하는 비교적 자연스럽고 단순한 오토인코더(autoencoder)를 통해 이러한 가설들을 실험적으로 검증했습니다. 본 연구의 기여는 중첩의 발생과 최적성에 대한 수학적 기초를 분석하고, 선행 연구의 일부 발견을 엄밀하게 검증하는 것입니다. 특히, 거듭제곱 활성화 함수(power activation functions)에 대해 매우 희소한 영역(very sparse regime)에서 엄밀한(tight) L2 재구성 손실(L2 reconstruction loss)의 상한과 하한을 제공합니다. 마지막으로 흥미로운 미해결 문제(open problems) 목록을 간략히 포함했습니다.
적대적 예제는 왜 존재하며, 왜 모델 간에 전이되는가? 기존 설명은 고차원 기하학, 입력 내 견고하지 않은 패턴, 결정 경계 구조에 기반하고 있지만, 특정 섭동이 왜 성공하는지와 공격이 모델 간에 왜 전이되는지를 설명하는 표현 수준의 메커니즘은 제공하지 않습니다. 본 논문에서 우리는 적대적 취약성이 신경망의 효율적인 정보 인코딩에서 기인할 수 있음을 보여줍니다. 구체적으로, 취약성은 중첩(superposition) 현상에서 발생할 수 있는데, 이는 신경망이 가진 차원보다 더 많은 개념을 표현하여 비직교 표현을 강제하고 결과적으로 간섭을 유발하는 현상입니다. 이러한 간섭은 하나의 표현을 겨냥한 섭동이 다른 표현에 영향을 미치게 만들며, 이는 간섭 패턴에 의해 결정되는 취약성을 야기합니다. 중첩이 정밀하게 제어된 합성 설정에서, 우리는 중첩만으로도 적대적 취약성이 발생하기에 충분함을 입증합니다. 결과적으로 생성되는 공격은 예측 가능한데, PGD를 통해 발견된 섭동은 간섭 기하학에서 도출된 이론적으로 최적의 섭동과 일치합니다. 유사한 데이터로 학습된 모델은 유사한 간섭 패턴을 형성하며, 이는 공격의 전이성을 설명합니다. 그 후 우리는 이미지 분류기에 대한 성공적인 공격이 우리가 제안한 메커니즘에 의해 예측된 구조를 보임을 보여줍니다. 이러한 발견은 적대적 취약성이 신경망의 표현 압축 과정에서 발생하는 부산물일 수 있음을 시사하며, 데이터 속성이나 아키텍처 요인에 기반한 기존의 설명을 보완합니다.