PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.08843v1cs.LG

선형 표현은 어떻게 학습되는가? 추상화 동역학의 정확한 해

How are linear representations learned? Exact solutions to the dynamics of abstraction

인공 및 생물학적 신경망에서 개념은 종종 표현 공간 내의 일관된 선형 방향으로 인코딩된다. 심층 학습(deep learning)에서 이 아이디어는 선형 표현 가설(linear representation hypothesis)로 알려져 있으며, 개념 탐지부터 활성화 조향(activation steering)에 이르기까지 선형 프로브(linear probe)에 기반한 많은 해석 가능성 및 제어 방법의 토대가 된다. 그러나 선행 연구들이 학습 이후 이러한 방향이 존재해야 하는지를 연구한 반면, 학습 중에 이러한 방향이 어떻게 출현하는지에 관한 동역학은 아직 충분히 이해되지 않았다. 본 연구에서는 학습 중 개념 방향의 정렬을 연구하기 위한 프레임워크를 개발하며, 이 과정을 '추상화(abstraction)'라 부른다. 최소한의 선형 네트워크 환경에서 추상화의 전체 궤적에 대한 정확한 해를 도출한다. 이 해들은 추상화를 지배하는 핵심 해석적 원리를 드러낸다: (i) 데이터와 타깃 기하학이 학습 종료 시점의 추상화를 공동으로 결정하고, (ii) 추상화는 네트워크 깊이가 깊을수록 향상되며, (iii) 초기화(initialization) 스케일이 학습 중 도달하는 최대 추상화를 제어한다. 이론을 비선형 네트워크로 확장하여 비선형성의 선택이 추상화 동역학에 미치는 영향을 분석한다: erf 네트워크는 선형 이론에 근사하는 반면, 렐루(ReLU) 네트워크에서의 추상화는 타깃 기하학보다 입력 기하학에 더 의존한다. 두 경우 모두에서 우리는 놀라운 감쇠 법칙(attenuation law)을 증명한다: 두 비선형성 모두 사전 활성화(preactivation)에 비해 활성화(activation)에서의 추상화를 약화시킨다. 우리는 오픈 모델(DINOv3, Gemma 4)에서 이 법칙의 증거를 발견하고, 이론을 대규모 언어 모델(LLM)에서의 선형 프로브 일반화 향상에 적용한다. 종합적으로, 본 연구의 결과는 해석 가능성 및 제어에 함의를 지니는 추상화의 동역학적 이론을 제공한다.

arXiv:2606.19603v1cs.LG

마할라노비스 코사인 유사도를 이용한 선형 프로브 비교

Comparing Linear Probes with Mahalanobis Cosine Similarity

선형 프로브(linear probe)는 해석 가능성(interpretability) 연구에서 널리 사용되며, 종종 코사인 유사도로 비교됩니다. 두 방향 사이의 마할라노비스 코사인 유사도(MCS)는 테스트 데이터 공분산으로 내적을 재가중치하는 것으로, 자연스러운 태스크 인식(task-aware) 개선 방법입니다. Ying et al. (2026)은 분포 외(OOD) 데이터로 학습된 참조 프로브(reference probe)에 대한 프로브의 MCS가 해당 프로브의 OOD AUROC을 거의 완벽하게 선형으로 예측한다고 보고했습니다 (R^2 = 0.98). 본 연구에서는 이러한 경험적 발견을 모델, 레이어, 개념 도메인 전반으로 확장하고, 이 일반적인 현상을 닫힌 형식(closed form)으로 증명합니다. 투영이 가우시안(Gaussian)인 균형 잡힌 클래스의 경우, OOD AUROC과 참조 프로브에 대한 MCS는 둘 다 테스트 데이터에 대한 프로브의 신호 대 잡음비(SNR)의 시그모이드(sigmoid) 형태 함수이기 때문에 선형적입니다. 이 이론은 또한 이 선형성이 언제 실패하는지 예측하며, 우리는 이를 경험적으로 검증합니다. MCS는 선형 프로브를 비교할 때 유클리드 코사인 유사도에 대한 이론적으로 타당하고 경험적으로 효과적인 대안을 제공합니다.