arXiv:2606.11375v2 cs.CL

프로빙 정확도가 포화될 때, 취약성이 드러난다: LLM 사전학습 분석을 위한 보완 지표

When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Orion Reblitz-Richardson

제출 2026-06-09

한국어 초록

표준 선형 프로빙(linear probing)은 은닉 상태(hidden state)에 대한 분류기가 높은 정확도를 달성하면 해당 속성이 "인코딩되어 있다"고 판단한다. 이 프로토콜은 단일 시점의 스냅샷에서는 잘 작동하지만 사전학습 전반에 걸쳐서는 한계를 보이는데, 프로브 정확도가 처음 수천 스텝 안에 포화되어 학습 과정의 대부분이 이 도구로는 보이지 않게 되기 때문이다. 본 논문은 프로브 정확도가 무너지는 활성화 노이즈 수준으로 정의되는, 층별 보완 지표인 취약성(fragility)을 제안한다. 취약성은 분리 가능성의 마진(margin)과 표현의 중복성(redundancy) 모두에 민감하며, 이 둘은 정확도가 정체된 이후에도 오랫동안 계속 변화한다. 공개 체크포인트가 있는 언어 모델에 적용했을 때, 취약성은 정확도만으로는 볼 수 없는 구조를 복원한다. 우리의 관심사인 도덕화된(moralized) 표현은 단계적으로 나타나는데, 도덕적 함의를 지닌 단어에 대한 높은 정확도의 탐지가 먼저 나타나고 조합적(compositional) 인코딩은 이후에 나타난다. 프로브 정확도 자체는 데이터셋이 어휘적으로 얼마나 분리 가능한지를 반영하므로, 우리는 대비 토큰(contrast token)을 전혀 공유하지 않는 구성 유형 간에도 조합적 인코딩이 전이됨을 보임으로써 이를 직접 입증한다. 프로빙 정확도가 단조로운 답을 내놓는 곳에서, 취약성은 구조화된 답을 내놓는다. 원시 임계 노이즈(raw critical noise) 또한 층 깊이에 따른 그래디언트(gradient)를 보이지만, 우리가 아는 한 노이즈 주입 프로빙에서 문서화된 바 없는 교란 요인(confound)을 발견하고 이를 보정한다. 즉, 더 깊은 층일수록 활성화의 크기가 더 크기 때문에, 고정된 절대 노이즈는 깊은 층을 실제보다 더 강건해 보이게 만든다. 층별로 스케일을 재조정하면 이 그래디언트의 대부분이 사라지며, 층 내 비교는 여전히 유효하고 정확도가 동일한 코퍼스들도 취약성으로 여전히 구분된다. 우리는 층 간 비교 주장에는 RMS 정규화된 임계 노이즈를, 층 내 비교에는 원시 임계 노이즈를 사용할 것을 권장한다.

원문 초록

Standard linear probing declares a property "encoded" when a classifier on hidden states achieves high accuracy. The protocol works well on a snapshot but breaks across pre-training, with probe accuracy saturating within the first few thousand steps, leaving most of training invisible to the instrument. We introduce fragility, a complementary per-layer metric defined as the activation-noise level at which probe accuracy collapses. Fragility is sensitive to both the margin of separability and the redundancy of representation, both of which keep evolving long after accuracy plateaus. Applied to open-checkpoint language models, fragility recovers structure that accuracy alone cannot see. Moralized representations, our interest, emerge in stages, with high-accuracy detection of morally loaded words first and compositional encoding later. Because probe accuracy on its own tracks how lexically separable a dataset is, we establish the compositional encoding directly, by showing it transfers across construction types that share no contrast tokens. Where probing accuracy returns a flat answer, fragility returns a structured one. Raw critical noise also shows a layer-depth gradient, but we identify and correct a confound that, to our knowledge, has gone undocumented in noise-injection probing. That is, deeper layers carry larger activations, so a fixed absolute noise makes them look more robust than they are. Rescaling per layer removes most of the gradient, while within-layer comparisons stay valid and still separate identical-accuracy corpora by fragility. We recommend RMS-normalized critical noise for cross-layer claims and raw critical noise for within-layer comparisons.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.11375v2제출 시각 미확인
  2. arXiv:2606.11375v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.