arXiv:2611.23245v1 cs.LG

응답 관련 정보는 신경망 학습 상태 동등성에 충분하지 않다

Response-Relevant Information Is Not Sufficient for Neural Training-State Equivalence

Truong Xuan Khanh

제출 2026-11-19

한국어 초록

응답 관련 정보는 두 신경망이 동일한 학습 상태에 있다는 충분한 증거가 아니다. 우리는 학습 상태 동등성을 조작적으로 정의한다. 두 체크포인트가 개입 계열과 지평에 상대적으로 동등하다는 것은, 학습이 교란되고 계속될 때 서로 비슷하게 반응한다는 뜻이다. 모듈러 덧셈을 학습하는 1층 트랜스포머의 새로운 실행들에서, 가중치 감쇠 펄스에 대한 반응은 체크포인트 간 차이에 비해 매우 재현 가능하며(500 스텝에서 rho_state = 0.934), 이는 이 대상이 측정 가능함을 보여준다. 가중치 스펙트럼, 표현 기하, 최적화기 기하에 관한 열다섯 개의 기술자는 개발 데이터셋에서 가중치 노름과 손실을 넘어선 실행 내 응답 관련 정보를 담고 있으며, 시드 블록에 걸쳐 보류된 응답 편차를 예측한다. 그러나 미래 응답으로 체크포인트를 짝짓는 데서 나타나는 겉보기 16.1%의 이점은, 각 기술자가 기존 관측량에 대해 적합된 의존성을 보존하는 조건부 플라시보와 구분되지 않으며, 보정된 양성 대조는 단순한 비민감성을 가능성이 낮은 설명으로 만든다. 디코더가 추출할 수 있는 정보가 유사성 판단에 필요한 쌍별 기하 구조로 조직되어 있어야 하는 것은 아니다.

원문 초록

Response-relevant information is not sufficient evidence that two neural networks are in the same training state. We define training-state equivalence operationally: two checkpoints are equivalent, relative to an intervention family and horizon, if they respond alike when training is perturbed and continues. On fresh runs of a one-layer transformer learning modular addition, response to a weight-decay pulse is highly reproducible relative to between-checkpoint differences (rho_state = 0.934 at 500 steps), establishing the target as measurable. Fifteen descriptors of weight spectra, representation geometry and optimiser geometry carry within-run response-relevant information beyond weight norm and loss on a development dataset, predicting held-out response deviation across seed blocks. But their apparent 16.1% advantage at matching checkpoints by future response does not separate from a conditional placebo preserving each descriptor's fitted dependence on the conventional observables, and a calibrated positive control makes simple insensitivity an unlikely explanation. Information a decoder can extract need not be organised in the pairwise geometry that similarity judgments require.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23245v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.