arXiv:2611.24782v1 cs.LG

학습 궤적은 신경망 가중치 공간과 내부 표현에 해독 가능한 흔적을 남긴다

Learning Trajectories Leave Decodable Traces in Neural Network Weight Space and Internal Representations

Patrick Krauss, Achim Schilling, Andreas Maier, Thomas Kinfe, Claus Metzner

제출 2026-11-19

한국어 초록

같은 과제로 학습된 신경망은 서로 관련된 가중치 공간 구조를 형성하면서도 학습 후에도 구별 가능한 상태로 남는다. 이러한 차이는 단지 대안적인 해를 반영하는 것인가, 아니면 개별 학습 이력에 관한 정보를 보존하는가? 우리는 최종 가중치가 초기화, 과제 순서, 이전 궤적 상태를 드러내는지 검증했다. 학습은 앙상블을 재편성하여, 초기의 쌍별 거리가 최종 거리를 일관되게 예측하지는 않았다. 그럼에도 학습된 30개 네트워크 모두가 데이터셋마다 열 개의 후보 중에서 자신의 초기 가중치와 올바르게 짝지어졌다. 초기화를 공유하는 네트워크는 서로 다른 배치 스케줄에 걸쳐서도 알아볼 수 있는 최종 은닉 표현을 형성했으나, 초기 활동과의 직접 비교로는 정체성을 복원하지 못했다. 학습 순서 또한 판독 가능하게 남았다. 선형 프로브는 공통의 최종 과제를 열 에폭 학습한 뒤 보류된 80개 네트워크에서 앞선 두 과제의 순서를 100% 정확도로 해독했다. 앞선 중간 가중치 상태는 부분적으로 예측 가능했지만 개별 초기 가중치는 신뢰성 있게 복원할 수 없었다. 따라서 최종 가중치는 완전한 궤적 기록이 아니라 선택적인 이력 정보를 보유한다. 교란된 네트워크는 교란되지 않은 학습 경로로 돌아가지 않고도 분류 성능을 회복했다. 이러한 분리는 데이터셋, 개입 시점, 네트워크 레이어에 걸쳐 유지되었다. 더욱이 정렬된 종단점 쌍 2,160개 중 2,157개가 표집된 보간 지점에서 양의 손실 장벽을 보이지 않았으며, 이는 하나의 가중치 벡터로의 수렴이 아니라 서로 다른 해 사이의 낮은 손실 연결을 나타낸다. 종합하면 이러한 발견은 공유된 과제가 네트워크를 개별 이력을 지우지 않으면서 서로 관련된 성공적 해로 제약함을 보여준다. 최종 가중치는 네트워크가 무엇을 학습했는지뿐 아니라 학습이 어디서 시작되었고 어떻게 전개되었는지도 반영한다.

원문 초록

Neural networks trained on the same task develop related weight-space structures, yet remain distinguishable after learning. Do these differences merely reflect alternative solutions, or do they preserve information about individual learning histories? We tested whether final weights reveal initialization, task order, and earlier trajectory states. Training reorganized the ensemble: initial pairwise distances did not consistently predict final distances. Nevertheless, all 30 trained networks were correctly matched to their initial weights among ten candidates per dataset. Networks sharing an initialization also developed recognizable final hidden representations across different batch schedules, although direct comparisons with initial activity did not recover identity. Learning order remained readable as well. A linear probe decoded the order of two earlier tasks with 100% accuracy on 80 held-out networks after ten epochs of a common final task. Earlier intermediate weight states were partly predictable, but individual initial weights could not be reliably reconstructed. Final weights thus retain selective historical information rather than a complete trajectory record. Perturbed networks recovered classification performance without returning to their unperturbed training paths. This separation persisted across datasets, intervention times, and network layers. Moreover, 2,157 of 2,160 aligned endpoint pairs showed no positive loss barrier at sampled interpolation points, indicating low-loss connections between distinct solutions rather than convergence to one weight vector. Together, these findings show that a shared task constrains networks to related successful solutions without erasing their individual histories. Final weights reflect not only what a network has learned, but also where learning began and how it unfolded.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24782v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.