PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.36081v2cs.LG

지속 학습에서 초기 학습이 표현 변화의 후속 방향을 형성하는 방식

Early Learning Shapes Later Directions Of Representation Change In Continual Learning

네트워크가 새로운 태스크를 학습함에 따라 표현(representation)은 지속적으로 변화합니다. 본 연구에서는 초기 표현 변화가 이후의 학습을 지속적으로 형성하는 기하학적 구조를 자연스럽게 형성하는지 질문합니다. 저자들은 초기 표현 드리프트(representation drift)의 저차원 부분공간을 규명하여 이를 비계(scaffold)라 부르고, 이것이 이후 태스크 전반에 걸쳐 재사용되는지 테스트합니다. 네 가지 사전학습(pre-training)된 시각 인코더와 두 개의 데이터셋 전반에서, 후속 표현 변화는 일치하게 설정된 무작위 대조군 부분공간보다 이러한 초기에 정의된 부분공간을 일관되게 선호합니다. 이러한 재사용은 이력 의존적(history-dependent)입니다. 네트워크가 서로 다른 초기 태스크를 거친 후 동일한 후속 학습(training) 입력을 받을 때, 각 네트워크는 자체 학습 이력에 의해 유도된 비계를 우선적으로 재사용합니다. 네트워크의 지배적인 국소 반응 방향이 원래의 비계에서 벗어나더라도, 개별 옵티마이저(optimizer) 업데이트에서도 동일한 선호도가 나타납니다. 마지막으로, 비계 내부에서의 움직임을 제한하면 일치하게 설정된 무작위 제약보다 새로운 태스크 습득이 더 느려지는 반면, 이전 태스크 유지에 미치는 영향은 덜 일관적입니다. 요약하자면, 이러한 결과는 초기 경험이 신경망이 향후 태스크에 적응하는 방식에 지속적인 기하학적 흔적을 남긴다는 점을 시사합니다. 코드는 https://github.com/YuantaoDeng/latent-scaffold 에서 확인할 수 있습니다.