PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.11063v1cs.LG

어텐션의 비선형성으로부터 나타나는 창발적 역심도 스케일링

Emergent Inverse-Depth Scaling From Nonlinearity In Attention

스케일링 법칙(scaling laws)은 데이터셋 크기와 매개변수 수에 따라 모델 성능이 멱법칙(power-law)으로 향상됨을 기술하지만, 그 기저의 메커니즘은 완전히 이해되지 않았습니다. 매개변수 수 스케일링을 설명하기 위해 기존 이론은 모델 깊이에 따른 멱법칙 스케일링을 상정합니다. 선형 어텐션 모델에서 이러한 스케일링은 멱법칙 데이터 스펙트럼과 연계됩니다. 즉, 관련된 토큰에 선택적으로 어텐션을 기울이지 못하는 이러한 모델들은 전역 스펙트럼 강도에 따라 학습하며, 더 약한 방향보다 더 강한 방향을 먼저 학습합니다. 그러나 대규모 언어 모델(LLM)은 강한 비선형성을 띨 수 있습니다. 본 연구에서는 비선형 어텐션이 테스트된 모든 데이터 스펙트럼에 걸쳐 손실의 역심도(inverse-depth) 감쇄를 가져옴을 보입니다. 비선형성은 어텐션이 관련된 토큰에 선택적으로 집중할 수 있게 하여 강한 스펙트럼 방향과 약한 스펙트럼 방향이 병렬로 학습되도록 합니다. 여러 층에 걸친 유사한 집중은 중심 극한 정리와의 연관성을 시사합니다. 층 전반에서 공유되는 오차는 손실 정체기(plateau)를 형성하는 반면, 집계는 층별 차이를 깊이에 따른 지속적인 이득으로 변환합니다. 우리의 연구 결과는 깊이 스케일링이 어텐션의 비선형성에서 비롯될 수 있음을 시사하며, 이는 대규모 언어 모델이 국소적으로 집중할 수 있게 하고 전역 공분산 구조의 관련성을 낮출 수 있음을 보여줍니다.