PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.27449v1cs.LG

Prism Transformer: 계층적 어텐션 처리를 위한 점진적 헤드 스케줄

Prism Transformer: Progressive Head Schedules for Hierarchical Attention Processing

다중 헤드 어텐션(multi-head attention)은 통상적으로 모든 층에서 모든 헤드에 히든 차원을 균등하게 분할하여, 모델 깊이 전반에 걸쳐 동일한 표현 부분공간 차원(dh = dmodel/h)을 강제한다. 본 연구에서는 이러한 균등 할당이 근본적인 구조적 병목이라는 점을 밝힌다: 제한된 차원 공간으로 인해 초기 층의 헤드는 복잡하고 고차원적인 문맥 패턴을 충실히 포착하지 못한다. 이를 해결하기 위해, 정적이고 균등한 헤드 구성을 점진적 헤드 스케줄로 대체하는 새로운 아키텍처 패러다임인 Prism Transformer를 제안한다. 층을 따라 헤드 수를 단조 증가시킴으로써, Prism Transformer는 자연스럽게 국소-전역 표현 계층을 형성한다: 초기 층은 더 적지만 매우 넓은 헤드로 복잡한 국소 구성(compositional) 패턴을 포착하고, 깊은 층은 많은 좁은 헤드를 배치하여 이러한 패턴을 특화된 언어적 특징으로 분해한다. 핵심적으로, 이러한 구조적 전환은 매개변수 중립적(parameter-neutral)이며 계산 중립적(compute-neutral)이고, 학습 또는 추론 오버헤드를 전혀 추가하지 않으며, 표준 트랜스포머와 동일한 가중치 행렬 및 FLOP 예산을 유지한다. 세 가지 모델 규모(124M, 354M, 757M)에 걸쳐 Prism Transformer는 균등 할당 기준선을 일관되게 능가하며, 검증 손실의 일관된 감소와 함께 다운스트림 제로샷(zero-shot) 벤치마크(PIQA, HellaSwag, ARC-Easy, WinoGrande 포함)에서 일관된 성능 향상을 달성한다. 우리의 발견은 비균등 부분공간 할당이 표준 트랜스포머 예산 내 잠재 용량을 해방하여 모델 용량의 더 효과적인 사용을 가능하게 함을 보여준다.

arXiv:2606.17816v1cs.LG

현대 신경망 아키텍처를 위한 보존 법칙

Conservation Laws for Modern Neural Architectures

경사하강법(gradient descent) 역학을 이해하는 것은 과매개변수화(over-parameterized) 모델의 성공을 설명하는 핵심이며, 여기서 암묵적 편향(implicit bias)은 그래디언트 흐름(gradient flow) 내의 보존 법칙을 통해 나타납니다. 이러한 법칙은 선형 및 렐루(ReLU) 네트워크에 대해서는 잘 이해되어 있으나, 현대 아키텍처에 대해서는 거의 탐구되지 않았습니다. 본 연구는 GELU, SiLU 및 SwiGLU 활성화 함수를 사용하는 피드포워드 네트워크, 사인(sinusoidal) 및 회전(rotary) 위치 인코딩이 적용된 멀티헤드 어텐션(attention), 그리고 다양한 게이팅 설계 하의 전문가 혼합(Mixture-of-Experts) 아키텍처를 포함한 최신 모델에 대한 보존 법칙을 특성화하기 위한 통합 프레임워크를 개발합니다. 우리의 이론적 발견은 예측된 불변량(invariants)을 검증하는 실험을 통해 뒷받침됩니다.