PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.20269v3cs.LG

배치는 자유롭고 구성은 그렇지 않다: 이종 시퀀스 믹서 스택을 위해 증명 가능하게 균형 잡힌 구조로서의 라틴 방진

Placement Is Free, Composition Is Not: The Latin Square as a Provably-Balanced Construction for Heterogeneous Sequence-Mixer Stacks

GPT 이후 대부분의 트랜스포머(Transformer)는 모든 층(layer)에서 동일한 어텐션(attention) 메커니즘을 반복해 왔습니다. 그러나 이러한 설계는 검증된 결론이라기보다는 대체로 관례에 가깝습니다. 하나의 스택에 여러 시퀀스 믹서가 결합될 때 성능 향상은 메커니즘의 선택, 배치, 또는 둘 모두에서 비롯될 수 있어 인과적 귀인이 어렵습니다. 본 논문에서는 7개의 시퀀스 혼합 메커니즘을 $7\times7$ 라틴 방진(Latin square) 형태로 배치한 49개 층으로 구성된 65.9억 개 매개변수(parameter) 규모의 전문가 혼합(MoE) 모델(활성 매개변수 약 29.8억 개)인 Aether-7B-5Attn을 소개합니다. 각 메커니즘이 모든 행과 열에 정확히 한 번씩 나타나기 때문에, 이 설계는 깊이 전반에 걸쳐 균형 잡힌 노출을 보장하는 동시에 배치로 인한 교란 요인을 제거합니다. 이 원리를 평가하기 위해, 우리는 4개의 메커니즘을 16개 층에 걸쳐 $4\times4$ 라틴 방진으로 배치하고 7억 90만 개의 매개변수로 맞추었으며 실험군(arm)당 8개의 시드로 학습(training)한 매개변수 일치 프록시를 구축했습니다. 실험 결과는 명확한 분리를 보여줍니다. 분산된 이종 스택을 균형 잡힌 주기적 순환으로 재배치하더라도 검증(validation) 손실(loss)은 단 0.16%만 변하여, 정확한 배치는 거의 영향을 미치지 않음을 나타냅니다. 반면, 동일한 메커니즘들을 연속된 깊이 대역으로 클러스터링하면 0.59%의 페널티가 발생하며, 이종 스택을 동종 스택으로 교체하면 1.68%의 페널티가 발생합니다. 이러한 결과는 성능이 특정한 순열보다는 주로 깊이 전반에 분산된 이종 구성에 의존함을 시사합니다. 우리는 동종 스택 페널티가 2.63%로 증가하고 SSM 계열 메커니즘을 제거할 때 3.20%의 성능 저하가 발생하는 2.16배 더 큰 규모(15.14억 개 매개변수)에서 이 발견을 재확인했습니다. 나아가 각 메커니즘별 비용 프로파일, 영어 및 한국어 평가, 49개 전 층에 대한 인과적 안전성(safety) 감사 결과를 보고합니다. 본 연구에서는 모델 가중치, 학습 레시피, 학습 코드, 로그 및 아키텍처 소스 코드를 공개합니다.