제트 생성을 위한 신경망 스케일링 법칙
Neural Scaling Laws for Jet Generation
최근 관측된 경험적 스케일링 법칙(empirical scaling laws)은 세 가지 독립적인 핵심 수치인 데이터셋 크기, 연산량(compute), 모델 파라미터가 변화함에 따라 파운데이션 유형 모델의 성능을 설명합니다. 이러한 스케일링 법칙을 도출하면 전통적인 방식의 하이퍼파라미터 튜닝이 불가능한 대규모 복합 모델의 학습을 가이드할 수 있습니다. 본 연구는 파운데이션 모델의 사전학습 목표이자 그 자체로 현장(in-situ) 시뮬레이션으로서 유의미한 입자 제트(particle jet) 생성 태스크에서도 스케일링 법칙이 관측될 수 있는지 최초로 탐색합니다. 연구진은 모델 크기 스케일링에 대한 핵심적인 로그 스케일링 법칙 동작을 실제로 재현했습니다. 또한 생성 모델의 다음 토큰 예측(next token prediction) 검증 손실을 조사하는 것을 넘어, 학습 중 모델에 즉각적으로 주어지지 않는 다섯 가지 물리량의 슬라이스드 바서슈타인 거리(sliced Wasserstein distance)도 함께 분석했습니다. 연구 결과, 이 거리는 다음 토큰 예측 검증 손실과 단조 관계(monotonic relationship)에 있는 것으로 나타났으며, 이는 해당 손실이 물리적 성능에 대한 훌륭한 대리 지표(proxy)임을 의미합니다. 데이터셋 크기 및 연산량에 따른 스케일링의 경우, 손실과 슬라이스드 바서슈타인 거리 모두에서 스케일링 양상이 실질적으로 더 약하게 나타남을 관측했습니다. 연구진은 '학습 가능한 윈도우(learnable window)' 개념을 도입하여 이러한 양상을 분석하고, 제트 구성 입자에 대한 자기회귀적 다음 토큰 예측이 언어 모델 연구에 비해 상대적으로 빠르게 포화됨을 논증합니다. 마지막으로 양자색역학(QCD) 방사의 확률적 특성과 충돌기 물리학에서의 생성 태스크 및 지도학습 태스크 간 차이점 등을 포함해 이러한 동작의 가능한 원인들을 논의합니다.