Parameter Golf는 학습 코드와 압축 가중치를 합쳐 16 MB 이내로 유지하면서 8×H100 GPU로 10분 안에 학습을 완료하는 조건 하에 언어 모델의 성능을 극대화하는 공개 커뮤니티 챌린지로, 2,037개의 풀 리퀘스트와 1,430개의 제출물을 분석하여 84가지 최적화 기법의 bits-per-byte(BPB) 기여도를 측정했다. 세 단계에 걸쳐 BPB가 1.2244에서 1.058로 13.6% 감소했으며, 경쟁적 스택에서도 일관된 성능 향상을 유지하는 기법은 n-gram 블렌딩 등 극소수에 불과함을 밝혀냈다.
에지 및 온디바이스 배포와 같이 메모리가 제한된 환경을 위해, Transformer 레이어를 begin/middle/end 블록으로 나누고 middle 블록만 반복 적용하는 루프드 Transformer에 hyper-connection을 결합한 Hyperloop Transformer 아키텍처를 제안한다. 240M, 1B, 2B 파라미터 규모에서 depth-matched 기존 Transformer 대비 약 50% 적은 파라미터로 동등한 성능을 달성하며, 사후학습 양자화(post-training quantization) 후에도 성능이 유지된다.
대규모 언어 모델은 언어 및 멀티모달 AI 분야의 최근 발전을 이끌어 왔지만, 대규모 사전학습은 비용이 지나치게 높다. 각 가중치 행렬을 랭크-r 분해로 인수분해하여 매개변수 수와 FLOPs를 동시에 줄이는 저랭크 사전학습은 유망한 접근법이지만, 일반적으로 풀랭크 학습에 비해 품질이 떨어진다. 우리는 저랭크 사전학습을 위한 학습 전용·매개변수 불추가·폴딩 가능한 플러그인인 Duplicated Latent Residual(DLR)을 제안한다. DLR은 표준 저랭크 출력 Bz에 고정된 구조적 잔차 alpha/sqrt(K) * Expand_K(z)를 추가하며, 이는 각 잠재 좌표를 출력 전체에 걸쳐 K = ceil(d_out/r)회 복제한다. alpha를 고정하면 DLR은 층당 학습 가능한 매개변수를 전혀 추가하지 않으며, 학습 후에는 B* = B + alpha/sqrt(K) R^T 형태로 업프로젝션에 닫힌 형식으로 흡수되므로, 배포 시 매개변수 수·FLOPs·메모리가 기반 저랭크 백본과 완전히 동일하다. 60M에서 7B 매개변수 규모의 LLaMA 모델 전반에 걸쳐, DLR은 C4 검증 퍼플렉서티 기준 대부분의 설정에서 저랭크 사전학습 성능을 향상시키며, 130M 이상에서 가장 뚜렷한 개선을 보인다. 폴딩된 체크포인트는 표준 벤치마크의 지도 미세조정에도 깔끔하게 전이된다.