PyTorchKR Papers

최신 논문

총 47편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29858v3cs.CL

매끄러운 스케일링 법칙이 단계적 토큰 학습을 감추다

Smooth Scaling Laws Hide Stepwise Token Learning

언어 모델 손실은 모델 및 데이터 크기에 걸쳐 놀라울 정도로 규칙적인 스케일링 법칙을 따르지만, 집계 손실이 왜 거듭제곱 법칙 형태를 나타내는지는 여전히 불분명하다. 기존의 설명들은 이 규칙성을 자연어에서 패턴 난이도의 중꼬리(heavy-tailed) 스펙트럼에 귀인하는 경우가 많지만, 이 견해는 대규모 실제 데이터 학습에서 토큰 수준의 세밀도로 직접 검증된 바 없다. 우리는 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 수준 프레임워크를 제시한다. 토큰 손실 궤적을 시그모이드로 피팅함으로써, 토큰 학습이 국소적 전환에 집중되어 있음을 보이며, 이로부터 스케일링 법칙의 형태를 지배하는 학습 시간 스펙트럼이 도출됨을 확인한다. 현대적인 대규모 언어 모델(LLM) 아키텍처를 사용하여 크고 다양한 실제 언어 코퍼스에서 100회 이상의 사전학습 실행에 걸쳐—최대 60억 개의 파라미터와 3,000억 개의 학습 토큰으로 스케일업—측정된 학습 시간 스펙트럼은 학습 스텝 $T$, 데이터 스케일 $D$, 모델 스케일 $M$ 축을 따른 검증 손실 도함수를 정량적으로 재구성한다. 나아가 동일한 신호가 실행 가능함을 보인다. 토큰이 학습 가능해지는 시점에 따라 학습 분포를 재구성함으로써 최적화 궤적을 변경하고, 검증 손실 감소를 11% 가속화한다. 이러한 결과들은 스케일링 법칙이 주로 토큰 수준 학습 시간의 분포에 의해 지배된다는 직접적인 경험적 증거를 제공하며, 이 분포가 스케일링 동작을 설명하는 데 그치지 않고 학습 성능을 향상시키는 데에도 활용될 수 있음을 보인다.

arXiv:2610.15965v1cs.LG

반복 데이터 사전학습 스케일링: 배치 크기, 정규화 및 GPU-시간 트레이드오프

Scaling Repeated-Data Pretraining: Batch Size, Regularization, and GPU-Time Tradeoffs

본 연구에서는 연산량은 풍부하지만 고유한 학습(training) 데이터가 유한하여 동일한 데이터에 대한 반복 학습이 필요한 환경에서의 사전학습(pre-training)을 다룹니다. 먼저 무한 연산량 사전학습(Kim et al. 2026)을 재검토하여, 그 프론티어가 기존에 고정되었거나 개별적으로만 연구되었던 선택 사항들에 결정적으로 의존함을 보입니다. 특히 에포크(epoch) 수와 함께 배치(batch) 크기를 최적화하면 검증 손실(validation loss)과 배치 크기 사이에 U자형 관계가 나타나 일반적인 사전학습보다 더 작은 배치를 선호하게 됨을 밝히며, 이는 소배치 그래디언트(gradient) 노이즈가 암묵적 정규화(implicit regularization)를 제공하기 때문인 것으로 보입니다. 나아가 기존에 단일 패스 가정 하에서 최적화되었던 학습 레시피를 조정할 수 있음을 확인했습니다. 예를 들어 에포크마다 문서를 새로운 시퀀스로 재패킹하는 것, 가중치 공유(weight tying), 그리고 양의 임베딩 가중치 감쇠(positive embedding weight decay) 등이 있습니다. 이후 무한 연산량 가정을 완화합니다. 특히 일반적인 경우보다 작은 배치 크기는 지나치게 긴 순차적 학습 시간을 요구할 수 있으므로, GPU와 시간을 별개의 자원으로 다루어야 할 필요성이 발생합니다. 마감 기한이 촉박할수록 더 큰 배치가 유리하며, 지연 시간 중심의 병렬 처리를 통해 추가 GPU를 투입하여 학습 시간을 단축할 수 있습니다. 그럼에도 불구하고 고정된 시간 예산 내에서도 더 적은 수의 GPU와 작은 배치를 사용하는 것이 더 많은 GPU와 큰 배치를 사용하는 것보다 더 낮은 검증 손실을 달성할 수 있으며, 이는 마감 기한 내에서 GPU 활용도를 극대화하기 위해 데이터 병렬 처리를 늘리는 일반적인 관행에 도전합니다. 종합적으로 본 연구 결과는 반복 데이터 학습에서 충분히 탐구되지 않았던 요인들을 식별하고, 단일 패스 사전학습 대비 학습 레시피와 자원 할당이 어떻게 변화해야 하는지에 대한 구체적인 지침을 제공합니다.

arXiv:2610.13630v1cs.CL

멀티스트림 어텐션 잔차

Multi-Stream Attention Residuals

어텐션 잔차(Attention Residuals, AttnRes)는 네트워크 깊이(depth) 축을 따라 콘텐츠 종속적(content-dependent) 검색(retrieval)을 가능하게 하며, 이는 깊이 축을 따른 단일 스트림 소프트맥스 어텐션으로 볼 수 있다. 시퀀스(sequence) 축을 따른 멀티헤드 어텐션(multi-head attention)의 성공에서 영감을 받아, 우리는 AttnRes를 멀티헤드 깊이 어텐션(multi-head depth attention)으로 일반화한 확장 기법인 멀티스트림 어텐션 잔차(Multi-Stream Attention Residuals, MSAR)를 제안하며, 이는 최소한의 추가 오버헤드로 상당한 성능 향상을 가져온다. MSAR는 멀티스케일 코잘 컨볼루션(multi-scale causal convolution)을 통해 시퀀스 컨텍스트로부터 스트림 다양성을 이끌어내며, 이를 통해 서로 다른 헤드가 은닉 표현(hidden representation)의 무결성을 유지하면서도 서로 다른 컨텍스트 관점을 통해 과거 표현(historical representation)을 검색할 수 있도록 한다. 검색된 스트림들은 경량의 적응형 믹싱(adaptive mixing)을 통해 결합되어 단일 스트림 층 입력을 생성한다. 단일 스트림 소스를 유지하면서 필요 시 이를 확장함으로써, MSAR는 지속적인 멀티스트림 저장이나 통신 없이도 멀티스트림 연산을 지원한다. 180억(18B) 및 280억(28B) 규모의 MoE(전문가 혼합) 모델에서 수행한 12개의 다운스트림 벤치마크 전반에 걸쳐, MSAR는 표준 잔차 연결(residual connection), 매니폴드 제약 하이퍼커넥션(manifold-constrained Hyper-Connections, mHC), AttnRes를 포함한 기존의 모든 잔차 변형 기법을 일관되게 능가한다. 스케일링 법칙(scaling-law) 실험 결과, 표준 잔차 기준선 대비 동일 손실(iso-loss) 기준 연산 속도 향상이 $1.58\times$로 나타났으며, 이는 AttnRes의 $1.35\times$ 및 mHC의 $1.30\times$와 비교된다. 이러한 결과는 MSAR를 대규모 사전학습을 위한 유망한 잔차 아키텍처로 만든다.

arXiv:2610.11063v1cs.LG

어텐션의 비선형성으로부터 나타나는 창발적 역심도 스케일링

Emergent Inverse-Depth Scaling From Nonlinearity In Attention

스케일링 법칙(scaling laws)은 데이터셋 크기와 매개변수 수에 따라 모델 성능이 멱법칙(power-law)으로 향상됨을 기술하지만, 그 기저의 메커니즘은 완전히 이해되지 않았습니다. 매개변수 수 스케일링을 설명하기 위해 기존 이론은 모델 깊이에 따른 멱법칙 스케일링을 상정합니다. 선형 어텐션 모델에서 이러한 스케일링은 멱법칙 데이터 스펙트럼과 연계됩니다. 즉, 관련된 토큰에 선택적으로 어텐션을 기울이지 못하는 이러한 모델들은 전역 스펙트럼 강도에 따라 학습하며, 더 약한 방향보다 더 강한 방향을 먼저 학습합니다. 그러나 대규모 언어 모델(LLM)은 강한 비선형성을 띨 수 있습니다. 본 연구에서는 비선형 어텐션이 테스트된 모든 데이터 스펙트럼에 걸쳐 손실의 역심도(inverse-depth) 감쇄를 가져옴을 보입니다. 비선형성은 어텐션이 관련된 토큰에 선택적으로 집중할 수 있게 하여 강한 스펙트럼 방향과 약한 스펙트럼 방향이 병렬로 학습되도록 합니다. 여러 층에 걸친 유사한 집중은 중심 극한 정리와의 연관성을 시사합니다. 층 전반에서 공유되는 오차는 손실 정체기(plateau)를 형성하는 반면, 집계는 층별 차이를 깊이에 따른 지속적인 이득으로 변환합니다. 우리의 연구 결과는 깊이 스케일링이 어텐션의 비선형성에서 비롯될 수 있음을 시사하며, 이는 대규모 언어 모델이 국소적으로 집중할 수 있게 하고 전역 공분산 구조의 관련성을 낮출 수 있음을 보여줍니다.

arXiv:2607.22043v2cs.CL

스크래치로부터의 네이티브 멀티모달 사전학습 스케일링

Scaling Native Multimodal Pre-Training From Scratch

대규모 언어 모델(LLM)이 뛰어난 추론 능력을 보여줌에도 불구하고, 텍스트 전용 사전학습에 의존하는 점은 멀티모달 물리적 세계에 대한 인식을 제한합니다. 네이티브 멀티모달 사전학습은 멀티모달 입력을 바탕으로 모델을 스크래치부터 학습(from scratch)함으로써 이러한 한계를 극복하며, 이를 통해 깊은 크로스모달 통합을 달성하고 기존의 후기 융합(late-fusion) 아키텍처에 내재된 최적화 비대칭성을 완화합니다. 이러한 장점에도 불구하고, 이 패러다임의 스케일링(scaling) 특성은 여전히 불완전하게 규명되어 있습니다. 이러한 공백을 해소하기 위해, 본 연구에서는 고정된 계산 예산 하에서 트랜스포머 기반 비전-언어 모델을 학습하기 위한 최적의 모델 크기와 토큰 수를 조사합니다. 연구 결과, 최소 목적 손실은 예측 가능한 연산 법칙을 따르는 반면, 연산 최적의 모델 크기와 토큰 수는 거듭제곱 법칙으로 스케일링됨을 보여줍니다. 특히, 언어 및 멀티모달 목적 함수는 뚜렷이 구분되는 할당 경향을 나타냅니다. 언어 할당 지수는 서로 다른 데이터 혼합 전반에 걸쳐 유사한 범위에 위치합니다. 멀티모달 모델 할당 지수는 멀티모달 토큰 비율에 따라 완만하게 감소하여, 상대적으로 토큰 할당 쪽으로 전환됨을 시사합니다. 또한, 본 스케일링 분석은 예산 보상 규칙을 도출합니다. 구체적으로, 고정된 연산 예산 하에서 네이티브 멀티모달 사전학습에 시각 정보를 통합함으로써 발생하는 텍스트 효율성 저하를 추가적인 멀티모달 토큰 예산으로 상쇄할 수 있습니다. 다운스트림 평가는 네이티브 멀티모달 사전학습이 향상된 공간 추론 및 멀티모달 퓨샷(few-shot) 학습과 연관되어 있음을 추가로 보여줍니다. 전반적으로, 본 실증적 연구는 멀티모달 파운데이션 모델을 예측 가능하게 스케일링하기 위한 필수적인 기반을 마련합니다.

arXiv:2603.11331v4cs.LG

대규모 언어 모델(LLM)을 위한 탈옥(Jailbreak) 스케일링 법칙: 다항-지수 교차

Jailbreak Scaling Laws for Large Language Models: Polynomial-Exponential Crossover

적대적 공격(adversarial attack)은 안전성에 맞춰 정렬된(safety-aligned) 대규모 언어 모델(LLM)을 안전하지 않은 행동으로 안정적으로 유도할 수 있다. 실증적으로, 우리는 적대적 프롬프트 주입(prompt-injection) 공격이 추론(inference) 시점 샘플 수에 따른 공격 성공률의 증가 양상을, 주입이 없을 때 관찰되는 느린 다항적(polynomial) 증가에서 지수적(exponential) 증가로 증폭시킬 수 있음을 발견했다. 우리는 먼저 맥락(context)에 따른 안전한 생성(generation)의 분포에 대한 소수의 가정을 제시함으로써, 이 두 가지 스케일링 법칙이 모두 성립하는 두 레짐(regime)에 대한 최소한의 통계적 메커니즘을 규명한다. 이 현상을 더 설명하기 위해, 우리는 복제 대칭성 깨짐(replica-symmetry-breaking) 영역에서 작동하는 스핀 글래스(spin-glass) 시스템의 관점에서 대리 언어(proxy language)에 대한 이론적 생성 모델(generative model)을 제안하며, 이 모델에서 생성은 연관된 깁스 측도(Gibbs measure)로부터 추출되고 저에너지이면서 크기에 편향된(size-biased) 클러스터의 부분집합이 안전하지 않은 것으로 지정된다. 우리는 이 모델이 앞서의 최소 가정들을 어떻게 자연스럽게 구현하는지 해석적으로(analytically) 보인다. 짧게 주입된 프롬프트(prompt)는 안전하지 않은 클러스터 중심 방향으로 정렬된 약한 자기장(magnetic field)에 대응하며 추론 시점 샘플 수에 따른 공격 성공률의 거듭제곱 법칙(power-law) 스케일링을 낳는 반면, 길게 주입된 프롬프트, 즉 강한 자기장은 지수적 스케일링을 낳는다. 우리는 30억(3B)에서 700억(70B)에 이르는 매개변수(parameter) 규모에 걸친 광범위한 대규모 언어 모델(LLM)들에서 질적으로 일관된 거동을 관찰한다. 특히, 주요 경향은 GCG 및 AutoDAN과 같은 다양한 공격 기법뿐만 아니라 AdvBench 및 HarmBench와 같은 벤치마크(benchmark) 데이터셋(dataset)에서도 안정적으로 유지된다.

arXiv:2605.28940v2hep-ph

제트 생성을 위한 신경망 스케일링 법칙

Neural Scaling Laws for Jet Generation

최근 관측된 경험적 스케일링 법칙(empirical scaling laws)은 세 가지 독립적인 핵심 수치인 데이터셋 크기, 연산량(compute), 모델 파라미터가 변화함에 따라 파운데이션 유형 모델의 성능을 설명합니다. 이러한 스케일링 법칙을 도출하면 전통적인 방식의 하이퍼파라미터 튜닝이 불가능한 대규모 복합 모델의 학습을 가이드할 수 있습니다. 본 연구는 파운데이션 모델의 사전학습 목표이자 그 자체로 현장(in-situ) 시뮬레이션으로서 유의미한 입자 제트(particle jet) 생성 태스크에서도 스케일링 법칙이 관측될 수 있는지 최초로 탐색합니다. 연구진은 모델 크기 스케일링에 대한 핵심적인 로그 스케일링 법칙 동작을 실제로 재현했습니다. 또한 생성 모델의 다음 토큰 예측(next token prediction) 검증 손실을 조사하는 것을 넘어, 학습 중 모델에 즉각적으로 주어지지 않는 다섯 가지 물리량의 슬라이스드 바서슈타인 거리(sliced Wasserstein distance)도 함께 분석했습니다. 연구 결과, 이 거리는 다음 토큰 예측 검증 손실과 단조 관계(monotonic relationship)에 있는 것으로 나타났으며, 이는 해당 손실이 물리적 성능에 대한 훌륭한 대리 지표(proxy)임을 의미합니다. 데이터셋 크기 및 연산량에 따른 스케일링의 경우, 손실과 슬라이스드 바서슈타인 거리 모두에서 스케일링 양상이 실질적으로 더 약하게 나타남을 관측했습니다. 연구진은 '학습 가능한 윈도우(learnable window)' 개념을 도입하여 이러한 양상을 분석하고, 제트 구성 입자에 대한 자기회귀적 다음 토큰 예측이 언어 모델 연구에 비해 상대적으로 빠르게 포화됨을 논증합니다. 마지막으로 양자색역학(QCD) 방사의 확률적 특성과 충돌기 물리학에서의 생성 태스크 및 지도학습 태스크 간 차이점 등을 포함해 이러한 동작의 가능한 원인들을 논의합니다.

arXiv:2510.16320v2cs.CV

딥페이크 탐지를 위한 스케일링 법칙

Scaling Laws for Deepfake Detection

본 논문에서는 딥페이크 탐지 태스크를 위한 스케일링 법칙(scaling laws)에 대한 체계적인 연구를 제시합니다. 구체적으로, 실제 이미지 도메인의 수, 딥페이크 생성 기법의 수, 그리고 학습(training) 이미지의 수에 따른 모델(model) 성능을 분석합니다. 기존 데이터셋(dataset) 중 본 연구의 규모 요구사항을 충족하는 데이터셋이 없기 때문에, 당 분야에서 현재까지 가장 큰 규모인 ScaleDF를 구축했습니다. ScaleDF는 51개의 서로 다른 데이터셋(도메인)에서 수집한 580만 개 이상의 실제 이미지와 102개의 딥페이크 기법으로 생성된 880만 개 이상의 가짜 이미지를 포함합니다. ScaleDF를 사용하여 대규모 언어 모델(LLM)에서 나타나는 것과 유사한 멱법칙 스케일링(power-law scaling)을 관찰했습니다. 특히, 실제 도메인 수나 딥페이크 기법 수가 증가함에 따라 평균 탐지 오류율은 예측 가능한 멱법칙 감소세를 보입니다. 이러한 핵심 관찰 결과는 목표 성능에 도달하는 데 필요한 추가 실제 도메인 수나 딥페이크 기법 수를 예측할 수 있게 해줄 뿐만 아니라, 데이터 중심(data-centric) 방식으로 진화하는 딥페이크 기술에 대응할 수 있는 통찰을 제공합니다. 이에 더해, 스케일링 환경 하의 딥페이크 탐지에서 사전학습(pre-training)과 데이터 증강(data augmentations)의 역할 및 스케일링 자체의 한계점을 조사합니다. ScaleDF 데이터셋은 https://huggingface.co/datasets/WenhaoWang/ScaleDF 에서 이용할 수 있습니다.

arXiv:2610.02462v1cs.LG

LLM 압축을 위한 능력 축소 스케일링 법칙

Capability Scaling-Down Laws for LLM Compression

LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.

arXiv:2508.13408v3cs.LG

화학 언어 모델의 스케일링 한계에 대한 대규모 연구

A Large Scale Investigation of Scaling Limits in Chemical Language Models

화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.

arXiv:2609.27964v1cs.LG

선형 RNN 스케일링 법칙: 더 긴 시퀀스가 더 많은 시퀀스를 이기는 경우

Linear RNN Scaling Laws: When Longer Sequences Beat More Sequences

자기회귀 언어 모델에 대한 경험적 스케일링 법칙은 예측 손실을 모델 크기, 데이터 크기, 최적화 연산량과 연관 짓지만, 순차적 사전학습 설정에서 그 이론적 기원은 여전히 잘 이해되지 않는다. 우리는 안정적인 잠재 선형 RNN이 궤적을 생성하고, 스케치된 선형 순환 학생 모델이 next-token prediction에 대해 safeguarded full-batch WSD 경사하강법으로 학습되는 다루기 쉬운 teacher-student 모델에서 이 질문을 연구한다. 스케치 차원 $M$은 모델 크기의 역할을 하고, 길이 $P$인 $N$개의 독립 궤적이 학습 토큰을 제공한다. innovation과 초기화 공분산이 서로 다른 멱법칙 지수 $\alpha$와 $\theta$를 갖도록 허용한다. 유도된 design spectrum은 spectral crossover로 구분되는 명시적 근사, 최적화, 통계적 스케일링 법칙을 만든다. $\theta\ge\alpha$일 때, 원래의 단일 스케일 비율 $M^{1-\beta_\alpha}$, $R^{(1-\beta_\alpha)/\alpha}$, $(NP)^{-1}\min\{M,R^{1/\alpha}\}$이 복원된다. $\alpha-2r\le\theta<\alpha$일 때, 더 무거운 초기화 꼬리가 $P$에 의존하는 모델 및 최적화 crossover를 넘어서는 비율을 바꾼다. 증명은 공분산 사건만 내부적으로 사용하고, 그 여집합 위에서는 전역적으로 safeguarded step size를 사용한다. 분산은 $(NP)^{-1}$ 인자를 유지하지만, 시퀀스 길이 또한 초기화 과도(transient)를 억제하므로, 이중 스케일 영역에서는 $N$과 $P$가 더 이상 완전히 상호 교환 가능하지 않다.

arXiv:2609.27588v1cs.LG

역량 다양체와 ML 스케일링 법칙

The Capability Manifold and ML Scaling Laws

기존 머신러닝(ML) 스케일링 법칙은 예측 손실을 연산량, 모델 파라미터, 데이터에 연관 짓는다. 그러나 모델이 에이전트(agentic) 하네스를 통해 점점 더 배포됨에 따라, 손실만으로는 다운스트림 성능을 특성화하기에 불충분하다. 유사한 손실을 가진 모델이 추론, 검색(retrieval), 계획(planning), 적응(adaptation)에서 서로 다른 역량을 보일 수 있다. 아직도 이러한 역량을 ML 수명 주기 전반에 걸쳐 이용 가능한 결합된 자원과 연결하는 통일된 프레임워크는 없다. 이 간극을 메우기 위해 우리는 역량 다양체(capability manifold)를 도입한다. 이는 경계가 있는 스케일링 함수를 통해 다운스트림 역량을 사전학습, 사후 학습, 테스트 시점 자원에 매핑하는 다차원 프레임워크이다. 해석적 야코비안(Jacobians)은 자원 변화 및 상호작용에 대한 역량 민감도를 정량화한다. 초기 적용으로, 우리는 Kaplan형 및 Chinchilla형 스케일링 법칙과 테스트 시점 연산(test-time compute)을 프레임워크 내에 내장하여, 기존 스케일링 관계가 공통 역량 다양체 상의 궤적으로 통합될 수 있음을 보여준다.

arXiv:2609.27232v1cs.LG

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

arXiv:2609.27166v1cs.LG

대규모 추론 모델에서 추론 시점 역량과 효율성의 스케일링

Scaling of Capability and Efficiency at Inference Time in Large Reasoning Models

역량과 효율성은 대규모 언어 모델(LLM)에서 추론의 두 가지 핵심 차원이다. 역량은 주어진 문제를 올바르게 풀 능력을, 효율성은 제한된 자원으로 그렇게 할 수 있는 능력을 가리킨다. LLM이 사고의 연쇄(Chain-of-Thought, CoT) 추론을 사용해 난이도가 통제된 문제를 풀 때, 올바르게 풀린 문제 수와 정답에 도달하는 데 필요한 토큰(token) 수는 모두 문제 난이도와 모델(model) 크기에 따라 달라진다. 그러나 이러한 요인들이 역량과 효율성을 어떻게 공동으로 형성하는지는 여전히 잘 이해되지 않았다. 본 연구에서는 계층 베이지안(hierarchical Bayesian) 모델을 사용해 DeepSeek-R1-Distill 모델 계열의 LLM에 대해 산술 및 알고리즘 추론 문제 네 클래스 전반에서 역량과 효율성을 평가한다. 고정된 모델 크기에서, 사례를 올바르게 풀 확률은 문제 난이도의 대리 변수인 사례 크기에 대해 대략 지수적으로 감쇠한다. 감쇠 스케일은 모델 크기에 대해 아선형(sublinearly)으로 증가하며, 이는 더 큰 모델이 더 역량이 높지만 역량 향상이 스케일(scale)에 따라 수확 체감(diminishing returns)을 보임을 나타낸다. 출력 길이는 난이도의 대리 변수인 사례 크기에 대해 거듭제곱 법칙(power law)으로 증가한다. 그러나 이 거듭제곱 법칙의 매개변수는 모델 크기에 따라 체계적으로 변하지 않으며, 이는 더 큰 모델이 더 효율적이 되지 않음을 시사한다. 종합하면, 이러한 결과는 더 역량 있는 AI 시스템을 개발하기 위한 전략으로서 순진한 스케일링(naive scaling)의 잠재적 한계를 드러낸다: 역량은 수확 체감과 함께 개선되지만, 효율성은 거의 또는 전혀 개선되지 않는다.

arXiv:2607.01311v2cs.LG

From Approximation to Emergence: A Theory of Deep Learning

Deep learning has outgrown any single mathematical explanation. From Approximation to Emergence develops a unified, proof-oriented account of modern deep learning theory, tracing a path from the classical foundations of approximation, optimization, and generalization to the contemporary mechanisms of overparameterization, robustness, generative modeling, transformers, in-context learning, scaling laws, interpretability, alignment, and emergence. Rather than presenting isolated results, the book organizes a broad literature into a coherent research narrative: each theory is examined through the object it controls, the assumptions that make it valid, and the phenomena it leaves unexplained. Written for researchers, graduate students, and mathematically trained practitioners, this monograph offers a rigorous map of deep learning theory as it stands today: powerful, incomplete, and increasingly centered on the question of how learned mechanisms arise from scale, data, architecture, and training.

arXiv:2607.02464v2cs.CL

Will Scaling Improve Social Simulation with LLMs?

스케일링 법칙(scaling laws)을 활용해 LLM의 컴퓨팅 규모와 사회 시뮬레이션 충실도 간의 관계를 의견 모델링, 행동 시뮬레이션, 종단 예측 세 영역에서 체계적으로 분석한 연구로, 85개 Qwen3 기반 모델과 35개 오픈 웨이트 모델 실험을 통해 대부분의 시뮬레이션 과제는 스케일 확대 시 성능이 향상되지만, 위험 회피 같은 인지 편향 보정이나 저자원 집단의 종단 예측 등 일부 과제는 스케일링으로 개선되지 않음을 밝혔다.

arXiv:2607.23050v1cs.LG

Transformer의 엔트로픽 경계: 정적 rank가 실패하는 이유와 어텐션 고유 rank의 회복

The Entropic Bound for Transformers: Why Static Rank Fails and Attention-Native Rank Recovers

신경 스케일링 법칙은 모델, 데이터, 연산량이 증가함에 따라 손실이 어떻게 감소하는지를 설명하지만, 그보다 선행하는 질문에는 답하지 못한다: 고정된 과제에 대해 이를 해결하는 데 필요한 최소 모델 용량은 얼마인가? 우리는 Transformer에 대한 과제 고유 용량의 스펙트럴 개념인 엔트로픽 경계(Entropic Bound)를 통해 이를 연구한다. 먼저 선형 어텐션 대리 모델에서 토큰 혼합 연산자의 고유 rank $r^*$가 tight 하한이라는 것을 증명한다: rank가 부족한 모든 모델은 피할 수 없는 과잉 위험(excess risk)을 초래하며, 이 경계는 $r^*$에서 달성 가능하다. 또한 표준적인 저rank 암시적 바이어스 가정 하에서 경사하강법이 이 rank를 회복함을 보이고, 세 가지 성질 모두를 실험적으로 확인하며, $r^*$가 학습 전에 데이터로부터 회복 가능함을 보인다. 그런 다음 이것이 실제 어텐션으로 이전되는지 묻는다. 단순한 이전은 실패하며, 통제된 보간 사다리(interpolation ladder)가 원인을 정확히 국한한다: 소프트맥스도 아니고 rank 제약도 아니라, 정적 가중치 커널이 요약할 수 없는 어텐션 혼합 연산자의 입력 조건부(input-conditioned) 특성이다. 이에 영감을 받아 어텐션 고유 rank(attention-native intrinsic rank)—어텐션 클래스 내에서 과제를 실현하는 최소 query-key 커널 rank—를 도입하고, 이 정의 하에서 선형 및 소프트맥스 어텐션 모두에 대해 엔트로픽 경계의 전체 구조(결함, 달성 가능성, 회복)가 복원됨을 보이며, 에너지 유효 rank(energy effective rank)가 소프트맥스 왜곡에 강건한 추정량임을 보인다. 마지막으로 데이터만으로 예측 가능한 영역의 경계를 매핑한다: $r^*$는 대규모에서 value map 없이도 선형 QK 어텐션에 대해 정확히 회복 가능한 반면, 소프트맥스 어텐션은 비선형 역변환과 커널-값 식별 가능성(identifiability) 효과로 인해 부분적인 사전학습 회복만 허용한다. 우리의 결과는 엔트로픽 경계를 사후 기술자(post-hoc descriptor)에서 예측 가능성 경계가 정밀하게 특성화된 어텐션 고유 용량 측정치로 재구성한다.

arXiv:2607.22769v1cs.LG

DomainPilot: 효율적인 언어 모델 미세조정을 위한 도메인 수준 손실 기반 2단계 데이터 혼합 최적화

DomainPilot: Domain-Level Loss-Guided Two-Stage Data Mixture Optimization for Efficient Language Model Fine-Tuning

대규모 언어 모델(LLM)의 학습 효과는 근본적으로 학습 데이터의 품질과 구성에 의해 제한된다. 기존 동적 데이터 스케줄링 방법은 산업 규모의 사전학습 및 지도 미세조정(SFT)에서 중요한 한계에 직면한다: 데이터 선택은 테라바이트급 코퍼스에서 감당하기 어려운 O(N) 비용을 발생시키고, 혼합 최적화 방식은 심각한 I/O 병목을 유발하거나 보조 참조 모델의 학습을 요구하며, 샘플 수준 재가중 전략은 노이즈, 난이도, 신규성을 혼동하는 손실 신호에 의존한다. 본 논문은 도메인 수준 손실 기반 2단계 데이터 혼합 최적화 프레임워크인 DomainPilot을 제안한다. DomainPilot은 데이터 파이프라인을 중단하지 않고 학습 중 도메인별 학습 역학을 포착하기 위해 토큰 수준 도메인 손실 모니터링을 도입한다. 이러한 신호를 바탕으로, 도메인별 수렴 곡선을 적합하고 혼합 조정을 위한 원칙적 사전 분포를 도출하는 Scaling Law 기반 거친(coarse) 최적화 단계를 제안한다. 이후 Mixing Law 기반 정밀(fine) 최적화 단계에서는 통제된 스윕(sweep) 실험을 통해 도메인 간 상호작용 효과를 모델링하여 혼합을 정제한다. 전체 메커니즘은 패치 기반 아키텍처를 통해 구현되며, 기존 학습 프레임워크(예: MindSpeed/Megatron-LM)에 도메인 인식 손실 계산을 주입하며, 프레임워크별 어댑터 코드는 약 30줄에 불과하다. DomainPilot을 Qwen3-1.7B 모델의 SFT 과정에서 검증하였다. 기존 데이터 혼합과 비교할 때, 최적화된 혼합은 총 데이터량이나 학습 비용을 늘리지 않으면서 MMLU-Redux에서 +2%, AIME24에서 +1.8%, LiveCodeBench v5에서 +3.8%, BFCL v3에서 +3.6%의 향상을 달성한다. 이러한 결과는 도메인 수준 학습 신호가 혼합 최적화를 위해 값비싼 데이터 선택이나 보조 모델 학습에 대한 효과적이고 경량의 대안을 제공함을 보여준다.

arXiv:2607.22577v1cs.AI

cMoLLM at Scale: Mixture-of-LLMs의 수평적 스케일링 법칙

cMoLLM at Scale: Horizontal Scaling Laws for Mixture-of-LLMs

대규모 언어 모델(LLM)의 스케일링은 그들의 성공을 이끌어 왔지만, dense Transformer는 용량과 연산을 결합한다. 모든 매개변수가 모든 토큰에 대해 활성화되므로, 모델 크기에 따라 학습 및 추론 비용이 선형적으로 증가하며, 모델이 조(兆) 매개변수 규모에 접근할수록 이는 중요한 병목이 된다. 우리는 FFN에만 적용하는 것이 아니라 LLM 파이프라인 전반에 걸친 MoE 스타일 혼합을 통해 용량을 확장하는 것을 목표로 한다. 기존 파이프라인 수준 접근법으로는 ParaScale이 있는데, 이는 가상 토큰과 병렬 스트림을 도입하지만 상당한 오버헤드를 발생시키고 동질화된 라우팅과 그래디언트 붕괴 문제를 겪으며, AltUp은 보조 예측 분기를 사용하지만 제한적인 적응성과 느린 수렴을 보인다. 우리는 MoE 스타일 혼합 레이어가 가변 커널 동적 합성곱으로 재공식화될 수 있음을 보인다. 여기서 각 expert는 $1{\times}1$ 합성곱 커널에 대응하고, 라우팅은 입력 조건부 커널 집계를 구현한다. 이 등가성을 바탕으로, 우리는 cMoLLM을 제안한다. 이는 완전히 미분 가능한 동적 합성곱을 통해 end-to-end 스트림 전반에 라우팅하는 합성곱 게이팅 Mixture-of-LLMs이다. FineWeb에서 학습한 GPT-2 스타일 모델에서 cMoLLM은 동일 연산량 하에서 언어 모델링 perplexity와 다운스트림 GLUE 및 SQuAD 정확도를 개선하며, ParaScale 및 AltUp 스타일 기준선 대비 더 나은 스트림 활용, 더 안정적인 최적화, 유리한 스케일링을 보인다.

arXiv:2607.14530v1cs.LG

xHC: Expanded Hyper-Connections

xHC: Expanded Hyper-Connections

Hyper-Connections(HC)는 Transformer의 잔차 스트림(residual stream)을 $N$개의 병렬 스트림으로 확장하여, 모델 폭(width)과 깊이(depth)를 넘어서는 일종의 메모리 스케일링을 제공한다. Manifold-Constrained HC(mHC)는 대규모에서 이 공식화를 안정화한다. $N{=}1$에서 $N{=}4$까지의 큰 성능 이득은 잔차 스트림 확장이 유망한 스케일링 축임을 시사한다. 그러나 기존 HC 계열 방법은 일반적으로 $N{=}4$에서 멈춘다. 우리의 실험은 그 이유를 밝힌다: 이 지점을 넘어 mHC를 스케일링하면 성능 향상은 체감되고 학습 비용은 급격히 증가한다. 우리는 이 한계를 두 가지 병목에 기인한다고 본다: 늘어나는 스트림 수에 대한 불충분한 write-back 정보, 그리고 $N$에 대해 세제곱으로 스케일링되는 잔차 혼합(residual-mixing) 생성 비용. 두 병목을 해결하기 위해, 우리는 $N{=}4$를 넘어 의미 있는 확장을 최초로 달성한 HC 계열 방법인 xHC(Expanded Hyper-Connections)를 제안한다. xHC는 더 풍부한 write-back을 위한 시간적 특징 증강(temporal feature augmentation)과, 전체 잔차 상태에 대한 dense access를 유지하면서 $N=16$개 스트림 중 $k=4$개만 갱신하는 sparse 잔차 스트림 아키텍처를 결합한다. 18B 및 28B 전문가 혼합(MoE) 모델에서 xHC는 강력하고 일관된 다운스트림 성능 향상을 제공한다. 18B MoE 모델에서 xHC는 mHC 대비 평균 다운스트림 점수를 4.0점 향상시키며, vanilla 기준선 대비 학습 FLOPs는 소폭만 증가한다. 스케일링 법칙 실험은 vanilla와 mHC가 동일한 손실에 도달하기 위해 각각 xHC 대비 $1.50\times$, $1.19\times$의 연산량을 필요로 함을 보여준다. 실용적인 large-$N$ 학습에서는 확장된 잔차 상태에서 발생하는 메모리 트래픽 제어도 필요하다. 따라서 우리는 xHC-Flash를 도입한다. 이는 서브레이어당 메모리 트래픽을 $73.5C$에서 $40C$로 줄여, $N{=}4$에서 mHC가 요구하는 $34C$와 비슷한 수준이면서도 full xHC의 이득을 유지한다. xHC와 xHC-Flash는 함께 large-$N$ 잔차 스트림 확장을 LLM 사전학습에 효과적이고 실용적으로 만든다.