PyTorchKR Papers

최신 논문

총 8편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.06892v3cs.LG

GRASP: 확장 가능한 사전학습 데이터 기여도 분석을 위한 기하학 인지 잔차 정렬

GRASP: Geometry-aware Residual Alignment for Scalable Pretraining Data Attribution

확장 가능한 데이터 기여도 분석(data attribution) 방법들은 일반적으로 개별 학습 예제에 독립적인 효용 점수를 부여합니다. 이처럼 널리 쓰이는 가법성 가정은 데이터 중복성과 상호 보완적 커버리지를 포함한 핵심적인 부분집합 역학을 근본적으로 포착하지 못합니다. 본 연구에서는 기여도 분석을 부분집합 수준의 반사실적(counterfactual) 효용 예측 문제로 재정의하고, 상호작용을 고려하는 대리 모델인 GRASP를 제안합니다. 이론적인 평활도 하한에 기반한 GRASP는 2차 기하학적 페널티를 통해 부분집합 간 상호작용을 명시적으로 모델링합니다. 숨겨진 오라클 튜닝에 의존하지 않고 사전학습 규모의 효율성을 달성하기 위해, 저차원 특징 스케치와 엄격하게 유한한 하한 신뢰 한계(LCB) 선택 프로토콜을 결합합니다. 광범위한 부분집합 재학습 평가를 통해 GRASP가 기존의 확장 가능한 베이스라인 모델들을 압도적으로 능가함을 입증합니다. GRASP는 사전 산출물 구축 비용을 약 10분의 1 수준으로 줄이면서도, 반사실적 부분집합 충실도에 대한 태스크 수준 순위 상관관계를 2배 이상 끌어올립니다. 나아가 다운스트림 진단을 통해 이러한 점수 측정 메커니즘이 언어 모델 큐레이션 및 교차 도메인 비전 데이터 선택으로도 전이됨을 보여주며, 대규모 사전학습 말뭉치를 최적화하기 위한 탄탄한 토대를 마련합니다.

arXiv:2609.27925v1cs.CL

듣지 말아야 할 때를 학습하기: 언어 모델을 위한 선택적 간섭 방지 사전학습

Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models

언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.

arXiv:2506.11389v5cs.CL

언어 모델 사전학습을 위한 커리큘럼 기반 층 스케일링

Curriculum-Guided Layer Scaling for Language Model Pretraining

대규모 언어 모델(LLM)의 사전학습 비용이 증가함에 따라, 이 핵심 학습 단계에서 학습 효율을 개선하는 전략에 대한 지속적인 관심이 높아지고 있다. 인간이 뇌가 성숙함에 따라 점진적으로 지식을 쌓아가는 인지 발달에서 영감을 받아, 우리는 학습 중 층을 점차 추가하는 점진적 층 쌓기(progressive layer stacking)를 통해 데이터 난이도 증가와 모델 성장을 동기화하는 연산 효율적인 사전학습 프레임워크인 커리큘럼 기반 층 스케일링(CGLS, Curriculum-Guided Layer Scaling)을 제안한다. 1억(100M) 매개변수 규모에서, 합성 단편 소설에서 일반 웹 데이터로 전환되는 커리큘럼을 사용하여 CGLS는 질의응답 벤치마크 PIQA와 ARC에서 기준선 방법을 능가한다. 12억(1.2B) 규모에서 사전학습 시, DistilBERT 기반 분류기로 DataComp-LM 코퍼스를 계층화하고 일반 텍스트에서 고도로 기술적이거나 전문화된 콘텐츠로 점진적으로 진행한다. 우리의 결과는 샘플 난이도와 함께 모델 깊이를 점진적으로 증가시키면 다양한 다운스트림 벤치마크에서 더 나은 일반화 및 제로샷(zero-shot) 성능으로 이어짐을 보여준다. 종합적으로, 우리의 연구 결과는 CGLS가 점진적 스태킹의 잠재력을 발휘하게 하며, 지식 집약적 및 추론 태스크에서 일반화를 개선하기 위한 간단하면서도 효과적인 전략을 제공함을 보여준다.

arXiv:2607.20548v1cs.LG

SOAP, Muon, 그리고 그 너머: LLM 사전학습 규모 확장

SOAP, Muon, and Beyond: Pushing LLM Pretraining Scales

Muon과 SOAP 같은 고차 옵티마이저는 AdamW보다 더 빠른 수렴을 제공하지만, 계산 비용과 수치적 안정성 문제로 인해 대규모에서의 채택이 제한되어 왔다. 본 연구에서는 대규모 LLM 사전학습의 실질적 과제를 극복하기 위해 전처리(preconditioned) 그래디언트 방법을 적용하고 개선한다. 먼저 대규모 배치에서 SOAP의 불안정성을 확인하고, 단계별 QR 직교화(per-step QR orthogonalization) 및 개선된 전처리(preconditioning) 전략 등 알고리즘적 수정을 제안하여 손실 급등을 제거하고 해당 영역에서 안정적인 학습을 가능하게 한다. 이어서 옵티마이저 간 공정한 학습률 전이를 보장하기 위해 update-RMS matching을 사용하여 SOAP, Muon, AdamW에 대한 통합 실증 연구를 제시한다. 이 분석의 일환으로 Muon의 직교화(orthogonalization) 품질을 실증적으로 평가한다. 수조 토큰으로 학습된 수십억 매개변수 규모 모델에 대한 실험 결과, 테스트한 규모에서 SOAP과 Muon이 AdamW보다 지속적으로 우수한 성능을 보인다. 특히 다음 토큰 예측(next-token prediction)에서 최대 1억 토큰 배치 크기까지, 이들 옵티마이저는 학습 안정성과 품질을 유지하는 반면 AdamW는 성능이 저하된다. 대규모에서 효율적인 학습을 위해 Megatron-LM과 호환되는 층별(layer-wise) 분산 옵티마이저를 도입한다. 우리 구현은 메모리를 균형 있게 사용하고 통신을 숨기면서, 옵티마이저 계산에 대한 근사를 피하여 수렴 이점을 유지한다. 또한 층별 구현을 더욱 가속하기 위한 특정 시스템 수준 개선 사항을 확인하고 구현한다. 연구 커뮤니티를 지원하기 위해 최적화를 위한 신흥 알고리즘을 포함한 코드베이스를 공개한다: https://github.com/NVIDIA-NeMo/Emerging-Optimizers

arXiv:2602.12429v2cs.LG

네이티브 저랭크 LLM 사전학습 안정화

Stabilizing Native Low-Rank LLM Pretraining

파운데이션 모델은 눈에 띄는 성공을 거두었지만, 매개변수 수가 증가하면서 상당한 계산 및 메모리 난제를 야기하고 있다. 저랭크 분해는 학습과 추론 비용을 줄이는 유망한 접근을 제공하지만, 커뮤니티는 밀집(dense) 모델의 성능에 맞추면서 오직 저랭크 가중치만을 사용해 처음부터 모델을 학습하는 안정적인 방법을 갖추지 못하고 있다. 우리는 대규모 언어 모델(LLM)이 이전 방법들이 요구했던 보조적인 "풀랭크" 지도 없이도, 임베딩이 아닌 모든 행렬에 대해 오직 저랭크 분해 가중치만을 사용하여 처음부터 학습될 수 있음을 보여준다. 네이티브 저랭크 학습은 종종 불안정성과 손실 급등을 겪지만, 우리는 가중치 행렬 업데이트의 스펙트럴 노름(최대 특이값)의 통제되지 않은 증가가 주요 요인임을 확인한다. 이를 해결하기 위해, 우리는 Spectron: 직교화를 통한 스펙트럴 재정규화(Spectral renormalization with orthogonalization)를 제안한다. 이 방법은 요인들의 현재 스펙트럴 노름에 기반하여 결과 가중치 업데이트를 동적으로 한계한다. 우리 방법은 무시할 수 있는 오버헤드로 안정적인 end-to-end 분해 학습을 가능하게 한다. 마지막으로, 우리는 네이티브 저랭크 트랜스포머에 대한 계산 최적(compute-optimal) 스케일링 법칙을 확립하고, 예측 가능한 멱법칙(power-law) 거동과 밀집 모델 대비 향상된 추론 효율을 입증한다.

arXiv:2607.11052v1cs.LG

Domain-Aware Scaling Laws Uncover Data Synergy

Machine learning progress is often attributed to scaling model size and dataset volume, yet the composition of data can be just as consequential. Empirical findings repeatedly show that combining datasets from different domains yields nontrivial interactions. For instance, adding code improves mathematical reasoning, while certain mixtures introduce interference that reduces model performance. We refer to these effects collectively as data synergy, where the contribution of multiple domains exceeds or falls short of the sum of their isolated contributions. In this work, we formalize and quantify data synergy in language model pretraining. Leveraging observational variation across open-weight LLMs with diverse pretraining mixtures, we estimate both direct domain-to-benchmark synergy (how one domain contributes to performance on another) and a second-order domain-domain synergy (capabilities that require co-occurrence of multiple domains). Our framework improves predictive accuracy over domain-agnostic scaling laws and recovers stable synergy estimates. We validate these estimates by training models on predicted optimal and predicted anti-optimal mixtures and confirm that our synergy estimates correctly predict performance rankings.

arXiv:2606.18663v1cs.CL

RegMix-D: 프록시 학습 궤적을 통한 동적 데이터 혼합

RegMix-D: Dynamic Data Mixing via Proxy Training Trajectories

RegMix-D는 소규모 프록시 실행의 전체 손실 궤적에 회귀 모델을 학습해 학습 단계별 최적 데이터 혼합을 예측하는 RegMix의 동적 혼합 확장으로, 오프라인 스케줄 생성과 학습 중 적응형 온라인 모드를 지원한다. Pile 데이터셋 250억 토큰·10억 매개변수 모델 실험에서 13개 다운스트림 작업 전반에 걸쳐 RegMix와 DoReMi보다 일관되게 성능을 높였으며, 프록시 모델 128개( RegMix 예산의 25%)만으로도 RegMix를 능가했다.

arXiv:2606.17945v1cs.AI

Small Initialization Matters for Large Language Models

대규모 언어 모델(LLM)은 단순히 모델을 어떻게 엔지니어링할 수 있는지를 묻는 것을 넘어, 지능 자체가 어떻게 발현하는지를 탐구할 수 있는 실현 가능한 시스템을 제공합니다. 일반적으로 진보는 규모, 데이터, 아키텍처에 기인한다고 여겨지지만, 본 연구는 매개변수 초기화가 학습, 특히 모델 용량을 결정짓는 유전자와 같은 요인임을 보여줍니다. 초기화 규모를 줄이는 것은 사전학습을 지속적으로 개선하며, 특히 추론이 필요한 작업에서 가장 큰 성능 향상을 보입니다. 우리는 작은 초기화의 이점을 억제하는 두 가지 널리 사용되는 경험적 설정을 식별하고, 이를 완화했을 때 유리한 스케일링이 어떻게 복원되는지 보여줍니다. 또한, 추론과 학습 사이의 균형을 맞추는 임계 초기화(critical initialization)를 밝혀냈습니다. 메커니즘 측면에서 작은 초기화는 독특한 발달 궤적을 유도합니다. 매개변수는 먼저 낮은 복잡도 구조로 응축되었다가 이후 더 풍부한 표현으로 확장되는데, 이는 '압축은 지능이다'라는 아이디어에 구체적인 형태를 부여하는 것입니다. 토큰 수준 분석 결과, 성능 향상은 모든 토큰에 균일하게 나타나는 것이 아니라 사소하지 않고 문맥에 의해 제약된 예측에 집중되는 것으로 나타났습니다. 이러한 결과는 간단한 $\gamma$-초기화 규칙을 정립하게 합니다. 초기화 범위를 명시적인 조절 변수로 설정하고 기본적으로 작은 초기화를 사용하는 것으로, 이는 모델 규모에 관계없이 사전학습을 개선하고 추론 능력을 강화하는 거의 무비용의 개입입니다.