PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.24956v3cs.CL

NITP: Next Implicit Token Prediction for LLM Pre-training

표준 다음 토큰 예측(NTP)이 은닉 표현 공간을 충분히 제약하지 못해 표현 퇴화(representation degeneration) 현상을 유발한다는 문제를 지적하며, 이를 해결하기 위해 동일 모델의 얕은 레이어 표현을 자기지도(self-supervised) 타깃으로 활용해 잠재 공간에서 연속적 밀도 감독을 추가하는 NITP(Next Implicit Token Prediction)를 제안한다. 0.5B~9B 규모의 dense 및 전문가 혼합(MoE) 모델에서 약 2%의 추가 학습 FLOPs만으로 MMLU-Pro 5.7%, C3 6.4%, CommonsenseQA 4.3%의 성능 향상을 달성하며, 추론 비용은 전혀 증가하지 않는다.

arXiv:2607.08646v1cs.CL

UltraX: 적응형 프로그래밍 편집을 통한 대규모 사전학습 데이터 정제

UltraX: Refining Pre-Training Data at Scale with Adaptive Programmatic Editing

스케일링 법칙의 한계에 따라 사전학습 데이터 품질 향상이 중요해진 시점에서, UltraX는 삭제·수정에 삽입 연산을 추가해 편집 함수 공간을 완성한 함수 호출 기반 대규모 데이터 정제 프레임워크를 제안한다. 데이터셋 적응형 프롬프트 최적화와 Line Alignment Mapping을 통한 신뢰성 있는 프로그램 지도 생성 파이프라인을 구축하여, 여러 코퍼스에서 기준 모델 대비 상대적 성능 2% 이상 향상 및 더 적은 학습 토큰으로도 동등 이상의 성능을 달성했다.

arXiv:2606.28471v1cs.AI

Data and Evaluation Closed-Loop for Model Capability Enhancement

Model capability is the central variable in LLM pre-training, yet is never observed directly: data shapes it prospectively, while evaluation reveals it only retrospectively, compressing samples, prompts, decoding, and scoring rules into one noisy score. Practical optimization runs this backward: a failure is observed first, and the engineer must infer the corpus fix. The two sides speak incompatible vocabularies -- benchmark names and per-sample correctness versus data sources, domains, and quality labels -- so this inference is usually intuition, not method. We close this gap with the \emph{capability slice}: a group of evaluation samples sharing background condition, task type, solving operation, and output constraint -- precise enough to localize a single weakness yet stable enough to survive aggregation, unlike a benchmark name, too coarse, or a single sample, too noisy. Built around this unit, an evaluation taxonomy, a non-instruction data taxonomy, and mapping rules form a closed loop turning a benchmark-level failure into a targeted, testable data intervention. We test this loop on two case studies pulling in opposite directions. First, the loop rules the data out: continued pre-training drives BBH down by $-46.82\%$, but diagnosis traces this to a single masked \texttt{\textless EOS\textgreater} loss rather than weakened reasoning; restoring it recovers BBH to $66.44$, above the original checkpoint, without changing the data. Second, the loop rules the data in: a persistent math-reasoning weakness is decomposed by solving operation into specific failing combinations, and a weakness-targeted sampling procedure built from it lifts AIME2025/AIME2026 Pass@128 from $6.67$/$0.00$ to $26.67$ each. The same unmodified loop reaches opposite, correct verdicts in both cases, showing the evaluation-to-data inference can be routine, auditable, and experimentally validated rather than intuitive.

arXiv:2606.25008v1cs.LG

Neural Scaling Universality: If Exponents Are Fixed, Time to Understand Coefficients

신경 스케일링 법칙의 지수는 Softmax 비선형성에 따른 시간 1/3 스케일링, 표현 중첩(superposition)에 따른 폭 역비례, Transformer 레이어 앙상블 평균에 따른 깊이 역비례 같은 범용 메커니즘으로 고정된 보편성 클래스를 이룬다고 제안한다. 계수는 데이터와 아키텍처에 민감해 최적 모델 형태와 연산-최적 경계(compute-optimal frontier)를 직접 결정하므로, 단기 성능 향상의 핵심은 지수가 아니라 계수 이해에 있다고 강조한다.

arXiv:2605.18106v4math.OC

옵티마이저 설계를 위한 대칭 호환 원칙: 임베딩, LM Head, SwiGLU MLP, MoE Router

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

Adam과 같은 좌표별 옵티마이저가 신경망 매개변수 공간의 대칭성·등변성을 반영하지 못하는 문제를 해결하기 위해, 각 가중치 블록의 대칭군에 등변인 갱신을 설계하는 대칭 호환 원칙을 제안하고 임베딩, LM head, SwiGLU MLP, MoE router용 층별 옵티마이저 스택을 유도한다. Qwen3·Gemma3·OLMoE·gpt-oss 스타일 dense·sparse MoE(전문가 혼합) 언어 모델 사전학습에서 AdamW 대비 최종 검증 손실 개선, sparse MoE의 전문가 부하 불균형 완화, router 안정성 및 전반적 학습 안정성 향상이 일관되게 확인된다.

arXiv:2606.13119v1cs.LG

MP3: 시공간 예측을 위한 다중 주기 패턴 사전학습

MP3: Multi-Period Pattern Pre-training forSpatio-Temporal Forecasting

공간-시간 예측에서 유사한 입력이 다른 미래를 초래하는 시간적 신기루 문제를 해결하기 위해, 다중 주기 패턴 학습을 기반으로 한 MP3 사전학습 플러그인을 개발했다. 이 방법은 기존 STGNN 백본에 통합되어 5개의 실제 데이터셋에서 평균 MAE 4.7% 및 RMSE 5.0%의 성능 향상을 달성했다.