PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29526v1cs.LG

학습 정책 최적화의 신기루: LLM 강화학습의 실질적 목표로서의 단조 추론 정책

The Mirage of Optimizing Training Policies: Monotonic Inference Policies as the Real Objective for LLM Reinforcement Learning

LLM 강화학습(RL) 사후학습에서 학습 엔진과 추론 엔진의 구현 차이로 발생하는 학습-추론 불일치(training-inference mismatch) 문제를 다루며, 기존 연구들이 학습 정책 개선에만 집중한 반면 실제 배포에 사용되는 추론 정책의 단조적 개선을 목표로 하는 새로운 원칙인 MIPI(Monotonic Inference Policy Improvement)를 제안한다. 이를 구현한 2단계 프레임워크 MIPU는 샘플러 참조 업데이트와 추론 측 갭 프록시 기반의 수용 기준을 결합하여, FP8 양자화 롤아웃 환경에서 Qwen3-4B 및 Qwen3-1.7B 모델에 대해 추론 성능과 학습 안정성을 향상시킨다.

arXiv:2606.29275v1cs.LG

적응형 블록 확산: 확산 언어 모델의 학습-추론 불일치 해소

Adaptive Block Diffusion: Resolving Training-Inference Mismatch in Diffusion Language Models

확산 언어 모델(DLM)의 고정 블록 학습과 추론 시 임의 구성 간의 불일치를 해결하기 위해, 접두 문맥 윈도우 구성을 확률 변수로 취급하여 전체 구성 공간에 걸쳐 노이즈 제거 리스크를 최적화하는 Adaptive Block Diffusion(ABD)을 제안한다. ABD는 아키텍처 변경 없이 단일 모델을 학습시켜 그리드 이탈 붕괴를 방지하고, 블록 크기와 perplexity 간 단조 관계를 회복하며 고정 블록 전문 모델과 동등하거나 우수한 성능을 달성한다.