PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.32791v2cs.AI

$T^5$: 강화 중간 학습에서 토큰 수준 사고를 위한 트윈 크리틱 학습

$T^5$: Twin-Critic Training for Token-Level Thoughts in Reinforcement Mid-Training

강화 중간 학습(Reinforcement mid-training)은 언어 모델이 라벨이 없는 텍스트로부터 내부 사고(internal thoughts)를 학습할 수 있도록 하지만, 효율적인 토큰(token) 수준 신용 할당(credit assignment)은 여전히 어렵습니다. 기존의 그룹 상대적(group-relative) 방식들은 비용이 큰 반복 생성을 필요로 합니다. 학습된 크리틱(learned critic)은 단일 롤아웃(rollout) 피드백을 제공하지만, 정확한 리턴 예측만으로는 신뢰할 수 있는 정책 업데이트를 보장하지 못합니다. 본 연구의 분석에 따르면 학습(training)--추론(inference) 불일치와 PPO 클리핑으로 인해 이점(advantage) 추정치들의 공통 오프셋이 상쇄되지 못하여 추가적인 업데이트 표류(update drift)가 유발됩니다. 이에 본 연구는 단일 생성 궤적으로부터 토큰 수준 이점을 보정하는 트윈 크리틱(twin-critic) 방식인 \tfour{}를 제안합니다. 웜업(warmup) 및 홀드아웃 검증을 거친 후 크리틱들은 두 가지 이점 추정치를 제공하며, 이는 조건부 모멘트 안장점(conditional-moment saddle-point) 목적함수로 학습된 행동 의존적 가중치를 통해 결합됩니다. 이 목적함수는 각 접두 문맥(prefix)에서의 평균 이점을 0에 가깝게 유도하며, 신호 보존 제약식은 이러한 보정이 학습 신호를 지워버리는 것을 방지합니다. 텍스트 위치 전반에 걸쳐 정보를 공유함으로써 각 접두 문맥에 대한 반복 샘플링을 피할 수 있습니다. 이론적으로 본 연구는 신호 보존 제약 조건 하에서 최적의 혼합을 규명하고, 잔차 평균 유도 표류에 대한 상한을 설정합니다. 실험 결과, 최신 크리틱 프리(critic-free) 방식과 비교하여 \tfour{}는 평균 벤치마크 성능을 7.8\% 향상시키고 평균 학습 단계 시간을 최대 63.4\% 단축함을 보여줍니다.

arXiv:2607.01490v1cs.LG

Don't Let Gains FADE: Breaking Down Policy Gradient Weights in RL

LLM 강화학습 사후학습에서 다양한 어드밴티지 함수들을 양성·음성 그래디언트 질량(gradient mass)과 난이도 축으로 분해하는 통합 프레임워크를 제시하며, 부호 불균형이 엔트로피 붕괴나 rank-1 업데이트 붕괴를 유발함을 밝힌다. 이를 바탕으로 학습 동역학을 실시간으로 읽어 그래디언트 가중치를 자동 조정하는 FADE(Focal Advantage with Dynamic Entropy)를 제안하여, 7B·32B 규모 모두에서 LiveCodeBench와 AIME의 pass@k 전반에 걸쳐 정확도-다양성 트레이드오프를 개선하고 최적 성능 도달 속도를 기존 정적 베이스라인 대비 최대 20,000 스텝 앞당겼다.

arXiv:2606.20357v1cs.LG

시간차 학습의 분산과 통제 변량을 이용한 분산 감소에 관하여

On the Variance of Temporal Difference Learning and its Reduction Using Control Variates

우리는 표 형식 표현(tabular representation)을 사용하는 위상 설정(phased setting)에서 시간차 학습(TD)의 분산을 분석하고, 분산 감소 능력의 배경에 있는 메커니즘 중 하나가 더 많은 수의 독립적인 궤적(trajectories)에 대해 효과적으로 집계하는 것임을 보여줍니다. 이 통찰을 바탕으로 우리는 (1) TD의 분산이 점근적으로 몬테카를로(MC) 추정기에 의해 상한으로 제한됨을, 그리고 (2) 고정된 샘플 수에 대해 더 짧은 horizon 업데이트가 더 적은 분산을 유발함을 입증합니다. TD를 넘어, 우리는 어드밴티지 함수(advantage function)를 추정하는 방법인 직접 어드밴티지 추정(DAE)이 회귀 조정된 통제 변량(control variate)의 일종으로 간주될 수 있음을 보여주며, 이는 대표본 한계(large-sample limit)에서 TD에 비해 분산에 대해 더 타이트한 경계를 달성합니다. 마지막으로, 우리는 신중하게 설계된 환경을 통해 이러한 추정기들의 동작을 수치적으로 보여줍니다.

arXiv:2606.17250v1cs.LG

비평자 없는 RLVR에서 그룹 재고하기

Rethinking Groups in Critic-Free RLVR

강화학습(RL)은 대규모 언어 모델(LLM)의 사후학습을 위한 핵심 패러다임이 되었습니다. 기존의 비평자 없는 RL 방법들은 어드밴티지 계산을 위한 가치 기준선을 추정하기 위해 동일한 질문에 대해 여러 롤아웃을 생성하는 것이 일반적입니다. 그러나 이러한 설계는 데이터 비효율성, 그룹 동기화 장벽, 구조화된 롤아웃에 대한 비유연성이라는 문제가 있습니다. 본 연구에서는 '그룹'의 역할을 다시 살펴보고, 그 근본적인 기능이 단순히 기준선을 추정하는 것이 아니라 네거티브 샘플에 대한 잘못된 페널티를 방지하는 것임을 보여줍니다. 이러한 통찰을 바탕으로, 우리는 안정적인 단일 롤아웃 학습을 가능하게 하는 간단하고 효과적인 전략인 네거티브 토큰 필터링을 제안합니다. 우리는 이를 두 가지 배치 수준 어드밴티지 방법에 적용하여, 추론 작업에서는 그룹 기반 RL 기법과 대등한 성능을, 에이전트 작업에서는 더 강력한 성능을 달성했습니다.