PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.01509v1cs.AI

사후 학습에서의 샤프닝 세금

Sharpening Tax in Post-Training

대규모 언어 모델(LLM)의 강화학습(RL) 사후 학습(post-training)에 관해 최근 떠오르는 가설은, 이것이 단지 베이스 모델의 기존 동작을 샤프닝(sharpening)하여 솔루션 커버리지를 희생하는 대신 단일 시도 정확도(single-shot accuracy)를 향상시킬 뿐이라는 점입니다. 이러한 상충 관계(trade-off)는 수학 및 코딩 과제에서 관찰되었으나, 멀티턴 도구 사용 및 상호작용을 위해 사후 학습 과정에서 새로 습득된 기능이 필요할 수 있는 에이전트(agent) 과제에까지 반드시 확장 적용될 필요는 없습니다. 본 연구의 놀라운 발견은 가벼운 추론(inference) 하네스를 갖춘 사전학습(pre-trained) LLM 또한 유능한 에이전트로 동작할 수 있다는 사실입니다. 훨씬 낮은 정확도(pass@1)에도 불구하고, 충분한 테스트 시간 예산이 주어지면 이들은 솔루션 커버리지(pass@K) 측면에서 종종 사후 학습된 대응 모델(post-trained counterparts)을 능가합니다. 더 나아가 기본 메커니즘을 분석하여 사후 학습이 과제를 '항상 해결됨' 또는 '전혀 해결되지 않음'이라는 두 극단으로 밀어붙이며, 이를 통해 솔루션 커버리지를 희생하면서 샘플링 효율성과 일관성을 개선한다는 점을 보여줍니다. 이러한 비용을 측정하기 위해, 사후 학습 후 테스트 시간 확장성(test-time scalability)의 손실(loss)을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안합니다. 4개 패밀리의 14개 베이스/사후 학습 모델(model) 쌍과 3개의 에이전트 벤치마크(총 42개 사례)에 걸쳐 평가한 결과, 이 세금은 대부분의 설정에서 만연하게 나타나며, 소수의 롤아웃만으로도 추정 가능하고 다른 지표들과도 잘 상관관계를 이룹니다. 마지막으로 프롬프트(prompt)별 샘플링 온도를 추정된 난이도에 맞게 적응시키는 간단한 플러그 앤 플레이 베이즈 샘플러인 후험 조정 그룹 샘플링(posterior-tempered group sampling, PTGS)을 제시합니다. 두 개의 에이전트 환경에서 RL 학습(training) 중에 적용했을 때, PTGS는 고정 온도 기준선(baseline)보다 더 적은 세금을 치르며, 단일 시도 정확도를 개선하는 동시에 반복 샘플링 조건에서 더 많은 과제를 해결합니다.

arXiv:2607.22724v1cs.LG

장기 호라이즌 에이전트 과제를 위한 진행 상태 조건 그룹 정책 최적화

Progress-conditioned Group Policy Optimization for Long-Horizon Agentic Tasks

그룹 기반 정책 최적화는 그룹 내 궤적(trajectory) 또는 스텝(step)을 비교하여 희소한 결과 보상(sparse outcome reward)으로부터 대규모 언어 모델(LLM) 에이전트를 학습하는 데 점점 더 널리 사용되고 있다. 그러나 어려운 장기 호라이즌 과제에서는 이러한 비교가 샘플링 불균형(sampling imbalance)에 시달릴 수 있다. 반복되거나 효과가 낮은 행동(action)이 정책(policy)의 고확률 영역을 지배하는 반면, 유용한 상태 변화(state-changing) 행동은 과소 샘플링(under-sampled)된 채로 남는다. 이 불균형은 많은 전부 실패(all-failed) 롤아웃 그룹을 만들어내며, 이때 결과 보상은 정책을 수정하는 방향을 제공하지 못한다. 이러한 효과들이 함께 작용하면 자기 강화(self-reinforcing) 크레딧 함정(credit trap)을 형성할 수 있다. 실패가 지배하는 샘플링은 결과 기반 수정을 낳지 않아, 반복되는 저효과 행동이 지속되도록 한다. 이 순환을 끊기 위해, 우리는 진행 상태 조건 그룹 정책 최적화(Progress-conditioned Group Policy Optimization, ProGPO)를 제안한다. ProGPO는 그룹 내 모든 샘플이 결과 보상 0을 받을 때에만 첫 방문 관측(observation) 커버리지(first-visit observation coverage)를 사용한다. 구체적으로, 이러한 그룹 내에서 ProGPO는 더 많은 새로운 상태(state)를 방문하는 궤적 또는 스텝에 더 높은 상대적 advantage를 부여한다. 새로운 관측에 도달하는 것은 과제 성공의 전제 조건이기 때문이다. Qwen2.5-1.5/7B-Instruct를 사용한 ALFWorld 및 WebShop이라는 두 가지 도전적인 에이전트 벤치마크(benchmark)에서의 실험은 ProGPO가 그룹 기반 베이스라인(baseline) 대비 일관되게 개선됨을 보여주며, 특히 어려운 과제에서 큰 향상을 보인다.

arXiv:2606.18831v1cs.CL

보상 엔지니어링을 넘어서: 긴 컨텍스트 강화학습을 위한 데이터 레시피

Beyond Reward Engineering: A Data Recipe for Long-Context Reinforcement Learning

긴 컨텍스트 강화학습(RL)에서 보상 엔지니어링(reward engineering)에 치우친 기존 연구와 달리, 검색·다중 증거 종합·추론 세 작업군을 아우르는 약 1.4만 건의 데이터 레시피와 최소한의 결과 기반 GRPO만으로 긴 컨텍스트 추론을 크게 향상시킨다. Qwen3-4B/8B/30B-A3B에서 7개 긴 컨텍스트 벤치마크 평균 +7.2/+3.2/+6.4p를 달성하고, 에이전트 튜닝 모델에 적용 시 GAIA +4.8p·BrowseComp +7.0p 개선으로 에이전트(agent) 작업 전이도 입증했다.