PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.26866v1cs.LG

한계적으로 올바른 도구 캐시가 그룹 정규화된 정책 업데이트를 반전시킬 수 있다

Marginally Correct Tool Caches Can Reverse Group-Normalized Policy Updates

도구 결과 캐싱은 에이전트 학습(training)에서 반복 실행을 줄이지만, 롤아웃(rollout)의 무작위성을 결합하기도 합니다. 본 연구에서는 독립적 실행과 공유 실행이 모든 롤아웃의 조건부 보상(reward) 분포를 보존하는 2개 행동 모델(model)을 연구합니다. 이러한 한계적 일치에도 불구하고, 그룹당 하나의 확률적 결과를 공유하면 기대되는 그룹 정규화 정책 업데이트의 방향이 반전될 수 있습니다. 본 논문에서는 정확한 유한 그룹 표현식을 도출합니다. 즉, 상수 대안에 대해 공유된 업데이트는 기대 보상의 차이가 아니라 승리 확률에서 패배 확률을 뺀 값을 따릅니다. 베르누이 특수화는 그룹 크기가 커짐에 따라 잘못된 방향의 영역과 사라지지 않는 업데이트 분산 하한을 산출합니다. 그룹 표준편차 스케일링 없이 중심화(centering)만 수행하면 기존 추정량 제어를 사용하여 이 모델에서 기대 수익 방향을 보존합니다. 철저한 유한 합을 통해 별도의 순서화된 시퀀스 검사기와 함께 540개의 구성 및 3,240개의 추정량 평가를 검증합니다. 구현 감사를 통해 256개의 스크립트 기반 롤아웃을 사용하여 고정되고 수정되지 않은 TVCache 스택에서 공유 경로를 재현합니다. 이러한 결과는 언어 모델의 학습 성능을 측정하거나 TVCache의 결정론적 출력 계약을 반박하는 것은 아닙니다. 이는 한계 출력 유효성만으로는 확률적 캐시가 학습과 동등하다고 보증할 수 없음을 규명합니다.