CoRE: 테스트 시점 강화학습을 위한 균형 기반 합의 보상
CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning
한국어 초록
라벨이 없는 테스트 데이터에서는 강화학습(RL)에 정답 보상(ground-truth reward)이 부재합니다. 이에 테스트 시점 강화학습(TTRL) 기법들은 모델 자체의 롤아웃(roll-out)으로부터 보상을 도출하며, 샘플링된 $N$개의 답변에 대한 다수결 투표(majority vote)와 일치하는 롤아웃에 보상을 부여합니다. 그러나 이러한 투표 방식은 정답이 소수일 때마다 이를 폐기하며, 다수결과 일치하는 모든 롤아웃을 동일하게 평가합니다. 본 논문에서는 이를 CoRE(Consensus Rewards via Equilibrium)로 대체합니다. CoRE에서는 $N$개의 롤아웃이 답변 일치도, 추론 유사도, 생성 신뢰도를 결합한 엣지로 구성된 그래프를 형성하며, 복제자 동역학(replicator dynamics)을 통해 지배 집합(dominant set)을 추출함으로써 정제된 의사 라벨(pseudo-label), 등급화된 롤아웃별 보상, 질문별 응집도 게이트를 산출합니다. CoRE는 투표 방식을 엄밀하게 일반화합니다. 다수결 투표는 특수한 경우로서 복원되며, 블록 가치 분석(block-value analysis)은 합의가 더 큰 잘못된 다수 집단에 맞서 올바른 소수 답변을 복원하는 시점에 대한 명확한 임계값을 제공하고, 신뢰도 보정(confidence calibration)은 증명 가능하게 해당 임계값을 곱셈적으로 낮춥니다. 7개의 백본과 5개의 벤치마크(42개 모델-벤치마크 조합, 각 3회 시드)에 걸친 실험에서, CoRE는 학습되지 않은 베이스 모델 대비 평균 $+21.7$점 향상되어 다수결 투표 TTRL의 $+20.4$점을 능가했고, 일치 여부에 논쟁의 여지가 있는 곳에서 투표 대비 최대 $+7.5$점 격차로 우위를 점했으며, 투표 기준선의 정체 구간 정확도에 $54$--$70$\% 더 적은 스텝만으로 도달했습니다. 단순 집계가 아닌 합의를 활용하여, 롤아웃 그룹을 투표함이 아닌 그래프로 취급함으로써 추가적인 롤아웃 비용 없이 취약한 투표 방식을 보정되고 등급화된 자기지도 보상으로 전환합니다.
원문 초록
On unlabeled test data, reinforcement learning lacks a ground-truth reward; test-time RL methods derive one from the model's own roll-outs, rewarding those that match the majority vote over $N$ sampled answers. That vote discards a correct answer whenever it is a minority and scores every majority-matching roll-out identically. We replace it with \emph{CoRE} (Consensus Rewards via Equilibrium): the $N$ roll-outs form a graph whose edges combine answer agreement, reasoning similarity, and generation confidence, and replicator dynamics extract its dominant set, yielding a refined pseudo-label, a graded per-roll-out reward, and a per-question cohesiveness gate. CoRE strictly generalizes voting: majority voting is recovered as a special case; a block-value analysis gives a sharp threshold for when consensus recovers a correct minority against a larger wrong plurality; and confidence calibration provably lowers that threshold multiplicatively. Across seven backbones and five benchmarks (42 model--benchmark cells, three seeds each), \emph{CoRE} improves the untrained base by $+21.7$ points on average versus $+20.4$ for majority-vote TTRL, wins wherever agreement is contestable with margins over the vote of up to $+7.5$ points, and reaches the voting baseline's plateau accuracy in $54$--$70$\% fewer steps. Consensus, not counting: treating the roll-out group as a graph rather than a ballot box turns a brittle vote into a calibrated, graded, self-supervised reward at no extra roll-out cost.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.09324v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.