arXiv:1809.03057

Variance Reduction in Monte Carlo Counterfactual Regret Minimization (VR-MCCFR) for Extensive Form Games using Baselines

Martin Schmid, Neil Burch, Marc Lanctot, Matej Moravcik, Rudolf Kadlec, Michael Bowling

제출 2018-09-09

원문 초록

Learning strategies for imperfect information games from samples of interaction is a challenging problem. A common method for this setting, Monte Carlo Counterfactual Regret Minimization (MCCFR), can have slow long-term convergence rates due to high variance. In this paper, we introduce a variance reduction technique (VR-MCCFR) that applies to any sampling variant of MCCFR. Using this technique, per-iteration estimated values and updates are reformulated as a function of sampled values and state-action baselines, similar to their use in policy gradient reinforcement learning. The new formulation allows estimates to be bootstrapped from other estimates within the same episode, propagating the benefits of baselines along the sampled trajectory; the estimates remain unbiased even when bootstrapping from other estimates. Finally, we show that given a perfect baseline, the variance of the value estimates can be reduced to zero. Experimental evaluation shows that VR-MCCFR brings an order of magnitude speedup, while the empirical variance decreases by three orders of magnitude. The decreased variance allows for the first time CFR+ to be used with sampling, increasing the speedup to two orders of magnitude.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39578v2cs.CL공통 태그 Reinforcement Learning, counterfactual

틀에서 벗어난 사고: 언어 모델은 외부 지침에 선택적으로 의존할 수 있는가?

Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

에이전트 하네스(agent harness)는 사람이 설계한 워크플로우를 통해 언어 모델을 개선하는 경우가 많지만, 모델의 능력이 향상됨에 따라 신뢰할 수 없는 지침은 오히려 모델의 실행을 제약할 수 있습니다. 본 연구에서는 유용한 지침을 활용하는 동시에 신뢰할 수 없는 지침은 기각하는 능력을 '틀에서 벗어난 사고(thinking outside the box)'라고 부릅니다. 저자들은 모델이 지침에 대한 의존도를 어떻게 조절하는지 분리해 파악하기 위해, 모델과 작업을 고정한 채 워크플로우의 신뢰도를 다양하게 변화시키는 Box$^2$-Bench를 도입합니다. Box$^2$-Bench에서 프론티어 모델들은 신뢰할 수 있는 지침으로부터 이점을 얻는 경우가 많지만, 지침이 오도하거나 신뢰할 수 없게 될 때는 여전히 취약한 상태로 남아 있습니다. 이러한 능력을 학습할 수 있는지 검증하기 위해, 평가를 위해 우수한 워크플로우는 남겨두고 불량한 워크플로우를 사용하여 두 개의 오픈 가중치(open-weight) 모델을 학습시킵니다. 또한 두 가지 상호 보완적인 학습 전략을 탐색합니다. 반사실적 지도 미세조정(counterfactual supervised fine-tuning)은 강건성을 향상시키는 반면, 결과 기반 강화학습(outcome-based reinforcement learning)은 도움이 되는 워크플로우를 더 적극적으로 활용하도록 균형을 이동시킬 수 있습니다. 나아가 이러한 동작이 워크플로우를 넘어 다른 형태의 외부 정보로도 확장되어 동료 수정(peer correction) 능력을 향상시키고 오염된 메모리에 대한 강건성을 높임을 확인했습니다. 종합적으로, 본 연구 결과는 오류 가능성이 있는 외부 정보에 대한 선택적 의존이 작업 수행 성능만으로는 포착되지 않는 에이전트 신뢰성의 중요한 한 차원임을 밝혀냅니다.

arXiv:2610.02542v1cs.AI공통 태그 Reinforcement Learning, counterfactual

월드 모델을 학습시키는 방법: 언어 모델 기반 월드 모델링을 위한 미세조정 대 검색-증강 생성(RAG)

How To Train Your World Model: Fine-tuning vs RAG for LM-based World Modeling

월드 모델(World Model, WM)은 환경의 전이 역학(transition dynamics)을 시뮬레이션하여 에이전트가 자신의 행동에 따른 결과를 예측하고 계획을 세울 수 있도록 합니다. 텍스트 기반 환경에서는 언어 모델(LM)을 WM으로 기능하도록 미세조정(fine-tuning)하는 방식이 지배적인 패러다임으로 부상했습니다. 그러나 검색-증강 생성(RAG)과 같은 비모수적(non-parametric) 접근 방식의 광범위한 성공에도 불구하고, LM 기반 월드 모델링을 위한 검색 기법은 여전히 충분히 연구되지 않았습니다. 본 연구에서는 체화 환경(embodied), 웹 내비게이션, 사회적 환경을 아우르는 5가지의 다양한 환경에 걸쳐 체계적인 평가를 수행하여, LM 기반 월드 모델링을 위한 미세조정 방식과 RAG 기반 방식을 비교합니다. 연구 결과에 따르면 미세조정이 RAG보다 우수한 성능을 보이는 경우가 많았으며, 미세조정된 WM을 통해 에이전트는 20개 설정 중 15개에서 더 높은 보상을 달성했습니다. 두 구축 패러다임 모두 추가적이고 더 다양한 탐험(exploration)을 통해 이점을 얻지만, RAG 기반 접근 방식이 더 뛰어난 데이터 효율성을 보인 반면, 미세조정 접근 방식은 수집된 경험의 양을 스케일링할 때 훨씬 더 큰 이점을 얻는 것으로 나타났습니다. RAG 기반 WM에 초점을 맞추어, 본 논문은 반사실적 개입(counterfactual intervention)을 사용하여 검색 단계의 오류율을 추정하는 절차를 고안하였으며, 검색기가 경험 버퍼에서 최적이 아닌 전이 정보를 일관되게 추출한다는 점을 보여줍니다. 이러한 한계를 해결하기 위해 다양한 쿼리 재구성 전략을 연구하여, 계층적 접근 방식이 기존의 검색 파이프라인보다 우수한 성능을 발휘함을 입증합니다. 마지막으로, 이러한 발견을 종합하여 핵심적인 환경 역학은 파라미터 기반으로 포착하면서도 능동적으로 유지 관리되는 메모리 저장소로부터의 검색에 의존하도록 학습하는 하이브리드 월드 모델링 시스템을 구성합니다. 이 하이브리드 시스템은 여러 환경과 모델에 걸쳐 다른 방법들을 일관되게 능가하여, 제안된 접근 방식의 견고성과 연구 결과의 적용 가능성을 입증합니다.

arXiv:2609.22850v2cs.LG공통 태그 Reinforcement Learning, counterfactual

같은 결과, 다른 판독: LLM에서 스티어링 가능한 valence 방향은 무엇을 표상하는가?

Same Outcome, Different Readout: What Does a Steerable Valence Direction in LLMs Represent?

해독 가능성(decodability)과 성공적인 활성화 스티어링(activation steering)만으로는 내부 방향이 무엇을 표상하는지 밝혀지지 않는다. 이 공백은 특히 복지(welfare) 관련 해석에서 중요한데, 제안된 기능적 상태를 추출 대비(extraction contrast)와 상관된 특징과 구분해야 하기 때문이다. 우리는 미로 과제에서 좋음-나쁨 결과 방향에 대해 이 질문을 다루며, 실현된 결과와 그 결과가 알려지게 된 정보 이력(informational history)을 분리하는 통제 개입을 사용한다. 여러 LLM 체크포인트에 걸쳐, 한 explicit outcome encoding에 적합화된 방향은 다른 encoding으로 잘 전이되어, readout이 표면 형식(surface form)에 묶여 있지 않음을 보여 준다. 대조적으로, 동일한 실현 결과가 사전 공지(announced) 이력과 비공지(unannounced) 이력을 통해 도달하면 전이는 크게 약해진다. 두 이력 모두 동일한 explicit outcome을 받은 뒤에도 사건 이후 readout은 앞선 공지 여부에 강하게 조건화된 채 남는다. 짝을 맞춘 미로-RL 실행에서 RL 이후 방향은 reference-MDP 잔여 return을 예측하는 데 훨씬 더 predictive해지고, 정책은 시험 지점에서 이 방향에 더 의존하게 되나, 이러한 이력 의존성은 유지된다. 이 결과는 해당 방향에 대한 기능적·가치 관련 해석은 뒷받침하지만, 이력 불변(history-invariant) 스칼라 valence 상태와의 동일시는 뒷받침하지 않는다.

arXiv:2609.27421v1cs.LG공통 태그 Reinforcement Learning, counterfactual

다중 제약 인스트럭션 수행을 위한 반사실적 제약-조건부 온-정책 증류

Counterfactual Constraint-Conditioned On-Policy Distillation for Multi-Constraint Instruction Following

다중 제약 인스트럭션 수행(multi-constraint instruction following)은 모델이 동시에 활성화된 여러 제약 조건 하에서 질의에 응답하도록 요구합니다. 강력한 인스트럭션 튜닝(instruction tuning) 모델조차도 여전히 이러한 제약 조건 중 일부를 일상적으로 위반합니다. 기존 접근 방식은 외부 검증기(verifier) 또는 학습된 채점기로부터 얻은 시퀀스 또는 토큰 수준의 강화학습(RL) 보상으로 지도 신호를 보강하거나, 동시에 활성화되는 제약 조건이 많아질수록 확률 질량이 희석되는 단일 전체 컨텍스트 교사 모델을 대상으로 온-정책(on-policy) 증류(OPD)를 사용합니다. 본 논문에서는 지식 증류의 표준적인 지도 신호 생성 방향을 반전시킨 CC-OPD(Counterfactual Constraint-Conditioned On-Policy Distillation)를 제안합니다. CC-OPD는 학생 모델이 보는 것 이상의 정보로 교사 모델을 풍부하게 만드는 대신, 교사 모델의 조건부 입력에서 각 제약 조건을 차례로 제거(ablate)하고 그 결과로 발생하는 토큰별 확률 차이로부터 제약 조건별 신호를 구성합니다. 그 결과로 얻은 토큰별 LOO(leave-one-out) 로그 가능도(log-likelihood) 변화량을 합산하고 클리핑(clipping)한 후, 토큰 수준의 셰이핑(shaping) 항으로서 바닐라 OPD 보상에 추가합니다. 모든 셰이핑 항은 증류 과정에서 외부 검증기 없이 동결된 교사 모델로부터 얻어지며, 총합 변화량이 0인 모든 곳에서 보상은 바닐라 OPD와 동일합니다. 두 개의 Qwen 모델 쌍과 7개의 벤치마크 전반에서 CC-OPD는 평가된 모든 학생 모델 학습 방법 중 가장 높은 평균 성능을 달성합니다. CC-OPD로 학습된 1.5B 학생 모델은 MulDimIF 벤치마크에서 자체 7B RL 학습 교사 모델을 능가합니다.

arXiv:2609.27987v1cs.LG공통 태그 Reinforcement Learning, counterfactual

PCQC: 다턴 의료 대화를 위한 특권적 반사실적 질문 크레딧

PCQC: Privileged Counterfactual Question Credit for Multi-Turn Medical Dialogue

대규모 언어 모델(LLM)은 의료 질의응답에서 상당한 진전을 이루었지만, 효과적인 의료 대화를 위해서는 관련 환자 정보를 드러내는 질문을 하는 법을 학습하는 것도 필요하다. 이러한 대화 정책을 학습하기 위해 흔히 최종 진단 정확도에 기반한 지도 미세조정과 강화학습(RL)을 결합하는 파이프라인을 사용한다. 그러나 이러한 결과 기반 감독은 개별 질문의 기여를 직접 구분하지 못하며, 실행되지 않은 대안 질문에 대한 질문 수준의 피드백도 제공하지 않는다. 이 공백을 해소하기 위해, 학습 중 실행되지 않은 질문으로부터도 학습하기 위해 특권 환자 정보를 사용하는 PCQC(Privileged Counterfactual Question Credit)를 제안한다. 학습 중 PCQC는 특권 환자 사실을 이용해 대안 질문에 대한 답을 구성함으로써, 동일한 대화 상태에서 대안 질문을 직접 비교 가능하게 한다. 고정된 진단 점수기는 각 결과 질문-답변 쌍이 올바른 진단을 얼마나 강하게 뒷받침하는지에 따라 그 진단적 유용성을 평가한다. PCQC는 이러한 비교를 상대적 질문 크레딧으로 변환하여 정책이 어떤 질문을 선호해야 하는지 가르치며, 실행되지 않은 대안에 대한 완전한 롤아웃 없이도 실행된 질문과 실행되지 않은 질문 모두에 결과 기반 RL과 함께 직접 감독한다. 네 개의 의료 벤치마크에 걸친 광범위한 실험에서 PCQC는 평균 진단 정확도 63.10%를 달성하여 GRPO와 ATPO보다 각각 4.38 및 4.21퍼센트포인트 높은 성능을 보였다. 이러한 향상은 GRPO보다 문진 턴 수가 33.1% 적은 상태에서 달성되었다.

arXiv:2609.24174v1cs.AI공통 태그 Reinforcement Learning, counterfactual

CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화

CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment

장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.