Augmenting Offline Reinforcement Learning with State-only Interactions
원문 초록
Batch offline data have been shown considerably beneficial for reinforcement learning. Their benefit is further amplified by upsampling with generative models. In this paper, we consider a novel opportunity where interaction with environment is feasible, but only restricted to observations, i.e., \textit{no reward} feedback is available. This setting is broadly applicable, as simulators or even real cyber-physical systems are often accessible, while in contrast reward is often difficult or expensive to obtain. As a result, the learner must make good sense of the offline data to synthesize an efficient scheme of querying the transition of state. Our method first leverages online interactions to generate high-return trajectories via conditional diffusion models. They are then blended with the original offline trajectories through a stitching algorithm, and the resulting augmented data can be applied generically to downstream reinforcement learners. Superior empirical performance is demonstrated over state-of-the-art data augmentation methods that are extended to utilize state-only interactions.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
VIGOR: 모델 기반 강화학습에서 잠재 공간 일관성을 통한 제로샷 시각적 일반화
VIGOR: Zero-Shot Visual Generalization via Latent-Space Consistency in Model-Based Reinforcement Learning
도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩
Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation
다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류
A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning
온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.
에이전틱 온-정책 증류를 위한 확률적 교사 개입
Stochastic Teacher Intervention for Agentic On-Policy Distillation
온-정책(on-policy) 증류(OPD)는 학생이 생성한 롤아웃(rollout)에 대한 조밀한 토큰(token) 수준 감독을 통해 더 강력한 교사로부터 학생 언어 모델(language model)로 역량을 효율적으로 전이하며, 수학적 추론과 같은 복잡한 작업에서 유망한 성과를 보여주었다. 그러나 다중 턴(multi-turn) 에이전틱 작업에서는 학생의 결정이 이후의 관측을 형성하므로 턴을 거치며 초기 오류가 누적된다. 그 결과로 생성된 궤적은 교사의 롤아웃 분포에서 벗어날 수 있어, 교사의 토큰 수준 감독이 덜 신뢰할 수 있게 되거나 OPD 학습(training)에 오히려 역효과를 낼 수도 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 다중 턴 에이전틱 OPD를 위한 확률적 교사 개입 프레임워크인 STI-OPD를 제안한다. 다중 턴 상호작용 과정에서 STI-OPD는 신뢰할 수 있는 감독 정보의 획득을 극대화하기 위해 교사-학생 정책 불일치에 기반한 교사 개입을 사용하여 학생이 제안한 행동을 교사가 생성한 행동으로 대체한다. 나아가 기존 임계값 기반 또는 고정 일정 접근법의 한계를 해결하기 위해, KL 발산을 사용해 정책 불일치를 추정하고 이를 개입 확률로 매핑하는 확률적 개입 전략을 개발한다. 이 확률로부터 개입 여부를 샘플링함으로써, STI-OPD는 교사의 제어와 학생의 탐험(exploration) 사이의 균형을 적응적으로 맞춘다. 이렇게 생성된 혼합 정책 궤적으로부터 학습하기 위해, 본 논문에서는 원래의 OPD 목적 함수를 보존하도록 교사가 생성한 응답과 학생 정책 간의 토큰 샘플링 불일치를 보정하는 중요도 가중 역방향 KL(Importance-Weighted Reverse KL) 목적 함수를 도입한다. 도구 통합 추론 및 장기적(long-horizon) 상호작용 전반에 걸쳐, STI-OPD는 평가된 모든 벤치마크와 학생 크기에서 가장 강력한 기존 OPD 기준선(baseline)을 능가한다. 소거 연구(ablation)를 통해 불일치 기반 개입과 중요도 가중치가 모두 이러한 성능 향상에 기여함을 추가로 확인하였다.
Train4Merge: OPD 기반 모델 병합을 위한 RL 대 SFT 교사 모델의 통제된 단일 교사 연구
Train4Merge: A Controlled Single-Teacher Study of RL vs. SFT Teachers for OPD-Based Model Merging
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
기성 교사 모델로부터의 그래프 조건부 온-정책 에이전트 증류
Graph-Conditioned On-Policy Agent Distillation from Off-the-Shelf Teachers
온-정책(on-policy) 증류(OPD)는 학생이 생성한 궤적에 대한 교사의 피드백을 통해 소형 언어 에이전트를 학습시킵니다. 멀티턴 태스크에서는 누적되는 오차로 인해 학생이 교사의 효과적인 지도 범위를 벗어날 수 있습니다. 본 연구에서는 실행 증거를 바탕으로 기성(off-the-shelf) 교사 모델의 채점 컨텍스트를 풍부하게 하는 그래프 조건부 온-정책 에이전트 증류(GC-OPD)를 제안합니다. 그래프는 완전한 성공 및 실패 이력을 보존하면서 공유된 상태를 기준으로 반복적인 교사 실행을 색인화합니다. 각 학생 에피소드 후, GC-OPD는 현재 상태 참조 또는 과거의 대안을 검색하고 이를 학생의 사후 판단과 결합하여 원래의 생각-행동 토큰을 채점합니다. 동일한 기존 교사를 사용할 때, GC-OPD는 바닐라 OPD 대비 평균 성공률을 ScienceWorld(4B 학생)에서 24.70%에서 48.78%로, ALFWorld Unseen에서 53.36%에서 85.26%로, WebShop에서 29.10%에서 37.65%로 향상시킵니다. 일치하는 학생 크기에서 ScienceWorld 및 ALFWorld의 GRPO 학습 교사를 사용하는 모든 평가 대상 OPD 기준선보다 높은 평균 성공률을 달성하며, 가장 강력한 ScienceWorld 4B 기준선은 46.66%에 도달합니다. GC-OPD는 태스크별 교사 최적화를 필요로 하지 않습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.