AdaGRPO: Flow 기반 GRPO를 위한 능력 인지형 적응형 향상
AdaGRPO: A Capability-Aware Adaptive Enhancement for Flow-based GRPO
한국어 초록
그룹 상대 정책 최적화(GRPO)는 텍스트-이미지(T2I) 플로우 모델을 인간의 선호도에 정렬하는 데 있어 놀라운 성공을 입증했습니다. 그러나 우리는 현재 Flow 기반 GRPO의 학습 루프가 학습자의 현재 능력과 근본적으로 분리되어 있어, 프롬프트 선택과 어드밴티지 추정 측면에서 치명적인 사각지대를 겪고 있음을 확인했습니다: (i) 기존 방법들은 프롬프트를 무작위로 샘플링하여 강화학습(RL) 효과에 대한 데이터 선택의 중요한 영향을 간과하는데, 이는 대규모 언어 모델을 위한 GRPO에서 중요한 요소로 입증된 바 있습니다; (ii) 이들은 그룹 내 통계에만 의존하여 샘플 품질을 평가하며, 실제 정책 개선을 정확히 측정할 수 있는 전역적 관점이 부족합니다. 이러한 문제를 해결하기 위해 우리는 플로우 모델에 맞춤화된 새로운 능력 인지형 강화학습 알고리즘인 Adaptive GRPO(AdaGRPO)를 제안합니다. 구체적으로 AdaGRPO는 두 가지 주요 구성 요소로 이루어집니다: (i) 온라인 커리큘럼 필터링 전략: 모델의 숙련도를 동적으로 추적하고 현재 학습 경계에 가장 잘 부합하는 프롬프트를 적응형으로 선택합니다; (ii) 교차 레벨 어드밴티지 융합: 세분화된 그룹 내 어드밴티지와 거시적 수준의 전역 어드밴티지를 상호 보완적으로 통합하여 포괄적이고 편향되지 않은 정책 평가를 제공합니다. 경량의 플러그 앤 플레이 모듈인 AdaGRPO는 Flow-GRPO, DanceGRPO 및 Flow-CPS와 같은 기존 프레임워크와 매끄럽게 통합될 수 있습니다. 광범위한 실험을 통해 AdaGRPO가 플로우 모델을 위한 GRPO 학습을 크게 안정화시키면서 지속적인 성능 향상을 이끌어냄을 입증했습니다.
원문 초록
Group Relative Policy Optimization (GRPO) has demonstrated remarkable success in aligning text-to-image (T2I) flow models with human preferences. However, we have identified that the learning loop of current flow-based GRPO is fundamentally decoupled from the learner's current capability, suffering from critical blind spots at both prompt selection and advantage estimation: (i) Existing methods sample prompts randomly, overlooking the substantial impact of data selection on reinforcement learning (RL) efficacy--a factor proven crucial in GRPO for large language models; (ii) They evaluate sample quality solely relying on intra-group statistics, lacking a global perspective to accurately measure true policy improvement. To address these issues, we propose Adaptive GRPO (AdaGRPO), a novel capability-aware RL algorithm tailored for flow models. Specifically, AdaGRPO consists of two principal components: (i) Online Curriculum Filtering Strategy: Dynamically tracks the model's proficiency and adaptively selects prompts that best match its current learning boundary; (ii) Cross-Level Advantage Fusion: Synergistically integrates fine-grained intra-group advantages with macro-level global advantages, providing a comprehensive and unbiased policy evaluation. As a lightweight, plug-and-play module, AdaGRPO can be seamlessly integrated with existing frameworks such as Flow-GRPO, DanceGRPO, and Flow-CPS. Extensive experiments demonstrate that AdaGRPO consistently drives performance gains while significantly stabilizes GRPO training for flow models.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.06828v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
교사를 언제 어디서 신뢰할 것인가: 엔트로피 보정 크레딧 할당을 통한 온-정책 증류와 GRPO의 통합
When and Where to Trust the Teacher: Unifying On-Policy Distillation and GRPO through Entropy-Calibrated Credit Assignment
검증 가능한 보상을 통한 강화학습(RLVR)은 최종 정답의 정합성을 통해 수학적 추론을 감독하지만 개별 토큰에 대한 안내는 거의 제공하지 못합니다. 온-정책(on-policy) 증류(OPD)는 학생이 생성한 응답에 대해 조밀한 피드백을 제공하지만, 교사의 선호도가 반드시 정합성을 반영하는 것은 아닙니다. 최근의 하이브리드 방식들은 OPD와 검증기 기반 이점(advantage)을 결합하거나 교사 비율을 활용해 작업 크레딧에 다시 가중치를 부여합니다. 그러나 교사의 안내는 검증기 기반 그룹 정규화 이후에 반영되며, 토큰 재가중치 부여가 각 응답에 할당된 전체 작업 크레딧을 반드시 보존하는 것은 아닙니다. 본 논문에서는 응답 및 토큰 수준 모두에서 단일 GRPO 스타일 업데이트 내에 검증기와 교사 신호를 통합하는 UECR-GRPO(Unified Entropy-Calibrated Credit Redistribution for GRPO)를 제안합니다. 경로-효용 통합(Path-Utility Unification, PUU)은 단일 KL 정규화 목적 함수에서 검증기 보상과 교사 대 앵커 경로 로그 비율을 결합합니다. 온-정책 구현에서는 길이 정규화된 교사 점수를 사용하며 그룹 정규화 및 PPO 클리핑 이전에 두 보상을 결합하여, 교사의 증거가 응답 순위 결정에 영향을 미칠 수 있도록 합니다. 그런 다음 엔트로피 보정 재분배(Entropy-Calibrated Redistribution, ECR)는 부호가 있는 교사-이전 정책 간 토큰 격차를 사용하여 검증기 기반 컴포넌트를 재분배합니다. 전체 어휘 교사 엔트로피는 불확실한 안내를 감쇠시키는 한편, 응답별 제로섬 투영은 클리핑 이전에 전체 작업 크레딧과 토큰별 부호를 보존합니다. 5개의 수학적 추론 벤치마크 전반에서 UECR-GRPO는 Qwen3-1.7B 및 Qwen3-4B 학생 모델을 통해 각각 17.21%와 65.09%의 평균 \(\mathrm{Avg@12}\) 정확도를 달성하여, 각 규모의 가장 강력한 기준선 모델보다 0.89%p 및 0.56%p 더 높은 성능을 보였습니다.
분해된 하위 과제를 활용한 강화학습
Reinforcement Learning with Decomposed Subtasks
언어 모델(LM) 에이전트를 학습시키기 위한 GRPO(Group Relative Policy Optimization) 및 관련 정책 그래디언트(policy-gradient) 방식은 정책 업데이트가 이루어지기 전 전체 멀티턴 롤아웃을 단일 스칼라 궤적 보상으로 압축합니다. 특히 희소하고 지연된 환경 피드백 하에서 과제가 서로 다른 여러 기술로 구성되어 있을 때, 이러한 압축은 손실을 초래합니다. 즉, 옵티마이저는 어떤 역량이 결과를 이끌어냈으며 이것이 행동을 어떻게 변화시켜야 하는지를 암묵적으로 추론해야만 합니다. 본 논문에서는 올바른 프리미티브가 더 나은 스칼라 보상이 아니라 '분해'라고 주장합니다. 즉, 정책 업데이트에 들어가기 전에 궤적 보상을 하위 과제(subtask)에 따라 분할해야 합니다. 본 연구에서는 RLDS(Reinforcement Learning with Decomposed Subtasks)를 소개하며, 그 핵심은 SDAE(Subtask-Decomposed Advantage Estimation)입니다. SDAE는 스칼라 GRPO 어드밴티지를 대체하는 기법으로, 고정된 분류 체계에 따라 궤적 보상을 하위 과제별 몫으로 분할하고, 하위 과제별 그룹 상대적 어드밴티지를 계산하며, 각 하위 과제의 어드밴티지를 중요도에 따라 가중하여 토큰별 신용을 배분하되, 반추(reflection)를 통해 해당 하위 과제의 실행이 결정적인 영향을 미쳤다고 표시된 스텝 주변에 이를 집중시킵니다. 우리는 4개의 에이전트 벤치마크인 FrozenLake(희소 그리드 탐색), HotpotQA(멀티홉 질의응답, 단일 검색 도구), ScienceWorld(긴 주기 구현 과학 환경), DeepResearch(장문 연구, 4개 도구, 복합 루브릭 보상)에서 평가를 수행했습니다. 학습 중 산출된 이질성(heterogeneity) 진단 결과는 분해가 어디에서 성과를 내는지를 보여줍니다. 성능 향상은 하위 과제 이질성과 비례하여 확장되었으며, 이질성이 높은 과제인 ScienceWorld(+11.5점, 대응 표본 부트스트랩 95% CI [+9.8, +13.3])와 FrozenLake(+9.8점, [+7.0, +12.8])에서 가장 컸고, 진단 결과 회수할 여지가 거의 없다고 예측된 HotpotQA 및 DeepResearch에서는 오차 범위 내에 머물렀습니다. 또한 ScienceWorld는 RLDS 하에서 스칼라 GRPO 대비 연산 효율도 더 높았는데(스텝당 벽시계 시간 -10.9%), 이는 긴 롤아웃이 고정된 '반추 및 채점(reflect-and-grade)' 오버헤드를 분할 상각하기 때문입니다.
VLM은 언제 봐야 하는가? 필요했고 사용된 시각 호출에만 대가를 지급하기
When Should a VLM Look? Paying Only for Visual Calls That Were Needed and Used
크롭 및 줌을 수행하는 비전-언어 에이전트는 성공적인 도구 호출에 보상을 주는 방식으로 학습되지만, 성공한 호출만으로는 모델이 실제로 볼 필요가 있었는지, 받은 픽셀을 사용했는지를 알 수 없다. cold-start 체크포인트에서는 시각 호출의 10%~12%만이 필요하면서 동시에 사용되었고, 공개된 에이전트는 개별 벤치마크에서 36%~87%의 경우 허위 호출을 한다. outcome 보상, judge 보상, branch probe는 각각 이 실패의 한 측면만 관찰하며, outcome 보상이 지급하는 약 2/3는 필요하지도 사용되지도 않은 호출에 간다. CounterCredit은 정책 자체의 gold-answer 점수를 사용해, 호출 직전의 실현된 상태에서 이미지를 반환하는 모든 호출에 대해 두 질문을 모두 던진다. decision value는 실현된 시각 분기와 즉시 답하는 경우를 비교하고, evidence value는 반환된 crop을 동일 호출에 대체 투입한 무작위 동일 크기 패치와 비교한다. 양쪽에서 검증된 호출은 cashback을 받고, 그 외 실행된 모든 호출은 rent를 지불한다. 가격은 모든 올바른 궤적이 모든 잘못된 궤적보다 순위가 높도록 상한이 정해지며, dual-channel GRPO advantage가 가격을 자체 단위로 유지한다. 동일한 cold start, 프롬프트 풀, 예산에서 CounterCredit은 V*에서 89.5%, HR-Bench-4K에서 80.2%, HR-Bench-8K에서 76.4%를 달성해, 질문당 1.78회 대 1.84회 호출 조건에서 outcome-only GRPO보다 6.3~9.4 포인트 높으며, 허위 호출 비율을 31%~36%로 낮춰 평가된 에이전트 중 최저 수준이다. 동일한 방법은 Qwen3-VL-8B 베이스의 평균 성능을 75.4에서 80.8로 끌어올린다.
에이전트는 언제, 어떻게 명확화해야 하는가? CIGAsk: 반사실적 정보 이득(Counterfactual Information Gain)을 통한 LLM 명확화 학습
When and How Should an Agent Clarify? CIGAsk: Teaching LLMs to Clarify via Counterfactual Information Gain
명시가 부족한(underspecified) 쿼리에 직면한 인스트럭션 튜닝(instruction-tuned) LLM은 명확화를 요청하기보다 단일 해석에 몰두하는 경우가 많아, 자신 있게 틀린 답을 낸다. 우리 실험에서 프롬프팅만으로는 부족하다. 모델은 모든 쿼리에 명확화를 요청하거나, 누락된 정보를 회복하지 못하는 모호한 질문을 한다. 이 실패를 해결하려면 두 가지가 결합된 능력을 학습해야 한다. 답하기보다 언제 물을지, 그리고 모호함을 해소하는 정보를 회복하는 질문을 어떻게 할지이다. 기존 방법은 이 능력 중 하나만 다루거나, 별도로 학습된 critic을 요구한다. 우리는 CIGAsk를 제안한다. 다중 턴(multi-turn) GRPO 루프 안에서 두 상보적 보상 신호로 두 능력을 모두 가르치는 RL 레시피이다. 반사실적 정보 이득(Counterfactual Information Gain, CIG)은 동결된 참조 모델에서 사용자 응답 유무에 따른 정답(gold-answer) 가능도를 비교하여, 어떻게 물을지 안내하는 턴별 credit을 제공한다. 비대칭 모호성 보너스(Asymmetric Ambiguity Bonus)는 gold ambiguity 라벨에 기반하여 종단 토큰에 부호 있는 보상을 부여해, 언제 물을지 안내한다. 테이블, passage, open-domain QA에 걸친 세 가지 명확화 벤치마크에서 CIGAsk-7B는 더 작은 백본을 사용함에도 가장 강한 외부 기준선을 능가한다. 또한 데이터셋별 튜닝 없이 데이터셋 간 전이가 가능하며, 분포 밖(out-of-distribution) 벤치마크에서 단일 턴 QA 성능을 유지한다.
성공적인 로봇 시연을 넘어서: 인간 상호작용 학습 및 실패 역학 모델링
Beyond Successful Robot Demonstrations: Learning from Human Interactions and Modeling Failure Dynamics
행동 조건부 월드 모델(action-conditioned world model)은 행동의 결과를 예측함으로써 범용 로봇 지능을 위한 유망한 기반을 제공합니다. 그러나 기존 로봇 데이터셋은 일반화 가능한 월드 모델링에 필요한 다양한 상호작용 역학을 충분히 포괄하지 못합니다. 대규모 1인칭 시점(egocentric) 인간 비디오는 상호작용 경험을 상호보완적으로 제공하지만, 인간의 손과 로봇 머니퓰레이터 간의 체화 차이(embodiment gap)는 효과적인 교차 체화 학습(cross-embodiment learning)을 저해합니다. 한편, 성공적인 시연 중심의 데이터 구성으로 인해 실패 역학은 크게 과소 표현되며, 이는 월드 모델이 실패한 실행을 예측하는 능력을 제한합니다. 이러한 한계를 해결하기 위해, 본 연구에서는 인간 상호작용 학습과 실패 인지 사후 학습(failure-aware post-training)을 결합한 행동 조건부 월드 모델인 HF-WM을 제안합니다. 체화 차이를 극복하기 위해 비디오 생성과 보조 포인트플로우(pointflow) 예측을 결합한 이중 분기 프레임워크를 개발하고, 1인칭 카메라 모션을 억제하면서 안정화된 포인트플로우를 인간과 로봇 상호작용 전반의 통합 모션 표현으로 사용합니다. 또한 실패 모델링을 개선하기 위해, 성공적인 시연에서 파생된 섭동된 행동(perturbed actions)에 대해 행동 정렬 및 물리적 타당성 보상을 바탕으로 그룹 상대 정책 최적화(GRPO) 사후 학습을 수행하여, 쌍을 이루는 실측(ground-truth) 비디오 없이도 모델이 그럴듯한 실패 역학을 학습할 수 있도록 합니다. 광범위한 실험을 통해 HF-WM이 행동 조건부 비디오 생성에서 최고 수준의 성능을 달성하며, 다운스트림 로봇 작업의 정책 평가(policy evaluation)에 강력한 유용성을 보임을 입증합니다.
MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습
MENTOR: Learning from Failure with On-Policy Pedagogical Intervention
검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.