앵커가 목표를 바꿀 때: 확산 모델 강화학습을 위한 어드밴티지 게이트 적응
When Anchors Shift the Target: Advantage-Gated Adaptation for Diffusion Reinforcement Learning
한국어 초록
순방향 과정 강화학습은 보상을 평가한 생성 결과에 잡음을 다시 넣어 회귀 목표로 삼고, 이를 바탕으로 확산 모델과 흐름 매칭 모델을 적응시킨다. 음의 어드밴티지는 크기에 상한이 없는 반발 그래디언트를 수반하는 오목한 갱신을 일으킨다. 기존 방법은 계속 갱신되는 정책 사본에서 캐시한 예측값을 앵커로 써 학습을 안정화한다. 그러나 이 앵커는 양의 피드백을 받은 경우 모델이 적합할 목표도 바꾼다. 이 충돌을 앵커 결합으로 정식화한다. 동결한 참조 모델의 정규화 항을 분리하면, 움직이는 앵커를 쓰는 어파인 규칙으로는 양의 회귀 목표를 모두 보존하면서 음의 곡률을 없앨 수 없다. 두 역할을 분리하는 어드밴티지 게이트 적응(AGA)을 제안한다. 양의 샘플은 표준적인 목표 적합을 유지한다. 이 경우 갱신량은 스스로 제한되며, 움직이는 앵커와 관계없이 관측 목표값에서 0이 된다. 음의 샘플에는 움직이는 정책의 예측값에서 오목 목적함수의 1차 접선을 사용한다. 이로써 국소 반발 방향을 보존하고 그래디언트가 현재 예측값에 의존하지 않게 한다. 이차 앵커 계열에서는 이 요구사항이 매개변수 없는 게이트 $\omega(a)=\max(-a,0)$를 유일하게 결정한다. 움직이는 정책 사본은 기존 행동을 보존하는 대신 국소 선형화에 쓰인다. AGA는 장기 행동 보존을 동결된 사전학습 참조 모델에 맡긴다. 실제 작동에 사용하는 분류기 없는 가이던스 스케일에서 참조 모델을 기준으로 정규화하며 이를 암묵적 보상 관점에서 해석한다. 조합적 생성, 텍스트 렌더링, 선호 정렬 실험에서 양의 목표를 이동시키면 시각 품질이 나빠지고 정책 사본의 갱신 일정에 더 민감해졌다. AGA는 보상과 품질 사이의 절충을 일관되게 개선했다.
원문 초록
Forward-process reinforcement learning adapts diffusion and flow-matching models by re-noising rewarded generations into regression targets. Because negative advantages induce concave updates with unbounded repulsive gradients, existing methods stabilize training using cached predictions from a moving policy copy, yet these anchors also alter what positive feedback teaches the model to fit. We formalize this conflict as anchor coupling: after separating frozen-reference regularizers, affine moving-anchor rules cannot eliminate negative curvature while preserving every positive regression target. We propose Advantage-Gated Adaptation (AGA) to decouple these roles. Positive samples retain standard target fitting, whose self-limiting update vanishes at the observed target independently of the moving anchor. Negative samples instead use the first-order tangent of the concave objective at the moving-policy prediction, preserving the local repulsion direction with a prediction-independent gradient. Within the quadratic-anchor family, these requirements uniquely determine the parameter-free gate $\omega(a)=\max(-a,0)$. Because the moving copy provides local linearization rather than retention, AGA assigns long-horizon behavior preservation to a frozen pretrained reference regularized at its operating classifier-free guidance scale, interpreted through an implicit-reward lens. Across compositional generation, text rendering, and preference alignment, our experiments show that displacing positive targets degrades visual quality and heightens sensitivity to policy-copy schedules, whereas AGA consistently improves the reward--quality trade-off.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23038v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.