arXiv:2609.36812v2 cs.LG

제안 조건부 정제 플로우를 활용한 확산 정책 개선

Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows

Junhyun Ha, Juho Lee, Byoungwoo Park

제출 2026-09-29

저자 비고

arXiv Comments

27 pages, 10 figures

한국어 초록

확산(diffusion) 및 플로우 정책은 오프라인 강화학습(RL)에서 복잡한 행동을 모델링할 수 있습니다. 그러나 행동 정책(behavior policy)과의 KL 발산(KL divergence)에 페널티를 부여하면 행동 밀도는 낮지만 크리틱(critic) 값이 높은 행동이 억제될 수 있습니다. 행동 제안을 직접 정제(refine)하는 것이 대안이 될 수 있지만, 가우시안 또는 결정론적 편집기는 동일한 제안에 대해 분리된 여러 모드를 표현하는 표현력이 제한적입니다. 본 연구에서는 크리틱 기반 제안 선택과 조건부 정제 플로우를 결합한 정책 추출 기법인 제안 조건부 정제 플로우(Proposal-Conditioned Refinement Flows, PReFlow)를 소개합니다. 제안 선택과 정제를 함께 최적화하기 위해, 가우시안 평활화된 행동 사전 분포 하에서 최종 행동에 대한 깁스 정책(Gibbs policy)을 유도하는 KL 정규화 목적 함수를 정식화합니다. 정제 플로우는 복수의 높은 가치 모드를 표현할 수 있으며, 제안 중심의 가우시안 참조(reference)는 과도한 행동 변화를 조절합니다. 이러한 가우시안 참조는 샘플링된 종점과 크리틱 그래디언트로부터 시뮬레이션 없이 폐형태(closed-form) 수반 매칭(adjoint matching) 목표를 활용할 수 있게 하여, 역방향 수반 풀이 없이 단일 속도 회귀 손실을 도출합니다. 50개의 OGBench 태스크에서 PReFlow는 경쟁력 있는 오프라인 성능을 달성했으며, 온라인 미세조정 후 비교 대상 방법 중 가장 높은 종합 점수를 기록하여 50만 환경 스텝 후 91%에 도달했습니다.

원문 초록

Diffusion and flow policies can model complex behaviors in offline reinforcement learning (RL). However, penalizing their KL divergence from the behavior policy can discourage actions having high critic values with low behavior density. Directly refining behavior proposals may be an alternative, yet Gaussian or deterministic editors limit expressiveness to represent multiple separated modes for the same proposal. In this work, we introduce Proposal-Conditioned Refinement Flows (PReFlow), a policy extraction method combining critic-based proposal selection with a conditional refinement flow. To optimize proposal selection and refinement together, we formulate a KL-regularized objective whose optimum induces a Gibbs policy over final actions under a Gaussian-smoothed behavior prior. The refinement flow can represent multiple high value modes, while a proposal-centered Gaussian reference regulates large action changes. This Gaussian reference further enables us to make use of simulation-free, closed form adjoint matching targets from sampled endpoints and critic gradients, yielding a single velocity regression loss without a backward adjoint solve. On 50 OGBench tasks, PReFlow achieves competitive offline performance and the highest aggregate score among the compared methods after online fine-tuning, reaching 91\% after 500K environment steps.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.36812v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10932v1cs.LG공통 태그 Decision Making, Continuous Control, offline reinforcement learning

목표 조건부 강화학습을 위한 월드 모델 정책 중재자

World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.

arXiv:2610.02527v1cs.RO공통 태그 Continuous Control, reinforcement learning rl, diffusion policy

CriticHack: 로봇 정책 최적화 환경에서의 시각적 보상 평가

CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization

학습된 시각적 보상 모델(reward model)은 로봇 정책을 최적화하는 데 점점 더 널리 사용되고 있으나, 보상 모델은 잘못된 객체에 작용하는 실행에 대해서도 과제를 완료한 실행만큼 높은 점수를 부여할 수 있다. 본 연구에서는 이러한 보상을 최적화할 경우 보상과 과제 성공률이 모두 상승하면서도 잘못된 객체에 작용하는 실패가 증폭될 수 있음을 보이며, 따라서 실무자가 일반적으로 모니터링하는 지표들은 정상인 것처럼 보이게 된다. 저자들은 서랍 과제에서 Robometer를 대상으로 확산 정책(diffusion policy)의 모든 디노이저 매개변수를 파인튜닝(fine-tuning)했다. 사전 보상 노출이 없었던 지도학습 정책에서 시작하여 5회의 학습을 수행한 결과, 512개의 평가 시드에서 과제 성공률이 10.2%p 증가하고 잘못된 객체 실패가 10.9%p 증가한 반면, 시뮬레이터의 과제 완료 신호로 학습된 5회의 실행에서는 잘못된 객체 실패를 증폭시키지 않으면서 성공률이 증가했다(차이 9.2%p, 95% CI 5.6~13.0). 이러한 증폭 현상은 이전에 학습된 보상에 대해 최적화되었던 정책, 정책 고유의 확산 샘플러 환경, 초기 정책과의 거리가 일치하는 조건, 그리고 두 개의 크리틱(critic)과 두 개의 최적화 도구를 사용한 제약 조건 정책 실험 전반에서 재발한다. 틸트 모델(tilt model)은 이러한 현상이 발생하는 시점을 설명한다. KL 정규화 최적화 하에서 특정 결과의 빈도는 초기 정책에서의 기대 보상이 모집단 평균을 초과할 때마다 더 높아진다. Robometer는 전반적으로 성공과 실패를 잘 구분하지만(AUROC .81), 잘못된 객체 실패에 대해 성공보다 약간 더 높은 점수를 부여하므로(AUROC .37) 최적화 시 두 결과가 모두 증가한다. 동일한 모델은 과제 성공률이 떨어지는 경우를 포함하여 26개의 제약 조건 설정 전반에 걸친 결과 변화를 예측하며(Spearman .89), Robometer 자체에 공개된 성공-종료 레시피 또한 이러한 오류를 그대로 이어받는다. 동결된 결과 검증기(frozen outcome verifier)는 동일한 최적화의 방향을 요청된 과제로 재조정한다.

arXiv:2610.00849v1cs.AI공통 태그 Decision Making, reinforcement learning rl, offline reinforcement learning

목표 조건부 강화학습을 위한 다중 시간 척도 학습

Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning

오프라인 목표 조건부 강화학습(goal-conditioned reinforcement learning, GCRL)의 기존 접근법들은 장기적(long-horizon) 과제에서 어려움을 겪습니다. 할인율(discounting) 적용은 먼 상태 간의 가치 차이를 함수 근사 오차보다 작아질 때까지 축소시켜, 에이전트가 상태 순위를 매길 수 있는 신호를 남기지 못하게 합니다. k개의 환경 단계를 단일 전이로 취급하는 시간적 추상화(temporal abstraction)는 원거리에서 이러한 신호를 회복시키지만, 하나의 고정된 k 값만으로는 모든 상태-목표 거리에 대응할 수 없습니다. 큰 k 값은 긴 시간적 거리 전반에서 가치 차이를 보존하지만 가까운 상태 간의 구분을 무너뜨리고, 작은 k 값은 그 반대로 작동합니다. 본 논문에서는 이러한 상충 관계를 명시화하고, 단일 가치 함수를 k에 조건화하는 일반화된 암시적 시간 추상화(Generalized Implicit Temporal Abstraction, GITA)를 제안합니다. GITA는 여러 k 값에 걸쳐 어드밴티지 가중 감독(advantage-weighted supervision)을 집계하여 하나의 정책을 학습함으로써, 특정 상태-목표 쌍에 더 큰 양의 어드밴티지를 부여하는 척도가 해당 업데이트에 더 강하게 기여하도록 합니다. GITA는 국소적 해상도와 장거리 신호 중 하나를 선택할 필요 없이, 단일 k에 얽매이지 않고 둘 다 유지합니다. OGBench에서 GITA는 광범위한 오프라인 GCRL 베이스라인을 능가하여 HIQL 대비 모든 과제의 평균 성공률을 25%p(상대적 향상 73%) 끌어올렸습니다. 또한 가장 강력한 고정 k 방식인 OTA에 비해 7%p(상대적 향상 14%) 성능을 개선했습니다.

arXiv:2610.13929v1cs.RO공통 태그 Continuous Control, diffusion policy

크로노스 정책(Chronos Policy): 물리적 시간에 기반한 로봇 정책 학습

Chronos Policy: Learning Robot Policies on Physical Time

로봇 정책(policy)은 흔히 센싱(sensing)과 제어(control)를 고정 속도의 관측-행동 시퀀스로 변환하며, 물리적 시간은 시퀀스 상의 위치에 암묵적으로 담긴다. 이러한 가정은 관측 속도나 지연이 변동하거나 추론(inference) 지연 시간이 달라질 때 깨진다. 우리는 관측 포착 시각과 원하는 행동 실행 시각에 조건화하여 물리적 시간을 명시적으로 드러내는 크로노스 정책(Chronos Policy)을 제안한다. 우리는 시간을 디퓨전 트랜스포머(diffusion transformer)에 통합하는 두 가지 방법을 연구한다: 토큰(token) 특징에 타임스탬프 임베딩(embedding)을 추가하는 방법, 그리고 시간 인지 로터리 위치 인코딩(time-aware rotary positional encoding, time-aware RoPE)을 통해 위치 인코딩에 물리적 시간을 인코딩하는 방법이다. 우리는 시간 인지 RoPE가 더 견고하며, 토큰 내용은 그대로 유지하면서 어텐션(attention)이 물리적 시간에 직접 의존하도록 한다는 것을 발견했다. 학습 중에는 어떤 관측이 샘플링되는지와 행동 청크(action chunk)가 시작되는 시점을 시간적으로 무작위화하여, 배포(deployment) 중에 발생할 수 있는 더 넓은 범위의 센싱 및 실행 일정에 정책이 노출되도록 한다. 이는 또한 모든 측정값을 고정된 시간 그리드에 강제로 맞추지 않고도 비동기적이고 다중 속도(multi-rate)의 데이터로부터 학습할 수 있게 한다. 시뮬레이션과 실제 환경 실험 전반에서, 크로노스 정책은 관측-행동 타이밍이 중요한 동적(dynamic) 작업과 관측 간 상대적 타이밍이 중요한 다중 감각(multisensory) 작업에서 성능을 향상시킨다. 표준적인 준정적(quasi-static) 작업에서는 명목 성능을 유지하면서 센싱 및 추론 타이밍 변화에 대한 견고성을 향상시킨다.

arXiv:2610.04988v2cs.LG공통 태그 Decision Making, Continuous Control

얼마나 가까운가가 아니라 얼마나 오래 걸리는가: 잠재 월드 모델의 계획 수립을 위한 학습된 시간적 거리 척도

How Long, Not How Close: A Learned Temporal Metric for Planning in Latent World Models

잠재 월드 모델(latent world model)은 고정된 예측 모델을 후보 행동 시퀀스에 따라 순방향으로 전개(rollout)하고, 상상된 최종 상태와 목표 사이의 잠재 거리(latent distance)에 따라 후보들의 순위를 매김으로써 계획을 수립합니다. 그러나 목표가 여러 번의 계획 수립 단계 너머에 위치할 경우, 잠재 거리는 목표 도달까지 얼마나 남아있는지가 아니라 최종 상태가 목표와 얼마나 닮았는지를 측정하기 때문에 이러한 순위 지정 방식은 무너집니다. 이를 해결하기 위해 우리는 월드 모델을 수정하지 않고, 모델 학습에 이미 사용된 기록된 궤적(trajectory)으로부터만 학습하며, 플래너(planner)의 탐색에 무시할 수 있는 수준의 비용만 추가하는 시간적 거리 계획 목적 함수인 TEMPO를 제안합니다. TEMPO는 에피소드의 두 상태 간 거리가 이들 사이의 환경(environment) 스텝 수를 반영하도록 고정된 잠재 공간의 작은 맵을 학습하며, 이 거리를 플래너의 비용에 통합합니다. 이는 보상, 정책, 또는 성공 레이블을 필요로 하지 않으며, 모델(model)이 아닌 비용 함수이므로 잠재 거리로 계획을 수립하고 상태당 하나의 잠재 벡터를 갖는 고정된 월드 모델에 적용 가능합니다. 우리는 LeWM 및 PLDM 플래너를 사용하여 11개의 시뮬레이션 환경(예: 미로 내비게이션, 테이블 위 밀기, 로봇 암 제어, 3차원 조작)에서 TEMPO를 평가(evaluation)합니다. 계획 연산에 기껏해야 0.3%만을 추가하는 작은 MLP를 통해, TEMPO는 기존 평가의 단일 계획 설정을 포함하여 모든 목표 거리에서 두 플래너 모두의 성능을 향상시키며, 목표로부터 세 번의 계획 거리에 있는 TwoRoom 환경에서 LeWM의 성능을 36%에서 99%로 끌어올리고, 광범위한 2D 및 3D 내비게이션, 도달 및 조작 태스크에서 경쟁력 있는 성능을 유지합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.