목표 조건부 강화학습을 위한 다중 시간 척도 학습
Learning Multiple Timescales for Goal-Conditioned Reinforcement Learning
한국어 초록
오프라인 목표 조건부 강화학습(goal-conditioned reinforcement learning, GCRL)의 기존 접근법들은 장기적(long-horizon) 과제에서 어려움을 겪습니다. 할인율(discounting) 적용은 먼 상태 간의 가치 차이를 함수 근사 오차보다 작아질 때까지 축소시켜, 에이전트가 상태 순위를 매길 수 있는 신호를 남기지 못하게 합니다. k개의 환경 단계를 단일 전이로 취급하는 시간적 추상화(temporal abstraction)는 원거리에서 이러한 신호를 회복시키지만, 하나의 고정된 k 값만으로는 모든 상태-목표 거리에 대응할 수 없습니다. 큰 k 값은 긴 시간적 거리 전반에서 가치 차이를 보존하지만 가까운 상태 간의 구분을 무너뜨리고, 작은 k 값은 그 반대로 작동합니다. 본 논문에서는 이러한 상충 관계를 명시화하고, 단일 가치 함수를 k에 조건화하는 일반화된 암시적 시간 추상화(Generalized Implicit Temporal Abstraction, GITA)를 제안합니다. GITA는 여러 k 값에 걸쳐 어드밴티지 가중 감독(advantage-weighted supervision)을 집계하여 하나의 정책을 학습함으로써, 특정 상태-목표 쌍에 더 큰 양의 어드밴티지를 부여하는 척도가 해당 업데이트에 더 강하게 기여하도록 합니다. GITA는 국소적 해상도와 장거리 신호 중 하나를 선택할 필요 없이, 단일 k에 얽매이지 않고 둘 다 유지합니다. OGBench에서 GITA는 광범위한 오프라인 GCRL 베이스라인을 능가하여 HIQL 대비 모든 과제의 평균 성공률을 25%p(상대적 향상 73%) 끌어올렸습니다. 또한 가장 강력한 고정 k 방식인 OTA에 비해 7%p(상대적 향상 14%) 성능을 개선했습니다.
원문 초록
Existing approaches to offline goal-conditioned reinforcement learning (GCRL) struggle with long-horizon tasks. Discounting shrinks value differences between distant states until they fall below the function approximation error, leaving the agent with no signal for ranking states. Temporal abstraction, which treats k environment steps as a single transition, restores this signal at long range, but no single fixed k suits all state-goal distances: large k preserves value differences across long temporal distances while collapsing distinctions between nearby states, and small k does the reverse. We make this trade-off explicit and introduce Generalized Implicit Temporal Abstraction (GITA), which conditions a single value function on k. GITA trains one policy by aggregating advantage-weighted supervision across multiple k values, so scales assigning larger positive advantages to a state-goal pair contribute more strongly to its update. GITA does not need to choose between local resolution and long-range signal; it retains both without committing to a single k. On OGBench, GITA outperforms a broad range of offline GCRL baselines, raising average success rate across all tasks by 25 percentage points (73% relative improvement) over HIQL. It also improves over the strongest fixed-k method, OTA, by 7 percentage points (14% relative).
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
제안 조건부 정제 플로우를 활용한 확산 정책 개선
Diffusion Policy Improvement with Proposal-Conditioned Refinement Flows
확산(diffusion) 및 플로우 정책은 오프라인 강화학습(RL)에서 복잡한 행동을 모델링할 수 있습니다. 그러나 행동 정책(behavior policy)과의 KL 발산(KL divergence)에 페널티를 부여하면 행동 밀도는 낮지만 크리틱(critic) 값이 높은 행동이 억제될 수 있습니다. 행동 제안을 직접 정제(refine)하는 것이 대안이 될 수 있지만, 가우시안 또는 결정론적 편집기는 동일한 제안에 대해 분리된 여러 모드를 표현하는 표현력이 제한적입니다. 본 연구에서는 크리틱 기반 제안 선택과 조건부 정제 플로우를 결합한 정책 추출 기법인 제안 조건부 정제 플로우(Proposal-Conditioned Refinement Flows, PReFlow)를 소개합니다. 제안 선택과 정제를 함께 최적화하기 위해, 가우시안 평활화된 행동 사전 분포 하에서 최종 행동에 대한 깁스 정책(Gibbs policy)을 유도하는 KL 정규화 목적 함수를 정식화합니다. 정제 플로우는 복수의 높은 가치 모드를 표현할 수 있으며, 제안 중심의 가우시안 참조(reference)는 과도한 행동 변화를 조절합니다. 이러한 가우시안 참조는 샘플링된 종점과 크리틱 그래디언트로부터 시뮬레이션 없이 폐형태(closed-form) 수반 매칭(adjoint matching) 목표를 활용할 수 있게 하여, 역방향 수반 풀이 없이 단일 속도 회귀 손실을 도출합니다. 50개의 OGBench 태스크에서 PReFlow는 경쟁력 있는 오프라인 성능을 달성했으며, 온라인 미세조정 후 비교 대상 방법 중 가장 높은 종합 점수를 기록하여 50만 환경 스텝 후 91%에 도달했습니다.
목표 조건부 강화학습을 위한 월드 모델 정책 중재자
World-Model Policy Arbiter for Goal-Conditioned Reinforcement Learning
오프라인 목표 조건부 강화학습(GCRL)은 다양한 목표 도달 알고리즘을 만들어냈지만, 여러 환경, 목표, 심지어 동일한 작업의 서로 다른 단계 전반에서 항상 최상의 성능을 내는 단일 알고리즘은 존재하지 않습니다. 본 연구에서는 가장 성능이 좋은 단일 정책만을 배포하는 대신, 동결된(frozen) 목표 조건부 정책들의 집합을 포트폴리오로 공동 활용하여 매 상태마다 어떤 정책이 행동해야 할지 결정할 수 있는지를 질문합니다. 각 상태에서 정책을 선택하는 것은 간단하지 않습니다. 각 정책 자체의 가치 함수는 서로 다른 척도를 사용할 수 있고 일부 정책은 가치 함수가 없기 때문에 직접 비교할 수 없습니다. 또한 한 번에 하나의 정책만 실행할 수 있음에도 불구하고, 각 정책이 도달할 가능성이 높은 상태를 바탕으로 정책을 판단해야 합니다. 아울러 제어가 불안정해질 정도로 정책을 너무 자주 전환하는 것도 피해야 합니다. 이러한 과제를 해결하기 위해, 동결된 정책 집합이 입력으로 주어졌을 때 학습된 상태 공간 월드 모델에서 각 동결된 정책을 롤아웃하고, 공유된 목표 조건부 가치 함수로 상상된 미래를 평가하며, 다음 중재(정책 선택) 라운드 전까지 짧은 약정 구간(commitment interval) 동안 가장 높은 점수를 받은 정책을 실행하는 테스트 시간 프레임워크인 월드 모델 정책 중재자(WMPA)를 제안합니다. WMPA는 동결된 목표 조건부 정책 뱅크에 대한 접근을 가정하며, 정책 재학습이나 특권적인 작업 특화 지식을 필요로 하지 않습니다. 미로 내비게이션뿐만 아니라 큐브, 씬, 퍼즐 조작에 걸친 18개 상태 기반 데이터셋에 대한 공식 OGBench 평가 프로토콜에서, WMPA는 데이터셋별로 선택된 최고 성능 정책이 달성한 44%의 매크로 평균 성공률을 58%로 향상시켰으며, 12개 데이터셋에서 통계적으로 유의미한 성능 향상을 보였습니다. 이러한 향상에는 cube-double-play에서의 +33%포인트 및 scene-play에서의 +36%포인트 향상이 포함됩니다.
도달인가 해결인가? 체크포인트 핸드오프를 통한 에이전트 강화학습 성능 향상의 심층 분석
Reach or Solve? Deep Diving into Agentic RL Gains with Checkpoint Handoffs
강화학습(RL)은 언어 모델 에이전트(agent)를 개선하는 데 널리 사용되며, 그 성능 향상은 일반적으로 최종 작업 성공률로 측정됩니다. 그러나 에이전트의 이전 행동들은 이후 의사결정이 이루어지는 상태(state)를 형성하므로, 최종 작업 성공률은 유용한 상태에 도달하는 능력과 해당 상태에 도달한 후 작업을 완료하는 능력을 혼동하게 만듭니다. 각 에이전트가 도달한 상태에서만 에이전트들을 비교하는 것은 각 에이전트가 자신의 행동에 의해 선택된 상태에서 평가되기 때문에 이 둘을 분리해 내지 못합니다. 이러한 혼동을 해결하기 위해, 본 연구에서는 재학습 없이 도달과 완료를 분리하는 평가 프로토콜인 체크포인트 핸드오프(checkpoint handoff)를 도입합니다. 하나의 체크포인트가 핸드오프 시점까지 도달자(reacher) 역할을 수행하고, 다른 체크포인트는 재생된 동일한 히스토리로부터 해결자(solver)로서 작업을 이어받습니다. 구체적으로, (1) Reach는 재생 가능한 환경에서 성공까지 고정된 수의 행동만이 남았음이 검증된 상태에 도달자가 얼마나 자주 도달하는지를 측정하며, (2) Solve는 해당 상태들의 동일하게 복제된 사본으로부터 해결자가 작업을 얼마나 자주 완료하는지를 측정합니다. 두 개의 벤치마크와 독립적으로 공개된 두 개의 학습 파이프라인 전반에서 지도 미세조정(SFT)과 강화학습 체크포인트를 두 역할 모두에 교차 적용한 결과, 해결자를 SFT에서 강화학습으로 전환할 때 얻는 이득은 강화학습이 도달자일 때 TravelPlanner의 세 가지 모델 크기 모두와 ALFWorld의 두 분할(split) 모두에서 일관되게 더 크다는 점을 발견했습니다. ALFWorld에 대한 추가 분석은 강화학습이 Reach와 Solve를 모두 향상시킴을 보여줍니다. 강화학습 도달자 환경에서 해결자 이득이 더 큰 이유는 강화학습이 해결 가능한 상태에 더 자주 도달하기 때문이며, 별도로 측정된 Reach 및 Solve 격차는 이러한 차이의 대부분을 설명합니다. 핸드오프는 한 체크포인트의 히스토리를 다른 체크포인트 아래에서 재생하는 것만을 요구하므로, 에이전트 강화학습 평가는 최종 성공률과 함께 도달률 및 완료율을 함께 보고할 수 있습니다.
트로피컬 강화학습
Tropical Reinforcement Learning
대규모 언어 모델(LLM)을 위한 강화학습(RL)은 일반적으로 모든 성공적인 궤적의 확률을 합산하여 기대 수익을 극대화합니다. 그러나 고전적인 합산 공식은 모델 정책이 얼마나 자주 성공하는지만 나타낼 수 있을 뿐 어떤 해법이 실제로 작동했는지는 알 수 없으며, 확률의 총합이 1이기 때문에 한 해법을 강화하면 틀렸다고 입증된 적이 없는 다른 해법을 모델이 잊어버리게 만들 수 있습니다. 이로 인해 기대 수익은 구성적 추론(compositional reasoning)에 잘 맞지 않습니다. 구성적 추론에서는 모델이 분리되어 종종 실패하는 시도들 속에서 생성하지만 한 번에 함께 생성하는 경우는 드문 여러 추론 단계들을 조합하여 하나의 해법을 구성해야 하기 때문입니다. 이를 해결하기 위해 우리는 대수 구조의 단순한 변경에 기반한 트로피컬 강화학습(Tropical Reinforcement Learning)을 제안합니다. 대안적 해법들의 확률을 더하는 대신 최댓값을 취하며, 이는 트로피컬 반환(tropical semiring)으로 이어집니다. 이에 따라 상태의 가치는 재생 및 재사용이 가능한 명시적 경로와 함께, 가장 가능성이 높은 검증된 해법의 로그 확률이 됩니다. 이는 서로 다른 롤아웃에서 나온 경우라도 공유된 상태에서 만나는 최선의 접두 문맥과 최선의 접미 문맥을 결합할 수 있으므로 진정한 구성을 가능하게 합니다. 이를 실제로 적용하기 위해, 검증 가능한 결과를 갖는 결정론적이고 재설정 가능한 환경을 위한 학습 알고리즘인 TROPIC을 도입합니다. 네 가지 에이전트 태스크(Sokoban, Countdown, FrozenLake, WebShop)에서 TROPIC은 가장 강력한 온-정책(on-policy) 베이스라인 대비 최대 16%포인트 높은 성능을 보입니다. 따라서 추정기뿐만 아니라 강화학습의 대수 구조를 변경하는 것은 언어 모델의 구성적 추론을 크게 향상시킬 수 있습니다.
ComputerSD: 컴퓨터 사용 에이전트를 위한 실시간 피드백 기반 온라인 자기 증류
ComputerSD: Online Self-Distillation from Real-Time Feedback for Computer-Use Agents
온라인 학습(online training)은 컴퓨터 사용 에이전트(computer-use agent, CUA)가 실행 가능한 환경과의 상호작용을 통해 성능을 개선할 수 있게 한다. 그러나 기존 방법들은 주로 희소한 결과 보상(sparse outcome reward)에 의존하여 중간 행동에 대한 감독(supervision)을 제공하지 못한다. 온-정책 자기 증류(on-policy self-distillation, OPSD)는 특권적 재점수화(privileged rescoring)를 통해 토큰 수준의 학습 신호를 제공하지만, 이를 CUA 온라인 학습에 직접 적용하면 두 가지 문제가 발생한다: 고정된 가이던스(guidance)가 학생(student) 모델의 현재 상태와 어긋날 수 있다는 점, 그리고 가이던스로 인해 유발된 확률 변화가 단계 수준의 정확성(step-level correctness)과 충돌할 수 있다는 점이다. 본 논문에서는 실행된 GUI 전환으로부터의 실시간 피드백을 정책 학습을 위한 가이던스로 변환하는 CUA용 온라인 자기 증류 방법인 ComputerSD를 소개한다. 미세조정된(fine-tuned) GUI 분석기는 각 행동 이후 가이던스와 단계 수준의 가치 점수(value score)를 생성한다; 가이던스는 특권적 맥락(privileged context)을 제공하고, 점수는 그 결과로 생성되는 OPSD 신호를 조절한다. ComputerSD는 완전히 비동기적인(asynchronous) 학습 프레임워크에서 토큰 수준의 OPSD와 궤적(trajectory) 수준의 GRPO를 공동으로 최적화한다. OSWorld-Verified에서 ComputerSD는 범용 Qwen3-VL-8B-Thinking과 특화된 EvoCUA-8B 백본에서 각각 결과 전용(outcome-only) GRPO보다 1.9%p 및 4.1%p 더 높은 성능을 보인다. 분포 외(out-of-distribution) 환경에서의 평가는 ComputerSD의 일반화 가능성(generalizability)을 추가로 뒷받침한다. 이러한 결과는 CUA를 위한 온라인 자기 증류를 통한 실시간 피드백 학습의 효과를 입증한다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
토론
이 논문과 연결된 포럼 글이 아직 없습니다.