We study timestep allocation for score-based diffusion sampling, where the learned reverse-time dynamics is discretized on a finite grid. Uniform and hand-crafted schedules are standard, but their fixed, ad hoc prescriptions can be suboptimal. We propose Adaptive Reparameterized Time (ART), a continuous-time control formulation that learns a time change by treating sampling-clock speed as the control, so a uniform grid on the learned clock induces adaptive timesteps in diffusion time and a leading-order Euler error surrogate defines the allocation objective. To solve the resulting high-dimensional deterministic control problem, we introduce ART-RL, an auxiliary randomized Gaussian-policy formulation that turns schedule learning into continuous-time reinforcement learning. We prove ART-RL is equivalent to ART at optimality: the mean of the optimal Gaussian policy solves ART. We further establish policy evaluation and policy improvement characterizations and derive trajectory-based moment identities that yield implementable actor-critic updates. Experiments ranging from controlled low-dimensional settings to image generation show that ART-learned schedules, when plugged into existing samplers by changing only the timestep grid, consistently improve sample quality over strong baselines at matched budgets. The learned schedules also exhibit broad generalizability, transferring without retraining across sampling budgets, data sets, solvers, pipelines, and representation spaces.
보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.
표준 언어 모델(LM) 강화학습(RL) 알고리즘은 긴 롤아웃(rollout)의 모든 토큰에 최종 보상으로 결정되는 동일한 어드밴티지(advantage)를 부여합니다. 액터-크리틱(Actor-critic) 방식은 더 세분화된 신용 할당(credit assignment)을 제공할 수 있지만, 학습된 크리틱은 LLM을 RL로 학습시킬 때 신뢰하기에는 일반적으로 너무 부정확하다고 여겨집니다. 최근 연구들에서는 크리틱이 존재하더라도 기준선(baseline) 추정에만 사용되므로, 모든 궤적(trajectory)을 최종 보상에 도달할 때까지 끝까지 롤아웃해야 합니다. 본 연구에서는 모든 궤적을 완료될 때까지 롤아웃할 필요를 없애는 액션 청킹 기반 액터-크리틱(AC2, Actor-Critic with Action Chunking)을 소개합니다. AC2는 대신 과거 궤적 접두사(prefix)의 짧은 연속 구간인 액션 청크(action chunk)에 신용을 할당합니다. 학습된 크리틱은 각 액션 청크의 끝에서 도달한 상태를 평가하여, 정책(policy)이 최종 보상을 관찰하지 않고도 업데이트될 수 있도록 합니다. 우리는 세 가지 설계 선택을 통해 크리틱 기반 신용 할당의 신뢰성을 확보합니다. 첫째, 특정 문제에서 크리틱이 충분히 정확할 때에만 해당 문제에 크리틱 기반 업데이트를 사용하는 국소 준비도(local readiness)를 도입합니다. 둘째, 가능한 경우 이전의 성공적인 롤아웃에서 얻은 참조 솔루션을 크리틱에 제공합니다. 셋째, 개별 토큰 대신 1만 개 토큰 크기의 액션 청크 단위로 신용을 할당하여 크리틱이 평가할 궤적의 더 유의미한 부분을 제공합니다. 우리는 AC2를 사용하여 FineProofs-RL에서 Qwen3-4B를 학습(training)하고 IMO-ProofBench에서 평가합니다. AC2는 2.5배 적은 디코딩 FLOPs를 사용하면서도 GRPO의 최고 검증(validation) 점수인 18.5%를 능가합니다. 이러한 이득은 두 가지 요인에서 비롯됩니다. (1) AC2는 이 점수에 도달하는 데 25% 적은 학습 스텝을 필요로 하며, (2) 정책이 모든 궤적을 완료될 때까지 지속할 필요가 없으므로 각 스텝마다 더 적은 수의 토큰을 생성합니다. 개념적으로 본 연구는 모든 궤적을 완료될 때까지 롤아웃할 필요성을 제거할 수 있음을 입증하며, LLM RL 알고리즘을 위해 기존에 탐색되지 않았던 광범위한 설계 공간을 새롭게 열어줍니다.
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
대규모 비전-언어 모델(VLM)은 이제 상호작용 환경에서 에이전트로 동작하며, 성공을 위해서는 여러 턴에 걸친 일관된 추론과 의사결정이 필요하다. 에이전트 환경에서의 end-to-end 학습은 이러한 다중 턴 의사결정 능력을 향상시킬 수 있지만, 현재 방법들은 주로 연결된 토큰 궤적에 대한 토큰 단위 최적화, 또는 턴 내 균일한 credit assignment를 가정하는 턴 단위 최적화에 의존한다. 본 연구에서는 두 수준의 최적화에 대한 이론적 정식화를 수립하고, 두 목표를 모두 충족하는 하이브리드 advantage를 도출한다. 또한 적절한 할인 인자와 학습 목표를 선택하면, 통합 critic 모델이 턴 단위와 토큰 단위 모두의 가치를 추정할 수 있음을 증명한다. 이에 따라 하이브리드 advantage와 통합 critic을 활용하여 토큰 수준과 턴 수준 목표를 공동 최적화하는 actor-critic 프레임워크 HyGAE를 제안한다. HyGAE를 다섯 가지 다중 턴 의사결정 환경에서 광범위하게 평가한 결과, 평균 성공률 91%를 달성했으며 다른 방법 대비 10%의 유의미한 향상을 보였다. 또한 하이브리드 advantage와 return의 정확한 해석적 형태가 최적화에 핵심적임을 보이는 심층 분석을 제공한다. 프로젝트 페이지: https://wx-zhang.github.io/hygae-web/
강화학습(RL)은 융합 플라즈마와 자율 주행차부터 약물 발견, 음용수 처리에 이르기까지, 신뢰성이 필수적이고 튜닝 예산이 제한적인 실제 시스템 제어에 점점 더 많이 고려되고 있다. Actor-critic 알고리즘은 정책을 업데이트하는 방식, 행동에 대한 분포를 표현하는 방식, 그래디언트를 추정하는 방식, 그리고 가치 추정기(value estimator) 대비 정책을 얼마나 자주 업데이트하는지와 같은 일련의 설계 결정을 공유한다. 실제 정수 처리장에서 유래한 제어 작업을 사용하여, 33,000건이 넘는 실험을 분석해 이러한 구성요소가 실행 간 변동성과 하이퍼파라미터에 대한 민감도에 어떤 영향을 미치는지 밝힌다. 가우시안(Gaussian) 행동 분포와 pathwise 그래디언트 추정기를 사용하는 일반적인 기본 설정은 가장 신뢰성이 낮은 구성 중 하나인 반면, 적응형 업데이트 스케줄을 갖춘 bounded 분포는 다양한 설정 범위에서 강건하게 유지된다. 이러한 결과는 과학 및 공학 분야의 실무자들에게, actor-critic 방법을 새로운 실제 제어 환경에 적용할 때 이해하고 구성요소 수준에서 결정을 내리는 데 실증적 가이드라인을 제공한다.
최근 몇 년간 사전학습-파인튜닝 패러다임은 인공지능 연구에서 수많은 변혁적인 발전을 이끌어왔다. 그러나 로봇 로코모션을 위한 강화학습(RL) 분야에서는, 동일한 로봇 embodiment에 속하는 모든 과제별 정책들 간에 일반화 가능한 지식이 공유될 가능도가 높음에도 불구하고 개별 기술을 종종 처음부터 학습한다. 본 연구는 이러한 지식을 담아내고, Proximal Policy Optimization(PPO)과 같은 고전적인 액터-크리틱 알고리즘에서 RL 과정을 warm-start할 수 있는 기반으로 이후 활용될 수 있는 신경망 모델의 사전학습 패러다임을 정의하는 것을 목표로 한다. 우리는 과제에 무관한 탐험 기반 데이터 수집 알고리즘으로 시작하여 다양하고 동적인 전이(transition) 데이터를 수집하며, 이를 지도 학습을 통해 Proprioceptive Inverse Dynamics Model(PIDM)을 학습하는 데 사용한다. 사전학습된 가중치는 그다음 액터 및 크리틱 네트워크 양쪽에 로드되어 실제 과제의 정책 최적화를 warm-start한다. 제안 방법을 3가지 서로 다른 로봇 embodiment로 구성된 9개의 서로 다른 로봇 로코모션 RL 환경에서 체계적으로 검증하였으며, 이 초기화 전략의 상당한 이점을 보였다. 제안 접근법은 무작위 초기화와 비교하여 평균적으로 샘플 효율을 36.2%, 과제 성능을 4.3% 향상시킨다. 또한 본 방법의 효과성 이면의 메커니즘을 밝히는 핵심 ablation 연구 및 실증 분석을 제시한다.
We study model-free methods for distributionally robust infinite-horizon average-reward Markov decision processes (MDPs). We present non-asymptotic convergence analyses of Q-learning and actor-critic algorithms for robust average-reward MDPs under contamination, total-variation distance, and Wasserstein uncertainty sets. A key ingredient of our analysis is showing that the optimal robust Bellman operator is a strict contraction with respect to a carefully designed semi-norm. This property enables a stochastic approximation update that learns the optimal robust $Q$-function with $\tilde{\mathcal{O}}(ε^{-2})$ dependence on the target accuracy. We also establish robust TD convergence bounds whose constants are uniform over all stationary policies, yielding an efficient data-driven routine for robust critic estimation. Building on this, we introduce an actor-critic algorithm that learns an $ε$-optimal robust policy with $\tilde{\mathcal{O}}(ε^{-2})$ dependence on the target accuracy. We provide numerical simulations to illustrate the qualitative behavior of the proposed algorithms. Our results contribute to the theoretical foundations of robust planning under model misspecification and to model-free approaches for building robust long-run policies directly from simulation data.
전례 없는 데이터 전송 속도, 초저지연, 유비쿼터스 연결성을 특징으로 하는 6G 네트워크 시대가 도래함에 따라, 가상화 네트워크 기능(VNF)의 효과적인 관리가 필수적이다. VNF는 유연하고 확장 가능한 서비스 프로비저닝을 가능하게 하는 기존 하드웨어 장치의 소프트웨어 기반 대응물이다. VNF의 순서 있는 시퀀스로 구성된 서비스 기능 체인(SFC)은 복잡한 네트워크 서비스를 제공하는 데 핵심적인 역할을 한다. 그러나 SFC를 여러 세그먼트로 분할하여 서로 다른 네트워크 도메인이나 인프라 위치에 배포하는 것은, 도메인 특성의 잠재적 이질성과 서비스 품질(QoS) 제약, 그리고 네트워크 상태에 대한 제한적인 가시성으로 인해 상당한 어려움을 수반한다. 기존의 최적화 방법은 확장성이 제한적이며, 기존 데이터 기반 접근법은 효율성과 SFC 내 VNF 상호 의존성 포착 간의 균형을 맞추는 데 어려움을 겪는다. 이러한 한계를 극복하기 위해, 우리는 순서 인식 SFC 분할을 위해 특별히 설계된 트랜스포머 기반 액터-크리틱 프레임워크를 제안한다. 셀프-어텐션 메커니즘을 활용함으로써, 본 접근법은 VNF 간의 복잡한 상호 의존성을 효과적으로 모델링하여 조율된 병렬 의사결정 과정을 촉진한다. 또한, 학습 안정성과 수렴을 향상시키기 위해 $ε$-LoPe 탐험 전략과 Asymptotic Return 정규화를 도입한다. 종합적인 시뮬레이션 결과는 제안된 방법론이 장기 서비스 수용률, 자원 활용도, 확장성 측면에서 기존 최신 솔루션을 능가하는 동시에 빠른 추론을 달성함을 보여준다.
Gaussian Histogram Loss(HL-Gauss)를 강화학습(RL)의 가치 함수 학습에 적용할 때 사전에 고정된 지지 구간(support interval)을 지정해야 하는 문제를 해결하기 위해, 이 연구는 지지 구간의 하한과 상한을 동적으로 학습하는 DySEL 알고리즘을 제안한다. 제약 최적화 문제를 적대적 min-max 게임으로 공식화하여 지지 구간 너비를 최소화하면서도 목표 분포를 충분히 포함하도록 하며, 연속 제어 태스크에서 고정 지지 구간 기반 HL-Gauss와 동등하거나 일부 태스크에서 더 우수한 성능을 달성한다.
연속 제어 강화학습에서 다봉(multimodal) 행동 분포와 불확실한 수익 분포를 동시에 모델링하기 위해, 조건부 플로우 매칭(CFM)을 활용한 통합 액터-크리틱 프레임워크 Dual-Flow RL을 제안한다. 여기에 정책 엔트로피와 행동 불확실성 공분산을 결합한 ECER(Entropy-Covariance Exploration Regulator)를 도입하여 상태 인식 탐험 조절을 가능하게 하였으며, DeepMind Control Suite와 Humanoid-Bench에서 기존 확산 기반 및 플로우 기반 방법 대비 최고 성능을 달성했다.
기존의 확률적 미분 게임(SDG) 프레임워크에서 매개변수 오지정 및 갑작스러운 구조적 환경 변화를 해결하기 위해, 본 논문은 연속 상태, 이산 레짐 상태, 매개변수에 조건부로 최적 전략을 행동에 대한 확률 분포로 특성화하는 분포적 제어 접근법을 도입한다. 이는 레짐 전환 점프-확산 과정에서의 엔트로피 정규화 제로섬 확률적 미분 게임(ERRL-ZSSDGs)을 위한 강화학습 프레임워크를 구성한다. 동적 프로그래밍 원리(DPP)를 활용하여 연립 Hamilton-Jacobi-Bellman-Isaacs(HJBI) 방정식 시스템을 도출하며, 이로부터 균형 전략이 가치 함수의 기울기를 통해 표현된다. 선형-이차 문제의 경우, 연립 상미분 방정식(ODE) 시스템을 풀어 가치 함수와 균형 전략 모두에 대한 반해석적 해를 구한다. 보다 일반적인 설정에서는 서로 다른 레짐에 걸쳐 가치 함수와 균형 정책을 근사하기 위한 액터-크리틱 정책 개선 알고리즘이 개발된다. 이 방법을 투자 게임에 적용하고, 수치 예제를 통해 온도 매개변수와 레짐 전환이 최적 정책 및 가치에 미치는 영향을 보여준다.
이산시간 전이 데이터만으로 알 수 없는 McKean-Vlasov 동역학 하에서 연속시간 평균장 제어를 다루기 위해, 와서스타인 공간 위 연속시간 편미분방정식에 단일 스텝 추정기를 넣은 MF-PhiBE를 제안하고 엔트로피 정규화 정책의 정책 그래디언트 정리와 결합해 모델 프리(model-free) 액터-크리틱(actor-critic) 방법을 만든다. 최적 MF-PhiBE 정책의 가치가 연속시간 최적 가치를 Δt 차수 오차로 근사함을 증명했고, 선형-이차(LQR) 경우에는 단일 스텝 데이터로 2차 정확도를 달성하며 LQR 벤치마크와 군중 기피 문제에서 수치적으로 검증했다.
액터-크리틱 강화학습(RL)의 네트워크 아키텍처 자동 탐색을 위해 EVOM이라는 에이전트 기반 메타-진화 프레임워크를 제안하며, 저충실도 근접 정책 최적화(PPO)로 가중치를 학습하는 내부 루프와 정책 실행과 분리된 대규모 언어 모델(LLM) 설계 에이전트가 아키텍처 프로그램을 개선하는 외부 메타-진화 루프로 이중 수준 최적화를 구성한다. Ant-v4와 HalfCheetah-v4에서 수동 설계 기준선, LLM 유도 무작위 탐색, MLES를 능가하는 성능을 보였고, 메타-진화 루프와 LLM 설계 에이전트가 최종 성능에 필수적임을 절제 연구로 확인했다.
무한 수평선 평균 보상(average-reward) 강화학습(RL)에서 충돌하는 다중 목표와 안전 제약을 오목 스칼라화(concave scalarization)로 풀 때, 노이즈가 있는 평균 보상·비용 추정으로 인해 policy-gradient와 actor-critic 업데이트에 편향(bias)이 누적되는 문제를 다룬다. MLMC 기반 primal-dual Natural Actor-Critic 알고리즘으로 스칼라화 목표, 제약 평가, actor-critic 추정의 편향을 mixing-time 정보 없이 제어하며, 전역 수렴과 제약 위반률 Õ(1/√T)의 최적 비율을 보인다.
이 논문은 뉴스 헤드라인과 관련된 이미지 생성에 초점을 맞춘 MediaEval NewsImages 2026 챌린지를 위한 CERTH-ITI 솔루션을 소개한다. 강화학습의 Actor-Critic 패러다임에서 영감을 받아, 우리는 테스트 타임(test-time), 모델 독립적(model-agnostic) Actor-Critic 이미지 생성 접근법(ACIG)을 제안한다. ACIG는 이미지 생성을 위한 프롬프트를 생성하고, 이미지를 생성하며, 생성된 결과를 평가하고, 필요한 경우 피드백 루프에서 이미지 생성 프롬프트를 그에 맞게 정교화한다. ACIG는 챌린지 리더보드에 따르면 NewsImages 2026 챌린지에서 최고의 결과를 달성했다.
오프라인 강화학습은 일반적으로 과정(process) 수준 보상 지도 하에서 분석되지만, 많은 순차적 의사결정 데이터셋은 궤적(trajectory) 수준 결과만 기록합니다. 우리는 이러한 결과(outcome) 수준 지도로부터의 오프라인 정책 최적화를 위한 통계 이론을 개발합니다. 우리는 먼저 목표가 기대 누적 보상으로 유지되지만, 각 오프라인 궤적은 누적 수익이 조건부 평균인 스칼라 라벨만 제공하는 표준 설정을 연구합니다. 우리는 잠재 보상 모델을 학습하고 궤적 수준 라벨로부터 정책을 최적화하는 비관적(pessimistic) 액터-크리틱 알고리즘인 OPAC를 제안합니다. 우리는 $\widetilde O(H^2\sqrt{C_{sa}(π^\star)/n})$ 차수의 고확률 보장과 이에 일치하는 하한을 증명하여, 과정 수준 보상을 하나의 궤적 수준 라벨로 대체하는 것의 정확한 통계적 비용을 특성화합니다. 그런 다음 우리는 이 원리를 선호(preference) 기반 피드백으로 확장하여, 선호 모델 상수까지 선행 호라이즌(horizon)과 집중 가능성(concentrability) 의존성을 보존합니다. 마지막으로, 우리는 지도와 목표가 모두 잠재 단계별 보상의 비선형 집계에 의해 유도되는 궤적 수준 양인 일반화된 결과 기반 오프라인 강화학습을 연구합니다. 이 문제는 일반적으로 학습이 불가능합니다. 전체 성공(all-success) 목표의 경우, 결정론적 전이와 상수 집중 가능성이 있더라도 모든 오프라인 학습기는 $Ω(2^H)$ 개의 궤적이 필요할 수 있습니다. 그런 다음 우리는 결과 집계와 일반화된 벨만 업데이트에서의 정보 손실을 포착하는 두 구조 계수 $κ_μ(σ)$와 $χ_μ(σ)$를 통해 해석 가능한 체제를 식별하며, 이 체제에서 일반화된 OPAC는 다항식 샘플 복잡도를 달성합니다. 종합하면, 우리의 결과는 결과 수준 지도가 언제 샘플 효율적인 오프라인 제어를 가능하게 하고, 누락된 과정 수준 보상이 언제 근본적인 통계적 장벽을 만드는지 명확히 합니다.
본 논문에서는 일반적인 시간 비일치 제어 문제에서 결정론적 균형 정책을 학습하기 위한 연속 시간 모델 프리(model-free) 강화학습 알고리즘을 개발합니다. 확장된 Hamilton-Jacobi-Bellman(HJB) 시스템을 활용하여, 원래의 시간 비일치 문제를 동등한 2단계 문제로 재구성합니다. 첫 번째 단계에서, 주어진 보조 함수(auxiliary functions)에 대해 결정론적 정책 그래디언트 접근 방식을 사용하여 보조 시간 일치 제어 문제에서 최적 정책을 학습합니다. 두 번째 단계에서, 업데이트된 정책이 주어지면 보조 함수를 학습하기 위해 내부 고정점 반복(inner fixed point iterations) 및 일부 마팅ale 특성(martingale characterizations)을 활용합니다. 이론적 기여로서, 몇 가지 약한 모델 가정을 제시하고 내부 고정점 반복의 수렴(convergence)을 증명합니다. 두 단계에 걸쳐 이 액터-크리틱(actor-critic) 스타일의 반복을 수행함으로써, 우리의 알고리즘은 다양한 시간 비일치의 원인 하에서 균형을 통합적인 방식으로 학습하는 것을 목표로 합니다. 제안된 알고리즘의 우수한 성능은 시간 비일치성을 가진 두 가지 고전적인 금융 응용 분야인 평균-분산 포트폴리오 관리 및 비지수 할인(non-exponential discounting) 하의 최적 추적 포트폴리오를 통해 입증됩니다.
우리는 경량 트랜스포머로 궤적 컨텍스트를 모델링하고 집계된 N-스텝 타깃으로 학습하는 Soft Actor-Critic(SAC)을 위한 시퀀스 조건부 크리틱을 제안한다. (i) 상태-행동 쌍을 독립적으로 평가하거나, (ii) 장기 구간 처리를 위해 액터 측 행동 청킹에 의존하는 기존 방법들과 달리, 본 방법은 짧은 궤적 세그먼트를 조건으로 하여 중요도 샘플링(IS) 없이 다단계 리턴을 통합함으로써 크리틱 자체를 강화한다. 이렇게 얻은 시퀀스 인식 가치 추정값은 장기 구간 및 희소 보상 문제에서 핵심적인 시간적 구조를 포착한다. 로컬 모션 벤치마크에서는 크리틱 파라미터를 몇 스텝 동안 동결하면 본 방법의 업데이트가 CrossQ의 핵심 아이디어와 호환되어 타깃 네트워크 없이도 안정적인 학습이 가능함을 추가로 보인다. 128-256 은닉 유닛의 2층 트랜스포머와 최대 업데이트-데이터 비율(UTD) 1이라는 단순한 구조에도 불구하고, 본 방법은 표준 SAC 및 강력한 오프-정책 기준 모델들을 지속적으로 능가하며, 특히 장기 궤적 제어에서 큰 성능 향상을 보인다. 이러한 결과는 장기 구간 강화학습에서 크리틱 측 시퀀스 모델링과 N-스텝 부트스트래핑의 가치를 잘 보여준다.