PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13731v2cs.LG

DAGR: 차이 인식 목표 크로스 어텐션을 통한 상태 조건부 목표 표현

DAGR: State-Conditioned Goal Representations via Difference-Aware Goal Cross-Attention

목표 조건부 강화학습(Goal-conditioned reinforcement learning)의 성패는 목표가 어떻게 인코딩되는지에 달려 있습니다. 대조(contrastive), 메트릭(metric), 시간적 거리(temporal-distance) 및 정보이론적 인코더들은 각자의 목적함수에서 의견 차이를 보이지만, 한 가지 점에서는 일치합니다. 바로 그 어떤 인코더도 현재 상태를 보지 못한다는 점이며, 따라서 임베딩은 목표의 어느 부분이 여전히 행동을 필요로 하는지 표시할 수 없고, 정책은 두 인코더를 역산하여 해당 단서를 복원해야만 합니다. 본 논문에서는 다중 스케일 게이트 크로스 어텐션을 통해 임의의 후기 융합(late-fusion) 인코더의 정적 임베딩을 상태 조건부 임베딩으로 정제하는 DAGR을 제안합니다. 게이트 잔차(gated residual) 연결은 정제된 표현이 기본 표현 근처에 머물도록 유지하며, 차이 인식(difference-aware) 어텐션 규칙은 토큰별 상태-목표 불일치 정도를 바탕으로 점수에 바이어스를 부여합니다. 이러한 정제가 무엇을 보장할 수 있는지는 단 하나의 조건, 즉 게이트가 닫혔을 때 해당 블록이 입력을 그대로 반환하는지 여부에 의해 결정됩니다. 본 연구에서는 일반적인 포스트-정규화(post-norm) 배치가 이 조건을 위배함을 증명하고, 동결된 체크포인트에 미치는 영향을 측정하며, 해당 조건을 복원함으로써 결과적인 손실의 일부를 회복합니다. OGBench에서 DAGR은 내비게이션 성능을 향상시키며, 다른 영역에서는 기본 모델과 대등하거나 다소 뒤처지는 성능을 보입니다. 어블레이션 연구에 따르면 이러한 성능 향상은 본 방법의 이름에 포함된 차이 바이어스보다는 게이트 잔차에서 비롯된 것으로 나타났습니다. 코드는 https://github.com/leixingxing1/DAGR 에서 확인할 수 있습니다.

arXiv:2606.21136v1cs.LG

Horizon Adaptive Offline Policy Learning via Value Stitching

Learning accurate value functions plays a decisive role for reinforcement learning (RL) agents to solve long-horizon, complex tasks. Conventional temporal-difference (TD) learning objectives suffer from value-estimation bias that accumulates over the horizon, while extended-horizon modeling methods, such as n-step TD backups and Q-chunking, adopt a rigid, fixed-horizon value-modeling recipe that is often not flexible enough to capture complex value structures in long-horizon, multi-stage tasks. In this paper, we show that enabling value updates with dynamic horizon composition can yield a strong offline policy learning scheme. Our method, Horizon Adaptive Offline Policy Learning via VAlue STitching (VAST), replaces fixed-horizon backups with recursive, horizon-adaptive value composition. Its key ingredient is to couple value optimization with a future state- and horizon-length-conditioned auxiliary value function that is learned through direct data supervision, and a stitching policy that optimally selects the reward-maximizing horizon length and future sub-goal to achieve horizon-adaptive value stitching. This design enables direct estimation and compositional "stitching" of variable-length returns grounded in actionable sub-goal states, providing an accurate and greedily exploitable value-supervision signal for offline policy optimization. Across 50 tasks on OGBench, VAST outperforms fixed-step, extended-horizon methods, and generative-value offline RL baselines, achieving strong performance particularly in high-complexity, long-horizon decision-making tasks.