Deep Reinforcement Learning for Localizability-Enhanced Navigation in Dynamic Human Environments
원문 초록
Reliable localization is crucial for autonomous robots to navigate efficiently and safely. Some navigation methods can plan paths with high localizability (which describes the capability of acquiring reliable localization). By following these paths, the robot can access the sensor streams that facilitate more accurate location estimation results by the localization algorithms. However, most of these methods require prior knowledge and struggle to adapt to unseen scenarios or dynamic changes. To overcome these limitations, we propose a novel approach for localizability-enhanced navigation via deep reinforcement learning in dynamic human environments. Our proposed planner automatically extracts geometric features from 2D laser data that are helpful for localization. The planner learns to assign different importance to the geometric features and encourages the robot to navigate through areas that are helpful for laser localization. To facilitate the learning of the planner, we suggest two techniques: (1) an augmented state representation that considers the dynamic changes and the confidence of the localization results, which provides more information and allows the robot to make better decisions, (2) a reward metric that is capable to offer both sparse and dense feedback on behaviors that affect localization accuracy. Our method exhibits significant improvements in lost rate and arrival rate when tested in previously unseen environments.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
소규모 언어·비전-언어 모델 웹 에이전트에서 GRPO의 학습률 게이팅 실패: 통제된 null과 그 메커니즘
A Learning-Rate-Gated Failure of GRPO in a Small Language and Vision-Language Model Web Agent: A Controlled Null and Its Mechanism
검증 가능한 보상을 사용한 강화학습, 특히 Group Relative Policy Optimization(GRPO)은 이제 더 강력한 에이전트를 만들기 위해 지도학습 체크포인트 위에서 일상적으로 수행된다. 우리는 이것이 4B~8B 규모의 소규모 언어 및 비전-언어 모델 웹 에이전트에 기술을 더하는지, 아니면 지도학습 모델이 이미 갖춘 행동을 대부분 재형성하는지 묻는다. 학습률, KL 가중치, 시드, 초기화, 클리핑을 바꾼 18회 실행의 통제 격자에서, 어떤 설정도 에이전트가 대부분 숙달한 작업에서 강력한 지도학습 기준선의 성공률을 신뢰할 수 있게 개선하지 못했다. 텍스트 트랙에서는 중간에서 높은 학습률이 이를 신뢰할 수 있게 악화시킨다. null은 쌍체 검정, 25개 평가 시드, 6개 학습 시드, 레시피 변경, 텍스트 및 Set-of-Marks 스크린샷 관측 모두, 그리고 백본을 8B로 스케일링하는 경우에도 성립한다. 신뢰할 수 있는 해로는 텍스트 트랙의 발견이며 Set-of-Marks에서는 명목상에 불과하다. null이 설정을 반영하는 것이지 고장 난 파이프라인을 반영하는 것이 아님을 보이기 위해, 샘플링으로 보상에 도달 가능한 작업에 동일한 하네스, 보상, 레시피를 실행했고, 거기서는 성공률이 22포인트 상승하며 0을 제외하는 쌍체 구간을 보였다. 따라서 GRPO는 오를 여지가 있을 때만 도움이 되며, 이는 샘플링 정책이 이미 탐욕(greedy) 정책보다 더 자주 성공한다는 뜻이다. 그다음 실패를 설명한다. 중간 학습률은 에이전트를 저하시키고 높은 학습률은 에이전트를 붕괴시키며, 두 체제는 이중 분리(double dissociation)를 이룬다. 그래프팅(grafting)은 저하 체제를 어텐션 및 MLP 블록으로 국소화하는 반면, 붕괴 체제는 어떤 단일 그룹에도 추적할 수 없고, 가중치 이동을 지배하는 임베딩 변화는 인과적으로 무효(causally inert)하다. 4B에서는 후반 레이어의 유효 rank(effective rank)가 양방향으로 성능을 추적한다. 8B에서는 둘이 분리된다. 이 결합은 더 작은 모델에 특정되므로, 우리는 이를 규모 의존적(scale-dependent)으로 보고한다.
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
인간 참여형 강화학습은 로봇 행동을 사용자 선호에 맞게 학습, 미세조정, 정렬하는 데 널리 쓰이는 접근법이 되었다. 본 논문은 기능적 근적외선 분광법(fNIRS)을 통한 뇌 신호를 이용하여 시뮬레이션에서 로봇 학습을 조절하는 것의 실현 가능성을 탐구한다. 수동적(관찰적) 상호작용 과제와 능동적(시연적) 상호작용 과제로 학습된 에이전트를 비교하고, 대체보다 매개변수 증강에 초점을 맞추어 신경 신호로 RL 알고리즘을 강화하는 여러 방법을 시험한다. 또한 모델의 세분성과 잡음이 에이전트 학습에 미치는 영향을 조사한다. 결과는 이 프레임워크가 효과적임을 보여 준다. 신경 신호는 궤적 우선순위와 상태-행동 q-타깃을 증강할 때 학습을 개선한다. 아울러 이 프레임워크는 오프라인 데이터로부터 성공적으로 학습하므로, 실시간 BCI 설정이 비현실적이거나 제한된 데이터만 이용 가능한 환경에 실용적인 대안을 제공한다.
유클리드 클리핑을 넘어서: 리만 등거리 정책 최적화를 통한 LLM 강화학습 내 탐험 붕괴 극복
Beyond Euclidean Clipping: Overcoming Exploration Collapse in LLM RL via Riemannian Isometric Policy Optimization
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 지배적인 패러다임이 되었다. 그러나 PPO-Clip을 사용하는 강화학습 알고리즘은 본질적으로 탐험(exploration) 붕괴라는 한계를 지닌다. 이후 연구들은 주로 휴리스틱에 머물러 있으며 PPO-Clip 실패의 본질적인 원인을 규명하지 못하고 있다. 본 연구는 PPO-Clip의 근본적인 결함을 밝힌다: PPO-Clip은 유클리드 메트릭을 사용하여 정책 불일치를 암묵적으로 측정하는데, 이는 정책 리만 다양체의 내재적 기하구조와 이론적으로 불일치한다. 이러한 기하학적 불일치는 저확률 영역에서는 지나치게 보수적인 업데이트를, 고확률 영역에서는 공격적인 업데이트를 초래하여 결국 탐험을 붕괴시킨다. 이러한 기하학적 결함을 수정하기 위해, 우리는 리만 다양체 위에서 등거리 정책 업데이트를 보장하여 탐험과 활용(exploitation)의 균형을 효과적으로 맞추는 Riemannian Isometric Policy Optimization(RIPO)을 제안한다. 나아가 우리는 RIPO가 유리한 바이어스(bias)-분산 트레이드오프를 달성하여 최적화를 안정화함을 보인다. 광범위한 실험을 통해 RIPO가 7개의 경시대회 수준 벤치마크 전반에서 기존 LLM 강화학습 알고리즘을 크게 능가함을 입증한다(AIME24에서 GRPO 대비 최대 60% 향상).
극한 커널 Q($\lambda$): 단기 및 장기 시계의 간극 잇기
Limiting-Kernel Q($\lambda$): Bridging Short and Long Horizons
가치 기반 강화학습(RL)에서는 정책 평가(policy evaluation)의 정확도를 개선하는 것이 다운스트림 정책 최적화(policy optimization) 성능 향상으로 이어진다는 점이 입증되어 왔다. 널리 채택되는 $n$-단계 절단($n$-step truncation) 기반의 근사 기법군은 계산 효율적인 가치 추정기(value estimator)를 제공하지만, 본질적으로 짧은 평가 시계(horizon)에 국한된다. 반대로 전이 동역학(transition dynamics)의 전역적 구조를 활용하는 방법들은 정책 평가를 가속할 수 있으나, 메모리 및 계산 요구량으로 인해 대규모 또는 연속 상태 공간으로의 확장성이 종종 제한된다. 이러한 한계를 절충하기 위해, 본 논문에서는 $n$-단계 절단과 극한 커널(limiting kernel, LK) 기반의 장기 시계 근사를 결합한 오프-정책(off-policy) 가치 추정기인 Limiting-Kernel Q($\lambda$) (LKQL)을 제안한다. LKQL은 $n$-단계 추정기와 동일한 수준의 복잡도를 가지며, 온-정책(on-policy) 및 오프-정책 액터-크리틱(actor-critic) 알고리즘 모두에 직접 통합될 수 있다. 본 연구는 비주기성(aperiodicity) 조건과 준 온-정책(near-on-policy) 영역에서, 충분히 큰 $n$에 대해 LKQL의 기반 연산자가 절단 연산자에 비해 정책 평가의 수렴 속도를 향상시킴을 증명하고, 고정된 행동 정책 하의 유한 마르코프 결정 과정(MDP)에서 LKQL 자체가 최적 가치로 거의 확실히(almost surely) 수렴함을 증명한다. MuJoCo 연속 제어 벤치마크(benchmark)에서 LKQL은 대부분의 설정, 특히 장기 시계 작업에서 $n$-단계 베이스라인보다 성능이 향상됨을 보여준다.
검증 가능한 은닉 동역학 플레이: 풀린 메커니즘으로부터 에이전틱 RL 환경 생성
Verifiable Hidden Dynamics Play: Generating Agentic RL Environments from Solved Mechanisms
언어 모델 에이전트는 점점 더 변화하는 상태, 상호 의존적 결정, 지연된 결과를 갖는 장기(horizon) 과제에 더 자주 직면한다. 학습을 스케일링하려면 다양한 에이전틱 환경, 신뢰할 수 있는 결과 신호, 낮은 확장 비용이 필요하다. 기존 생성 파이프라인은 결과 규칙을 정의하거나 궤적에 주석을 달기 전에 환경을 구�하는 경우가 많아, 동역학과 평가가 사후적으로 맞춰지도록 남긴다. VHD-Play는 코퍼스 기반 setter가 의사결정 과정을 상태ful 도구(stateful tools)로 렌더링하기 전에 수학적 모델을 샘플링하고 풀어 이 의존 관계를 뒤집는다. 실행 가능한 동역학과 궤적 채점 기준은 동일한 풀린 모델에서 그대로 이어받는다. 이 파이프라인은 환경당 몇 센트 수준의 비용으로 3,300개의 다양한 에이전틱 환경을 만든다. 세 가지 패밀리로 Qwen3.6-35B-A3B를 학습하면 다섯 패밀리 진단에서 평균 에이전틱 점수가 0.204에서 0.815로 올라간다. 이득은 세 학습 패밀리 모두의 홀드아웃 인스턴스와 여덟 개의 보지 못한 메커니즘 패밀리에서도 나타나며, 생성된 기질(substrate)을 넘어 일반 함수 호출, 여행 계획, 365일 전자상거래용 외부 벤치마크까지 확장된다. E-Commerce Bench에서는 학습된 체크포인트가 파산 없이 모든 실행을 완료하며 Qwen3.7-Max를 넘긴다. 서면으로 풀어낸 문제와 매개변수를 공개하거나 숨기는 상태ful 버전을 비교한 결과, 학습 가능한 격차의 대부분은 근본적인 문제 해결보다 상태ful 상호작용에 있다. 고정(frozen) 35B setter는 더 큰 환경을 구현하고, 규모에 맞춘(scale-matched) 학습은 메커니즘 크기와 horizon가 커질수록 이득을 유지하여, 진화하는 학습 기질의 잠재력을 시사한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.