계층적 강화학습에서 안전성 확보를 위한 상상
Imagine to Ensure Safety in Hierarchical Reinforcement Learning
한국어 초록
본 연구는 강화학습에서 에이전트가 누적 성능을 최대화하는 동시에 안전 제약을 만족해야 하는 안전 탐험 문제를 조사한다. 이 과제는 장기(horizon) 작업에서 더욱 두드러지며, 기존 안전 방법들은 누적 추정 오류와 제한적인 탐험 능력으로 인해 근본적인 한계에 직면한다. 이 문제를 해결하기 위해, 본 논문은 학습 가능한 세계 모델(world model)과 두 개의 상호 보완적 정책—고수준 정책과 저수준 정책—을 결합하여 계층적 수준 모두에서 안전성을 높이는 방법을 제안한다. 고수준 정책은 탐험을 안전한 영역으로 바이어스하기 위한 중간 부분 목표(subgoal)를 생성하고, 저수준 정책은 학습된 세계 모델에서 상상된 롤아웃(imagined rollout)을 사용하여 이러한 부분 목표에 도달할 때 불안전한 행동을 줄인다. 제안 방법은 고차원 행동 공간을 가진 도전적인 장기 내비게이션 및 조작 작업에서 평가되었으며, 성공률과 강한 경험적 제약 만족 모두에서 기존 안전 강화학습(Safe RL) 베이스라인을 크게 뛰어넘었다. 시드 전반에서 지정된 안전 예산을 일관되게 충족한 반면, 기존 접근법은 이러한 복잡한 장기 시나리오를 효과적으로 해결하지 못했다.
원문 초록
This work investigates the safe exploration problem in reinforcement learning, where an agent must maximize cumulative performance while simultaneously satisfying safety constraints. This challenge becomes even more pronounced in long-horizon tasks, where existing safe methods face fundamental limitations due to compounding estimation errors and restricted exploration capabilities. To address this problem, we propose a method that combines a learnable world model with two complementary policies a high-level policy and a low-level policy to promote safety at both hierarchical levels. The high-level policy generates intermediate subgoals that bias exploration toward safe regions, while the low-level policy uses imagined rollouts in the learned world model to reduce unsafe behaviors when reaching these subgoals. The proposed method was evaluated on challenging long-horizon navigation and manipulation tasks with high-dimensional action spaces, where it significantly outperforms existing Safe RL baselines in both success rate and strong empirical constraint satisfaction, consistently meeting the prescribed safety budget across seeds, while prior approaches fail to effectively solve these complex long-horizon scenarios.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.22509v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
토목 인프라 및 건축물의 협소한 개구부 통과 자율 무인 항공기 내비게이션을 위한 스파이킹 신경망 액터-크리틱 근접 정책 최적화 제어
Spiking Neural Network Actor-Critic Proximal Policy Optimization Control for Autonomous UAV Navigation Through Constrained Openings in Civil Infrastructure and Buildings
제약이 있는 3차원 환경에서 무인 항공기(UAV)의 자율 내비게이션은 로보틱스 분야의 오랜 난제였습니다. 토목 인프라 점검에 자율 무인 항공기를 적용하는 작업에는 교량 점검, 터널 점검, 구조물 점검에서의 활용이 포함됩니다. 제약된 환경에서 무인 항공기의 자율 내비게이션에 심층 강화학습을 적용하는 것은 성공적이었으나, 알고리즘의 연산 비용으로 인해 무인 항공기 자율 내비게이션에 대한 적용이 제한됩니다. 본 논문에서는 제약된 순차적 환경에서 무인 항공기의 자율 내비게이션을 위해 스파이킹 신경망(Spiking Neural Network) 기반 근접 정책 최적화(Proximal Policy Optimization, PPO) 알고리즘의 사용을 제안합니다. 제안된 알고리즘은 스파이크 기반 액터-크리틱 강화학습과 근접 정책 최적화 알고리즘을 통합합니다. 또한 무인 항공기의 자율 내비게이션에 확률적 가우시안 정책을 사용합니다. 제안된 알고리즘은 제약된 3D 환경에서의 무인 항공기 자율 내비게이션에 구현되었습니다. 제안된 알고리즘은 3,000회 이상의 에피소드 중 1,913개의 에피소드를 성공적으로 완수했습니다. 또한 에피소드당 평균 2.10개의 창문을 통과하는 데 성공했으며, 63.77%의 성공률을 달성했습니다. 아울러 알고리즘의 후반 단계에서는 90% 이상의 성공률을 성공적으로 달성했습니다.
계층적 액션 청킹을 이용한 오프라인 강화학습
Offline RL with Hierarchical Action Chunking
오프라인 목표 조건 강화학습(RL)은 정적 데이터셋으로부터 범용 정책을 학습할 수 있다는 가능성을 제공한다. 그러나 이러한 방법을 장기(horizon) 과제로 확장하는 것은 여전히 어려운 과제인데, 이는 horizon의 저주(curse of horizon) 때문이다. 여기서는 가치 추정 오류가 부트스트랩 Bellman 백업의 긴 연쇄를 통해 누적될 수 있다. 기존의 계층적 접근법은 과제를 하위 목표(subgoal)로 분해함으로써 이를 완화하지만, 종종 단기적(myopic) 실행과 편향된 가치 추정을 겪는 저수준(low-level) 제어기에 의존한다. 본 연구에서는 고수준 잠재 계획(latent planning)과 저수준 액션 청킹(action chunking)을 결합한 오프라인 목표 조건 RL 알고리즘인 계층적 암시적 Q-청킹(Hierarchical Implicit Q-Chunking, HiQC)을 제안한다. 저수준 critic을 시간적으로 확장된 액션 시퀀스에 조건화함으로써, HiQC는 편향되지 않은 k-step 가치 백업을 가능하게 하고, 계획 및 실행 수준 모두에서 horizon을 압축한다. 우리는 이 이중 분해가 표준 계층 구조나 평탄(flat) 청킹만 사용하는 경우와 비교하여, 백업당 오류가 유한하게 경계된 모델 하에서 가치 오류에 대한 더 타이트한(tighter) 상한을 가져온다는 것을 이론적으로 보인다. 실험적으로 HiQC는 OGBench 스위트에서 비교된 방법들 중 최고의 종합 성능을 달성했으며, humanoid-giant와 같은 장기 탐색(navigation) 과제에서 가장 큰 이득을 보였다.
보상 인플레이션: 강화학습을 위한 건강한 자극
Reward Inflation: A Healthy Stimulus for Reinforcement Learning
로봇 행동을 위한 fNIRS 기반 오프라인 강화학습 접근법
An offline approach to fNIRS-guided reinforcement learning for robot behavior
NavGPT-3: 계층적 내비게이션 런타임에서 문맥 활용하기
NavGPT-3: Harnessing Context in a Hierarchical Navigation Runtime
장기적(long-horizon) 에이전트 강화학습(RL)으로 학습된 언어 모델은 추론을 통해 지식을 일반화하고, 정밀한 행동을 표현하며, 여러 단계에 걸쳐 목표를 추구할 수 있어 임바디드 에이전트(embodied agent)가 이해하고 결정할 수 있는 한계를 끌어올립니다. 그러나 물리적 상호작용은 조밀하고 지연 시간이 짧은 제어를 제공하는 행동 정책(action policy)의 영역으로 남아 있습니다. 본 논문에서는 두 모델을 연결하는 하네스(harness)이자 그 위에 구축된 OS 유사 런타임을 갖춘 NavGPT-3을 제시합니다. 추론, 행동 및 모니터링은 자체 문맥, 도구 및 권한을 가진 스레드로 실행되며, 런타임은 이를 스케줄링하고 로봇의 모션을 제어할 스레드를 결정하여 인터럽트 및 스레드 전환을 통해 로봇이 갑작스러운 현실 세계의 이벤트에 반응할 수 있도록 합니다. 그 아래에서 1,928만 개의 예제로 학습된 당사의 행동 정책인 NavGPT VLA는 코덱 할당을 사용하여 장면 변화에 비례하여 시각 토큰을 할당합니다. 8B 모델 단독으로도 R2R-CE에서 74.51 SR을 달성하고 RxR-CE에서 78.19 SR로 선두를 달립니다. 완전한 하네스를 갖춘 NavGPT-3은 R2R-CE에서 최고 성능(SOTA, 81.51 SR)을 기록하며 최초로 자율 에이전트를 인간 수준으로 끌어올렸습니다. 즉, RxR-CE에서 에피소드당 인간의 약 3분 대비 1분 22초 만에 성공률(90.43 대 90.4 SR)과 경로 충실도(78.47 대 77.7 nDTW) 모두 인간 팔로워와 일치하는 성능을 보였습니다. 본 연구는 하네스 설계와 두 모델 간의 상호작용을 포괄적으로 제거(ablation) 분석하여, 도구와 행동 정책이 언어 모델 추론에서 물리적 제어로 이어지는 경로를 어떻게 형성하는지 보여줍니다. NavGPT VLA가 경로를 실행할 때 추론 루프가 단축되고 시스템의 최소 반응 시간은 언어 모델 결정당 3~19초에서 행동 정책 단계당 0.5~1초(1~2 Hz)로 감소합니다. 이러한 결과는 이러한 임바디드 인터페이스 설계가 프론티어 언어 모델 지능과 저수준 물리적 제어를 연결하는 데 핵심적임을 보여줍니다. 모든 모델, 코드 및 평가 기록을 공개할 예정입니다.
행동 셰이핑: 정책은 자신이 표현할 수 있는 것을 흡수한다
Action Shaping: Policies Absorb What They Can Express
보상 셰이핑(reward shaping)에는 포텐셜 기반 항을 최적 정책의 변경 없이 제거할 수 있다는 정리가 존재합니다. 반면 학습(training) 중에 오프셋을 더하고 배포 시점에 제거하는 방식의 행동 채널 적용 사례에는 이러한 정리가 없습니다. 행동 오프셋을 상쇄하는 것이 없기 때문에, 이러한 보정은 배포 시 유지되거나 보장 없이 제거됩니다. 본 논문에서는 이를 행동 셰이핑(action shaping)이라 부르고 그 원리를 제시합니다. 학습 가능한 정책은 자체 출력 층(layer)이 정확하게 재현할 수 있는 오프셋을 흡수하며, 여기서 '표현(express)'이란 바로 이를 의미합니다. 흡수된 오프셋은 리턴을 온전히 유지한 채 제거될 수 있습니다. 이의 최소 구현체는 페널티나 스케줄 없이 학습된 행동 가치 함수를 통해 학습하는 액터에 추가된, 학습 가능한 게이트 뒤에 배치된 0으로 초기화된 선형 헤드입니다. 이 게이트는 결정론적 액터와 확률적 액터 모두에서 스스로 상승했다가 하락하며, 20개의 태스크에서 해당 헤드를 제거해도 성능 손실이 거의 발생하지 않습니다. 이때 조건은 용량(capacity)이 아닌 정확한 재현입니다. 더 많은 파라미터를 가진 비선형 헤드는 흡수되지 않으며, 대조군 실험에서 비선형 베이스 헤드에 하나의 선형 경로를 추가하면 흡수 능력이 회복됩니다. 정확한 재현은 손실(loss) 지형에 그래디언트(gradient) 노이즈가 표류할 수 있는 평평한 방향을 제공하며, 오프셋의 진폭은 헤드를 제거하기 전에 이를 제거할 때 발생할 손실을 미리 알려줍니다. 이로써 행동 셰이핑은 셰이핑 정리에 상응하는 흡수 조건과 그 배후의 메커니즘, 그리고 이를 측정하는 진단 지표를 확보하게 됩니다. 정책은 자신이 표현할 수 있는 것만을, 그리고 오직 그것만을 흡수합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.