적응적 보상 형성 및 정책 비율 재가중 전략을 통한 샘플 효율적 전이 강화학습
Sample-efficient Transfer Reinforcement Learning via Adaptive Reward Shaping and Policy-Ratio Reweighting Strategy
한국어 초록
전이학습은 소스 태스크의 지식을 재사용하여 정책 학습 효율을 높이며, 안전하고 효율적인 자율 주행 고속도로 차선 변경 의사결정을 위한 실현 가능한 패러다임을 제공한다. 기존 방법은 소스와 타깃 도메인 간 분포 이동으로 유발되는 전이 불일치를 빈번히 겪어 학습 진동과 성능 저하를 초래한다. 또한 타깃 도메인 적응은 탐험적 상호작용에 의존하므로, 안전이 중요한 차선 변경 상황에서 학습 안전성을 보장하기 어렵다. 이러한 한계를 해결하기 위해, 본 논문은 자율 주행 고속도로 차선 변경을 위한 안전 전이 강화학습 프레임워크를 제안한다. 첫째, 순간 안전 비용에 기반한 적응적 교사 개입 메커니즘을 설계하여 위험한 탐험을 억제하고 개입 강도를 점진적으로 감쇠시키며, 혼합 행동 정책에 대한 수익(return) 상한에 대한 이론적 분석을 제공한다. 이 개입은 또한 공동 학습을 위한 이중 소스 샘플을 생성한다. 둘째, 교사 유도 안전 전이 모듈은 보상 형성을 통해 교사 정책의 행동 평가 정보를 학생 학습에 내재화하여 학습 안전성과 효율을 높이며, 정책 안전성이 향상됨에 따라 교사 유도는 감쇠한다. 셋째, 교사 유도 가중 최적화 메커니즘은 가능도 비율 요인을 사용하여 정책 최적화에서 샘플 가중치를 조정하고 전이 성능을 안정화한다. 다양한 교통 밀도 하에서의 실험과 실제 NGSIM 데이터셋 검증 결과, 본 방법은 안전성에서 기준선 접근법 대비 52.2% 이상, 학습 효율에서 5.0% 이상 뛰어난 성능을 보였다. 결과는 다양한 교통 조건 하에서 자율 주행 고속도로 차선 변경을 위한 안전 인식 전이 전략의 효과와 견고성을 검증한다.
원문 초록
Transfer learning improves policy learning efficiency by reusing knowledge from source tasks, providing a feasible paradigm for safe and efficient autonomous highway lane changing decision-making. Existing methods frequently encounter transfer mismatch induced by distribution shifts between source and target domains, leading to training oscillation and performance decline. Besides, target domain adaptation depends on exploratory interactions, which struggles to guarantee training safety in safety-critical lane changing cases. To tackle these limitations, this paper proposes a safe transfer reinforcement learning framework for autonomous highway lane changing. First, we design an adaptive teacher intervention mechanism based on instantaneous safety cost to restrain risky exploration and fade intervention strength progressively, with theoretical analysis on return bounds for mixed behavior policy. This intervention also produces dual-source samples for joint training. Second, a teacher-guided safe transfer module embeds action evaluation information of teacher policy into student learning via reward shaping to boost training safety and efficiency, with teacher guidance decaying as policy safety rises. Third, a teacher-guided weighted optimization mechanism adjusts sample weights in policy optimization using a likelihood ratio factor to stabilize transfer performance. Experiments under varied traffic densities and validations on real-world NGSIM dataset reveal that our method surpasses baseline approaches by over 52.2% in safety and 5.0% in learning efficiency. Results verify the efficacy and robustness of our safety-aware transfer strategy for autonomous highway lane changing under various traffic conditions.
요약
자율 주행 고속도로 차선 변경을 위한 안전 전이 강화학습(RL) 프레임워크로, 순간 안전 비용 기반 적응적 교사 개입, 보상 형성(reward shaping)을 통한 교사 유도 학습, 가능도 비율 기반 샘플 가중 최적화를 결합해 전이 불일치와 위험한 탐험을 완화한다. 다양한 교통 밀도와 NGSIM 데이터셋 실험에서 기준선 대비 안전성 52.2% 이상, 학습 효율 5.0% 이상 향상을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.26527v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
AlphaNIST: 이진 작업 보상으로부터 발현되는 조립 기술
AlphaNIST: Emergent Assembly Skills from Binary Task Rewards
NIST Assembly Task Board #1은 로봇 조작(robotic manipulation) 분야의 학습(training) 기반 방법론에 여전히 까다로운 벤치마크(benchmark)입니다. 단기적으로는 작고 정밀하게 맞물리는 부품에 대한 정밀하고 접촉이 빈번한 제어가 요구되며, 장기적으로는 확장된 행동 시퀀스 전반에 걸친 복구 및 조율 능력이 필요합니다. 그동안 데모(demonstration), 작업 분해, 조밀한 진행 보상(reward)은 조립 방법에 대한 지침을 제공함으로써 연구 발전을 이끌어왔습니다. 하지만 전략을 얼마나 구체적으로 명시해야 할까요? AlphaGo에서 AlphaGo Zero로의 발전은 대규모 강화학습(RL)이 이기는 방법을 규정하지 않고도 초인적인 전략을 발견할 수 있음을 보여주었습니다. AlphaNIST는 희소한 이진 작업 보상과 이러한 작업 무관(task-agnostic) 보상이 허용하는 작업 다양성을 통해 로봇이 유사하게 조립 방법을 스스로 발견할 수 있는지 묻습니다. 시뮬레이션 환경에서 데모, 진행 셰이핑(progress shaping), 스크립트 기반 프리미티브, 작업별 튜닝 없이 NIST Assembly Task Board #1의 전체 20개 조립 작업에 대해 단일 정책을 처음부터(from scratch) 학습시켜 98.2%의 전체 학습 성공률을 달성했습니다. 또한 본 프레임워크는 정해진 순서 없이 단일 에피소드에서 10개의 조립 쌍을 완료하도록 정책을 학습시키며, 작업 성공 보상은 10개 쌍이 모두 동시에 완료될 때만 주어집니다. 학습된 정책은 정교한 파지(grasping) 선택, 주변 형상을 활용한 부품 재정렬, 명시적 플래너 없이 한 부품을 준비하고 다른 부품을 조립한 뒤 다시 돌아와 첫 번째 부품을 완성하는 등 기민하고 계획(planning)과 유사한 행동을 발견합니다. 영상은 웹사이트(https://alpha-nist.github.io/)를 참조하십시오.
Diffusion-2BC: 자율주행 오프라인 행동 복제를 위한 확산 및 회귀 하이브리드 학습
Diffusion-2BC: Hybrid Diffusion and Regression Training for Offline Behavior Cloning in Autonomous Driving
행동 복제(Behavior Cloning)는 자율주행 정책 학습을 위한 오프라인 경로를 제공하지만, 하나의 관측에 대해 여러 유효한 행동이 존재할 수 있는 시연 데이터의 경우 평균 제곱 오차(mean-squared-error) 회귀와는 잘 맞지 않습니다. 확산 정책(Diffusion policy)은 조건부 다봉(multimodal) 행동 분포를 표현할 수 있지만, 제한된 데이터로부터 시각적 특징과 제어를 학습할 때 폐루프(closed-loop) 성능이 불안정할 수 있습니다. 본 논문에서는 공유된 시각적 인코더 상에서 확산 노이즈 제거(denoising) 목표와 보조 결정론적 행동 복제 손실을 결합한 Diffusion-2BC를 제안합니다. 보조 브랜치는 학습 중에만 사용되며, 추론은 확산 기반으로 유지됩니다. 제안된 방법은 통제된 Claw 환경과 버드아이뷰(bird's-eye-view) CARLA 내비게이션(경로 조건부 주행, 여러 교차로를 통과하는 무경로 내비게이션, Town01에서 Town02로의 교차 맵 평가 포함)에서 평가됩니다. Claw 태스크에서 Diffusion-2BC는 확산 기반 행동 복제 기준선 대비 약 10%, 표준 결정론적 행동 복제 대비 85% 평균 마스크 거리 오차를 줄였습니다. 무경로 CARLA에서 Diffusion-2BC는 Town01과 Town02 모두에서 평가 프로토콜 하에 주행이 종료되기 전까지 두 기준선보다 훨씬 더 먼 거리를 주행했습니다. 추가적인 정성적 롤아웃을 통해 뚜렷한 경로 선택이 확인되었으며, 제안된 확산 기반 에이전트의 다봉 행동을 보여주었습니다. 이러한 결과는 보조 회귀 신호가 통제된 벤치마크에서 다봉 예측을 보존하면서도 확산 행동 복제의 폐루프 신뢰성을 향상시킬 수 있음을 나타냅니다.
듣는 것이 더 쉬워질 때: 지름길 없는 VLA를 위한 시각적 단서 스크러빙
When Listening Becomes Easier: Scrubbing Visual Cues for Shortcut-Free VLAs
지름길 학습(shortcut learning)은 로봇 학습에서 널리 발생하는 문제입니다. 로봇 시연(demonstration) 데이터셋의 제한된 다양성은 정책이 시점이나 배경과 같은 무관한 특징과 작업 간의 가짜 상관관계(spurious correlation)를 악용하도록 오도할 수 있습니다. 충분히 다양한 로봇 시연을 수집하는 것은 비용이 많이 들고 비효율적이므로, 알고리즘적 대안이 요구됩니다. 본 연구에서는 비전-언어-행동(vision-language-action, VLA) 모델에 초점을 맞추어, 서로 다른 비전-언어 모델 백본이 시각적 지름길 학습에 대해 실질적으로 서로 다른 취약성 수준을 보임을 발견했습니다. 또한 모델의 행동이 정책 롤아웃(rollout)을 필요로 하지 않는 제안된 표현 수준 지표인 액션 마진(action margin)과 상관관계가 있음을 밝혔습니다. 시각적 지름길은 일관되게 초기 계층에서 행동 표현에 진입하며, 이후 계층에서 언어 정보를 통합하여 이를 수정하는 정도는 모델마다 달랐습니다. 모델의 언어에 대한 어텐션을 높이기 위해, 본 논문에서는 모델이 시각적 지름길을 사용할 가능도를 줄이고 VLA의 일반화를 향상시키는 새로운 도메인 적대적 학습 방법인 태스크 스크러빙(task scrubbing)을 도입합니다. 여러 VLA 및 시각적 단서에 대해 시뮬레이션과 실제 환경 모두에서 수행된 실험은 태스크 스크러빙이 분포 외(out-of-distribution) 강건성을 개선하고 종종 시각적 지름길 학습을 제거함을 보여줍니다.
계획하면서 설명하는 법 학습하기: 자율주행을 위한 규칙 정렬 디퓨전 플래닝
Learning to Explain While Planning: Rule-Aligned Diffusion Planning for Autonomous Driving
디퓨전 플래너(diffusion planner)는 다중 모달(multimodal) 궤적 생성에서 강력한 성능을 보여줍니다. 그러나 기존 방법들은 주로 전문가 시연 데이터에 의존하여 궤적 분포를 피팅하므로, 주행 규칙을 명시적으로 모델링하지 않은 채 장면, 행동, 궤적 간의 통계적 상관관계만을 학습합니다. 전문가 데이터가 희소한 롱테일(long-tail) 시나리오에서는 모방할 행동이 부족하여 안전성이나 규정 준수 요건을 위반하는 궤적으로 이어질 수 있습니다. 나아가 기존의 생성 과정에는 규칙 수준의 설명이 결여되어 있어, 어떤 규칙이 궤적 조정을 유도하는지, 언제 효력을 발휘하는지, 얼마나 강하게 작용하는지 파악하기 어려우며, 이에 따라 실패 진단, 안전성 검증(validation), 목표 지향적 개선이 제한됩니다. 이러한 한계를 해결하기 위해, 본 연구에서는 학습(training) 중 미분 가능한 주행 규칙을 디퓨전 목적 함수에 통합하여 유한한 시연 데이터를 넘어 규칙 지식을 내재적 행동 원칙으로 전환하는 규칙 정렬 디퓨전 플래너(Rule-Aligned Diffusion Planner, RADP)를 제안합니다. 또한 예측된 궤적에 대한 규칙 손실의 그래디언트로부터 지도 신호를 구성하고 경량 어트리뷰션 헤드를 활용하여 각 규칙이 가하는 최적화 압력을 온라인으로 추정하는 규칙 압력 어트리뷰션(Rule-Pressure Attribution, RPA)을 소개합니다. 이러한 어트리뷰션의 폐루프(closed-loop) 행동 연관성을 평가하기 위해, 현재의 규칙 압력이 후속 폐루프 실행 중 발생하는 해당 위험을 반영하는지 평가하는 시간적 위험 정렬 프로토콜을 제안합니다. nuPlan에 대한 실험 결과는 RADP가 까다로운 안전 필수 시나리오에서 폐루프 플래닝 성능을 향상시키며, RPA는 후속 규칙별 위험과 일관된 시간적 정렬을 보여 내재적 규칙 학습과 규칙 수준의 해석 가능성을 모두 입증함을 보여줍니다.
에이전트 오류 데이터셋: 실패 분석 및 오류 인식 사후 학습을 위한 50,000개 오류-진단 쌍 확장
Agent Error Dataset: Scaling 50,000 Error--Diagnosis Pairs for Failure Analysis and Error-Aware Post-Training
실패한 대규모 언어 모델(LLM) 에이전트 롤아웃(rollout)은 최종 보상(reward) 이상의 정보, 즉 에이전트가 이용할 수 있었던 관찰값, 에이전트가 선택한 행동, 그리고 환경(environment)의 반응을 담고 있습니다. 이러한 경험을 학습(training)에 재사용하려면 수정해야 할 결정을 식별하고 구체적인 대안을 검증해야 합니다. 본 연구에서는 텍스트 기반 에이전트 시스템의 33개 환경, 19개 하네스 제품군, 23개 정책 모델에 걸친 9,961개 소스 작업에서 수집된 50,228개의 오류-진단 쌍으로 구성된 에이전트 오류 데이터셋(Agent Error Dataset, AED)을 소개합니다. 우리는 원래 롤아웃을 반복하지 않고도 다양한 설정 간 실패 분석 및 재진단을 지원할 수 있도록 소스 추적 기록과 실행 메타데이터를 보존합니다. 본 논문의 5단계 에이전틱 오류-학습(Agentic Error-to-Training, AET) 파이프라인은 자연스럽게 발생한 실패를 수집하고, 진단 및 제안된 수정 사항을 생성하며, 기록된 증거를 바탕으로 이를 검증합니다. 리플레이(replay)가 지원되는 환경에서는 일치하는 실행 설정 하에 동일한 체크포인트(checkpoint)로부터 원래 행동을 재시도한 결과와 수정 사항을 비교합니다. 그런 다음 진단 및 액터 복구를 위한 별도의 학습 뷰를 구성합니다. 3,062개의 매칭된 리플레이 쌍 전반에서 첫 번째로 제안된 수정 사항은 검증기 통과율을 18.4%에서 51.1%로 높여 32.7%p의 향상을 달성했습니다. 별도로 동결된 진단 릴리스를 사용하여 1,656개 소스 작업에 대해 전체 진단 미세조정(fine-tuning)을 수행한 결과, 943개 케이스의 홀드아웃(holdout)에서 3개 시드 평균으로 Qwen3-8B의 내부 교사 라벨과의 정확한 단계 일치율이 47.2%에서 63.6%로 향상되었습니다. 이 비교에서 가장 강력한 프롬프트 기반 참조 모델은 54.7%를 기록했으며, 4단계로 증가하는 학습 세트 크기마다 평균 일치율이 향상되었습니다. 액터 학습 레시피에 대한 단일 시드 비교에서, 행동 전용 복구 학습은 WebShop-lite에서 성공 전용 학습보다 6.67%p 더 높은 점수를 기록했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.