arXiv:2503.22248

CRLLK: Constrained Reinforcement Learning for Lane Keeping in Autonomous Driving

Xinwei Gao, Arambam James Singh, Gangadhar Royyuru, Michael Yuhas, Arvind Easwaran

제출 2025-03-28

원문 초록

Lane keeping in autonomous driving systems requires scenario-specific weight tuning for different objectives. We formulate lane-keeping as a constrained reinforcement learning problem, where weight coefficients are automatically learned along with the policy, eliminating the need for scenario-specific tuning. Empirically, our approach outperforms traditional RL in efficiency and reliability. Additionally, real-world demonstrations validate its practical value for real-world autonomous driving.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24526v1cs.CV공통 태그 Reinforcement Learning, Autonomous Driving

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2607.24199v1cs.CV공통 태그 Reinforcement Learning, Autonomous Driving

규정 이해를 위한 추론: 교통 규칙 이해를 위한 사고의 연쇄(Chain-of-Thought)

Reasoning to Regulate: Chain-of-Thought for Traffic Rule Understanding

자율주행에서 교통 규정을 이해하고 준수하는 것은 안전에 매우 중요한 요구사항이지만, 교통 표지의 다양성과 문맥 의존성 때문에 여전히 어려운 과제로 남아 있다. 중요한 점은 규정 이해가 단순한 인식 과제가 아니라 추론 문제라는 것이다. 어떤 규칙이 적용되는지는 표지를 차선의 공간적 배치 및 장면 문맥과의 관계 속에서 해석하는 것에 달려 있다. 이러한 추론을 지원하기 위해 MapDR은 각 교통 표지의 규제 규칙을 해당 규칙이 적용되는 특정 차선과 연결하는 세밀한 주석을 제공한다. 그러나 기존 방법들은 대부분 이를 직접적인 시퀀스 예측으로 취급하여, 표지 의미와 지도 구조를 연결하는 근본적인 추론을 무시한다. 이러한 한계를 해결하기 위해, 우리는 이 과제에 추론을 명시적으로 통합하고 비전-언어(VLM) 모델에 사고의 연쇄(CoT) 능력을 부여하는 프레임워크를 제안한다. 먼저 2라운드 전략을 통해 강력한 대규모 언어 모델(LLM)로부터 근거(rationale)를 부트스트랩하고, VLM 기반 검증기를 사용해 잘못된 사례를 걸러내는 확장 가능한 CoT 큐레이션 파이프라인을 설계하여 고품질 (CoT, answer) 쌍을 확보한다. 이 기반 위에서 2단계 학습 방식을 채택한다: 근거에서 답변으로의 생성을 가르치는 지도 미세조정(SFT)에 이어, 답변 기반의 세밀한 보상을 사용하는 GRPO 강화학습으로 최종 답변 정확도를 더욱 향상시킨다. MapDR에 대한 광범위한 실험은 우리 접근법이 해석 가능성과 정확도를 모두 크게 개선함을 보여주며, 규정 인식(regulation-aware) 자율주행을 위한 최초의 추론 기반 프레임워크를 확립한다.

arXiv:2607.23537v1cs.AI공통 태그 Reinforcement Learning, Autonomous Driving

ObsDriveBench: 관측 가능성 인식을 반영한 악천후 조건에서의 멀티모달 이해 벤치마킹

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.