Lao Siji: 신경망으로 재구성한 장면의 폐루프 종단 간 주행에 openpilot 적용하기
Lao Siji: Adapting openpilot to Closed-Loop End-to-End Driving in Neural Reconstruction
한국어 초록
본 연구는 2026 NVIDIA AlpaSim E2E Driving Challenge에서 3위를 차지한 종단 간 주행 정책 Lao Siji를 제시한다. 기반 모델을 사용한 출품작 대부분보다 높은 순위를 기록했다. 범용 비전 백본에서 처음부터 학습하는 대신, 실제 운용에 쓰이는 오픈소스 레벨 2 주행 모델 openpilot을 적용 목적에 맞게 조정한다. 비전 인코더를 고정하고 자차 상태 어댑터와 경로 메모리를 사용해 정책 층을 미세조정한다. 신경망으로 재구성한 장면에서 폐루프 롤아웃을 수행한다. 일반 입력에는 없는 지도 정보를 받는 교사 모델로 횡방향 자체 보정을 감독하고, 차체 범위 손실로 도로 경계와 장애물에서 안전거리를 확보하도록 한다. 선행 차량 추종을 유지하기 위해 기본 모델의 나머지 출력을 증류한다. 구성 요소 제거 실험에서는 자체 보정 표본이 성능 개선을 이끌었으며, 교사 모델을 사용할 수 없는 경우에는 안전거리 손실이 이를 대신했다. 종방향 안전은 규칙 기반 속도 제어 계층이 활용하는 기본 모델의 선행 차량 추정치에 의존했다. 더 길게 학습하거나 사람의 주행 로그를 모방하거나 그 로그의 속도를 목표로 사용하면, 측정할 수 있는 개선이 없거나 오히려 성능이 나빠졌다. Lao Siji는 추가 학습 없이 HUGSIM과 Odyssey에서도 상위권에 들었다. 최종 학습에 GPU 한 시간만 들었으며, 배포된 기존 모델 대비 가중치 변화는 3.9%였다. 코드는 심사 후 공개할 예정이다.
원문 초록
We present Lao Siji, an end-to-end driving policy that ranks third in the 2026 NVIDIA AlpaSim E2E Driving Challenge, ahead of most entries built on foundation models. Instead of training from scratch on a general-purpose vision backbone, we adapt openpilot, an open-source L2 production model. We freeze its vision encoder and fine-tune the policy layers with an ego-state adapter and a route memory. On closed-loop rollouts in neural-reconstructed scenes, we supervise the policy with a privileged map teacher for lateral self-correction and a body-extent loss for road and obstacle clearance, while distilling the base model's remaining outputs to retain car following. Ablations show that self-correction samples carry the gain, while the clearance loss substitutes for them where no teacher exists. Longitudinal safety instead rests on the base model's lead-vehicle estimate behind a rule-based speed layer. Longer training, imitating human logs, and human-log speed targets yield either no measurable gain or adverse effects. Without further training, Lao Siji also places among the leaders on HUGSIM and Odyssey. The final training takes only one GPU-hour and shifts the weights by 3.9% from the shipped model. Code will be released after review.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19922v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.