arXiv:2206.03970

Narrowing the Coordinate-frame Gap in Behavior Prediction Models: Distillation for Efficient and Accurate Scene-centric Motion Forecasting

DiJia Su, Bertrand Douillard, Rami Al-Rfou, Cheolho Park, Benjamin Sapp

제출 2022-06-08

원문 초록

Behavior prediction models have proliferated in recent years, especially in the popular real-world robotics application of autonomous driving, where representing the distribution over possible futures of moving agents is essential for safe and comfortable motion planning. In these models, the choice of coordinate frames to represent inputs and outputs has crucial trade offs which broadly fall into one of two categories. Agent-centric models transform inputs and perform inference in agent-centric coordinates. These models are intrinsically invariant to translation and rotation between scene elements, are best-performing on public leaderboards, but scale quadratically with the number of agents and scene elements. Scene-centric models use a fixed coordinate system to process all agents. This gives them the advantage of sharing representations among all agents, offering efficient amortized inference computation which scales linearly with the number of agents. However, these models have to learn invariance to translation and rotation between scene elements, and typically underperform agent-centric models. In this work, we develop knowledge distillation techniques between probabilistic motion forecasting models, and apply these techniques to close the gap in performance between agent-centric and scene-centric models. This improves scene-centric model performance by 13.2% on the public Argoverse benchmark, 7.8% on Waymo Open Dataset and up to 9.4% on a large In-House dataset. These improved scene-centric models rank highly in public leaderboards and are up to 15 times more efficient than their agent-centric teacher counterparts in busy scenes.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.00855v1cs.CV공통 태그 Autonomous Driving, Knowledge Distillation

Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할

Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers

정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.

arXiv:2609.27747v1cs.RO공통 태그 Translation, Autonomous Driving

언어는 줄이고 잠재 표현은 늘리다: 주행을 위한 어노테이션 효율적 VLA

Less Language, More Latents: Annotation-Efficient VLAs for Driving

비전-언어-행동 모델(VLA)은 사람이 조향할 수 있는 자율주행을 가능하게 할 것으로 기대되지만, 학습은 자연어 지시문과 짝지어진 프레임이 부족하다는 점에서 병목을 겪습니다. 카메라 스트림과 전문가 궤적은 대규모로 기록되는 반면, 언어 어노테이션(예: 교차로에서 좌회전)은 여전히 부족하고 확보하는 데 비용이 많이 듭니다. 이 문제를 해결하기 위해 우리는 풍부한 비라벨 관측-궤적 쌍을 언어 조건부 제어의 기반으로 변환하는 3단계 파이프라인인 Latent Action Driving Annotations(LADA)를 제안합니다. 첫째, 벡터 양자화(vector-quantised) 병목을 가진 잠재 행동 모델(latent action model)을 학습하여 상위 수준의 차량 의도를 담은 간결한 코드북을 만듭니다. 둘째, 언어 어노테이션이 있는 소규모 부분집합을 사용해 관측과 언어 지시문을 이 코드북으로 매핑하는 비전-언어 번역기를 학습합니다. 셋째, 라벨이 없는 전체 코퍼스에 대해 관측-잠재 행동 쌍으로 주행 VLA를 학습합니다. LADA는 언어 어노테이션의 5% 미만만 사용하고 보조적인 사고의 연쇄(chain-of-thought) 추론이나 시각 질의응답 스트림을 전혀 활용하지 않으면서도, 폐루프(closed-loop) Bench2Drive 벤치마크에서 Driving Score 87.98, Success Rate 70.46%를 달성하여 완전 지도학습 기반 베이스라인과 대등하거나 이를 능가합니다.

arXiv:2609.22762v1cs.CV공통 태그 Autonomous Driving, Knowledge Distillation

DriveReferee: 주행 월드-액션 모델에서 기하학적 안전 판정은 굳이 학습될 필요가 없다

DriveReferee: Geometric Safety Verdicts Need Not Be Learned for Driving World-Action Models

생성형 월드-액션 모델(world-action model, WAM)은 미래 비디오와 차량 액션을 공동으로 생성하지만, 액션 브랜치는 여전히 주로 전문가 모방(expert imitation)을 통해 최적화된다. 그러나 모방은 생성된 궤적에 대해 명시적인 폐루프(closed-loop) 기하학적 판정을 제공하지 않으므로, 학습(training)과 배포 모두에서 검증이 중요해진다. 폐루프 평가기(evaluator)는 충돌 및 주행 가능 영역 위반을 확인할 수 있지만, 배포 시에는 사용할 수 없는 특권적 씬 상태(privileged scene state)를 필요로 한다. 기존 접근 방식은 센서 특징으로부터 검증기(verifier)를 학습하여 이러한 간극을 좁히는 경우가 많다. 이러한 기하학적 검사의 경우 규칙 자체는 명시적이다. 예를 들어, 충돌은 전개된 자차 풋프린트(footprint)가 점유된 차량 공간과 겹치는지 여부로 결정된다. 배포 시 사용할 수 없는 것은 해당 규칙을 적용하는 데 필요한 씬 상태이다. 본 논문에서는 학습된 기하학 판독(geometry readout)을 사용하여 카메라 관측으로부터 씬 표현을 예측하고, 기하학적 안전 규칙을 학습하는 대신 직접 실행하는 DriveReferee를 소개한다. 이를 통해 생성된 해석적 심판(analytic referee)은 씬 상태와 후보 궤적으로부터 충돌 및 주행 가능 영역 안전성을 평가한다. 학습 중에는 참값(ground-truth) 상태에서 자체 샘플링된 궤적의 점수를 매기고 그 결과로 얻은 선호도를 WAM 정책에 증류(distill)한다. 배포 시에는 동일한 심판이 이 예측된 상태를 바탕으로 생성된 궤적을 평가하고 필요할 때 더 안전한 대안을 선택한다. 해석적 심판은 판정 관련 전용 학습을 필요로 하지 않으며, 그 결정은 명시적인 기하학적 규칙을 따른다. 동일한 후보군과 추론(inference) 예산 하에서, 본 방식은 모든 학습 기반 검증기 및 휴리스틱 베이스라인과 대등하거나 이를 능가한다. 동일한 예측 상태와 궤적이 주어졌을 때, 판정 자체를 학습하는 것은 평가기 라벨이 부착된 수만 개의 학습 예제가 필요함에도 불구하고 측정 가능한 다운스트림 이득을 제공하지 못한다. 전체 NAVSIM navtest에서 DriveReferee는 단일 카메라 시각 입력만으로 외부 학습 데이터 없이 92.02 PDMS를 달성한다.

arXiv:2609.22868v1cs.CV공통 태그 Autonomous Driving, Motion Planning

종단 간 자율 주행을 위한 희소 행동 조건 타깃 기반 계획 정렬 BEV 표현 사전학습

Planning-Aligned Pretraining of BEV Representations with Sparse Action-Conditioned Targets for End-to-End Autonomous Driving

종단 간 주행에는 계획(planning)에 관련된 조감도(bird's-eye-view, BEV) 표현이 필요하지만, 기존 사전학습 접근은 종종 태스크 주석이나 밀집 장면 재구성에 의존한다. 우리는 PAVER(Planning-Aligned BEV Encoder Pretraining, 계획 정렬 BEV 인코더 사전학습)를 제안한다. 단일 LiDAR 스윕(sweep)으로부터 PAVER는 규칙 기반 ego motion을 따라 점유된 증거와 관측되지 않은 증거를 기술하는 희소 위험(risk) 및 unknown 타깃을 구성한다. 1만(10K) 매개변수 헤드가 행동 상태(action state)에 조건이 걸린 마스킹된 BEV 특징으로부터 이 타깃들을 예측하여, 후보 motion에 대한 기하학적 제약으로 지도(supervision)를 향하게 한다. 사전학습에는 주행 태스크 주석이나 밀집 재구성이 필요하지 않다. BEV 인코더만 전이(transfer)되어 하류 아키텍처와 카메라 전용 추론을 유지한다. nuScenes에서 PAVER는 VAD-Tiny의 평균 충돌률을 0.51%에서 0.19%로 낮추면서 planning L2, motion prediction, detection, mapping을 개선한다. 선택된 VAD-Tiny 및 VAD-Base 스케줄은 사전학습을 포함해 처음부터 학습(scratch training) 대비 추정 총 학습 시간이 약 36% 적다. Bench2Drive Town05 Long에서 PAVER는 UniAD-Tiny의 폐루프(closed-loop) Driving Score를 48.45에서 58.79로 향상시킨다. 프로젝트 페이지는 https://archiiive99.github.io/PAVER 에서 확인할 수 있다.

arXiv:2609.23541v1cs.CV공통 태그 Autonomous Driving, Knowledge Distillation

비전 기초 모델을 통한 견고한 멀티모달 3D 객체 검출

Towards robust multimodal 3D object detection via visual foundation models

멀티모달 3D 객체 검출은 LiDAR와 카메라 센서의 상보적 정보를 통합하므로 자율주행에서 견고한 인지의 기반이 된다. 그러나 기존 방법은 센서 노이즈, 악천후, 환경 변화로 인한 분포 외(out-of-distribution, OOD) 손상(corruption) 조건에서 견고성을 유지하지 못하는 경우가 많다. 이 문제를 해결하기 위해, Segment Anything Model(SAM)과 같은 비전 기초 모델(visual foundation model, VFM)을 활용하는 견고하고 일반화 가능한 멀티모달 3D 객체 검출 프레임워크 RoboDistill을 제안한다. 먼저 자율주행 영상에 SAM을 파인튜닝하여 풍부한 의미 정보를 담은 특징 표현을 추출하는 도메인 특화 사전학습(pre-training) 전략 SAM-AD를 도입한다. 둘째, AD Feature Pyramid Network(AD-FPN)를 설계하여 SAM 특징을 다중 스케일에서 정제·업샘플링하고 LiDAR 특징과 원활하게 융합한다. 셋째, 고주파 센서 노이즈는 억제하면서 중요한 문맥 정보는 보존하는 Depth-Guided Wavelet Attention(DGWA) 모듈을 개발한다. 마지막으로, 사전학습된 SAM-AD를 교사로 두고 고품질 시각 지식을 경량 포인트 클라우드 네트워크에 지식 증류(distillation)하는 KD Fusion을 도입하여 노이즈 환경에서의 견고성을 높인다. 27가지 어려운 OOD 손상 설정에 걸친 광범위한 실험에서 RoboDistill은 대표적인 최신(state-of-the-art) 방법 대비 전반적으로 더 강하거나 경쟁력 있는 검출 성능과 견고성을 보인다. 본 연구는 VFM과 3D 객체 검출 사이의 간극을 줄이고, 실제 자율주행 응용을 위한 견고한 멀티모달 인지를 발전시킨다.

arXiv:2609.24526v1cs.CV공통 태그 Autonomous Driving, Knowledge Distillation

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

토론

이 논문과 연결된 포럼 글이 아직 없습니다.