PRIME: VLA 모델에서 상황 메모리 임베딩을 활용한 지각 피드백
PRIME: Perception Feedback with Situational Memory Embeddings in VLA Models
한국어 초록
현재 자율주행용 시각-언어-행동(VLA) 모델은 주로 지각–추론–계획 계층 전반에서 순전파 추론으로 동작한다. 최신 아키텍처는 지각 모듈 내에서 시간적 순환을 유지하지만, 초기 지각은 하류의 추론과 내비게이션 목표를 반영하지 못해, 이전 결정에서 얻은 단서를 우선하지 않은 채 시각 입력을 목표와 무관하게 처리한다. 이 격차를 줄이기 위해 본 논문은 PRIME을 제안한다. PRIME은 VLA 지각 쿼리를 새로운 상황 메모리(Situational Memory)로 조건화하는 학습 기반 피드백 메커니즘이다. 교차 어텐션(cross-attention)으로 L-step 윈도우에 걸쳐 과거 지각, 추론, 내비게이션 목표, 예측 행동의 잠재 표현을 집약함으로써, PRIME은 계산 비용을 최소화한 채 의도 기반 지각 어텐션을 가능하게 하며, 기반 모델(73억 매개변수) 대비 최대 29.7M 매개변수(0.41%)만 추가한다. Bench2Drive 폐루프 벤치마크에서 PRIME은 Driving Score 82.47(ORION 대비 +4.73)과 Success Rate 60.00%(+5.38 percentage points)를 기록해 최신 수준이며, Think2Drive 시연으로 학습한 공개 VLA 중 보고된 Driving Score 최고치이다.
원문 초록
Current Vision-Language-Action (VLA) models for autonomous driving operate primarily through feedforward inference across the perception--reasoning--planning hierarchy. While modern architectures maintain temporal recurrence within the perceptual module, early perception remains blind to downstream reasoning and navigation goals, processing visual inputs agnostically without prioritizing cues informed by prior decisions. To bridge this gap, this paper introduces PRIME, a learned feedback mechanism that conditions the VLA perceptual queries on a novel Situational Memory. By aggregating latent representations of past perception, reasoning, navigation goals, and predicted behaviors across an L-step window via cross-attention, PRIME enables intent-driven perceptual attention at minimal computational cost, adding only a maximum of 29.7M parameters (0.41% of the 7.3B-parameter base model). Evaluated on the Bench2Drive closed-loop benchmark, PRIME achieves a state-of-the-art Driving Score of 82.47 (+4.73 over ORION) and a Success Rate of 60.00% (+5.38 percentage points), the highest reported Driving Score among published VLAs trained on Think2Drive demonstrations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.22040v2제출 시각 미확인
- arXiv:2609.22040v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.