arXiv:2606.20274v1 cs.AI

Lagrange: 일반화된 엔드-투-엔드 주행을 위한 개방형 어휘, 에너지 기반 희소 프레임워크

Lagrange: An Open-Vocabulary, Energy-Based Sparse Framework for Generalized End-to-End Driving

Shihao Ji, HongXi Li, Zihui Song, Mingyu Li

제출 2026-06-18

한국어 초록

복잡한 오픈 월드 환경으로 엔드-투-엔드 자율 주행을 확장하려면 변칙적인 시나리오에 일반화되는 인지 모델과 운동학적으로 유효한 궤적을 생성하는 플래너가 필요합니다. 기존 패러다임은 표현 효율성과 일반화 능력 사이의 명확한 이분법에 직면해 있습니다. 밀집(dense) 모델(예: 오큐팬시 네트워크)은 기하학적으로 견고하지만 치명적인 계산 병목을 초래하고 고수준 시맨틱 추론에 어려움을 겪습니다. 반대로, 희소(sparse)하고 쿼리 기반인 플래너는 효율적이지만 닫힌 집합(closed-set) 정의에 의존하여 분포 외(OOD) 이벤트에 취약합니다. 최근의 비전-언어-액션(VLA) 모델이 개방형 어휘 추론을 제공하지만, 자기회귀적이고 이산적인 토큰 생성 방식은 차량 동역학의 연속적이고 고주파수인 제어 요구사항과 근본적으로 충돌합니다. 이를 해결하기 위해 우리는 마스크된 잠재 필드(MLF)를 기반으로 하는 개방형 어휘, 계산적으로 희소한 주행 프레임워크인 Lagrange를 제안합니다. Lagrange는 밀집한 볼류메트릭 재구성이나 닫힌 집합 쿼리 메커니즘에 의존하는 대신, 비전-언어 모델(VLM)을 활용하여 클래스 불특정(class-agnostic) 객체 제안을 연속적인 시맨틱 시각 토큰으로 인코딩합니다. 우리는 시간적으로 무관한 개체를 필터링하여 어텐션된 토큰을 공간 좌표에 대해 정의된 암묵적인 연속 에너지 필드로 디코딩하는 의도 기반 마스크드 크로스 어텐션(masked cross-attention) 모듈을 도입합니다. 의사 결정을 이 에너지 필드에 걸친 라그랑주 행동 최소화 문제로 구성함으로써, 충돌 회피를 수행하는 동시에 차량 운동학을 엄격하게 준수하도록 강제합니다. 표준(nuScenes) 및 롱테일(CODA) 벤치마크 모두에서 수행된 광범위한 오프라인 평가를 통해 Lagrange가 견고하고, 해석 가능하며, 운동학적으로 실현 가능한 오픈 월드 자율 주행을 위한 유망한 프레임워크를 확립함을 입증했습니다.

원문 초록

Scaling end-to-end autonomous driving to complex, open-world environments requires perceptual models that generalize to anomalous scenarios and planners that produce kinematically valid trajectories. Existing paradigms face a distinct dichotomy between representational efficiency and generalization capacity. Dense models (e.g., occupancy networks), while geometrically robust, incur critical computational bottlenecks and struggle with high-level semantic reasoning. Conversely, sparse, query-based planners are efficient but reliant on closed-set definitions, rendering them vulnerable to out-of-distribution (OOD) events. Although recent Vision-Language-Action (VLA) models offer open-vocabulary reasoning, their autoregressive, discrete token generation fundamentally conflicts with the continuous, high-frequency control requirements of vehicle dynamics. To address this, we propose Lagrange, an open-vocabulary, computationally sparse driving framework based on Masked Latent Fields (MLF). Rather than relying on dense volumetric reconstructions or closed-set query mechanisms, Lagrange exploits Vision-Language Models (VLMs) to encode class-agnostic object proposals into continuous semantic visual tokens. We introduce an intent-driven masked cross-attention module that temporally filters irrelevant entities, decoding the attended tokens into an implicit continuous energy field defined over spatial coordinates. By framing decision-making as a Lagrangian action minimization problem spanning this energy field, we enforce strict compliance with vehicle kinematics while executing collision avoidance. Extensive offline evaluations on both standard (nuScenes) and long-tail (CODA) benchmarks demonstrate that Lagrange establishes a promising framework for robust, interpretable, and kinematically feasible open-world autonomy.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.20274v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.39888v2cs.LG공통 태그 Autonomous Driving, Continuous Control

마르코프 동역학 강제자: 학습된 동역학 다양체 상에서 실행 가능성을 보존하는 보정

Markovian Dynamics Enforcer: Feasibility Preserving Correction on Learned Dynamics Manifolds

신경망 궤적 예측 모델(neural trajectory predictor)은 특히 제어 입력이 관측되지 않고 동역학이 부분적으로만 명시된 경우, 동역학, 액추에이터 한계 또는 상태 제약 조건을 위반하면서도 낮은 예측 오차에 도달할 수 있습니다. 본 논문에서는 상태 전이 제안을 학습된 실행 가능한 동역학 다양체(manifold)로 매핑하는 시불변 사후 연산자인 MaDE(Markovian Dynamics Enforcer)를 소개합니다. 이는 실제 제어 입력(ground-truth controls) 없이 실행 가능한 상태만을 바탕으로 학습됩니다. MaDE는 각 전이에 대해 제어 입력을 추론하고, 알려진 물리 법칙과 학습된 잔차(residual)로 구성된 완결 모델(completion model)을 통해 상태를 재계산합니다. 그런 다음 그래디언트 기반 부등식 감소를 통해 해당 제어 입력을 보정하므로, 부등식 만족은 반복(iteration) 예산 내에서 최선의 노력(best-effort)으로 이루어집니다. 모든 보정 반복 단계가 완결 모델에 다시 입력되므로, 반환된 상태는 해당 모델 및 제공된 이전 상태 앵커를 기준으로 구조상 동역학적 일관성을 갖게 됩니다. MaDE는 완전히 명시된 시뮬레이션 시스템에서 동역학 잔차를 본질적으로 0에 가깝게 줄이며, 불충분하게 명시된 시스템에서는 베이스라인보다 더 작은 실제 동역학 잔차를 남깁니다. 임의의 예측 모델에 결합되도록 설계된 이 고정된(frozen) 연산자는 순환 신경망, 구조화된 상태 공간, 트랜스포머(transformer) 예측 모델의 다운스트림에서 평가되었습니다. 기록된 차량 궤적 데이터에서 기구학적 자전거 모델 대비 1단계 잔차는 MaDE 적용 시 0.0071~0.0072인 반면, 원본 예측 모델은 0.1703~0.1714였습니다. MaDE는 평균 변위 오차(ADE)를 1.57배에서 1.83배 증가시킵니다.

arXiv:2610.00859v1cs.CV공통 태그 Autonomous Driving, Continuous Control

CtrlWAM: 의도와 예측이 정렬된 제어 가능한 월드 액션 모델(World Action Model)

CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight

월드 액션 모델(World Action Model, WAM)은 행동(의도)과 시각적 미래(예측, foresight)를 동시에 예측한다. 표준적인 학습 방식은 기록된 행동과 비디오에 동시에 노이즈를 추가하지만, 이러한 학습 방식은 불일치(mismatch)를 유발한다: 교란된 행동은 반사실적(counterfactual) 미래 시각 정보를 암시하지만, 노이즈가 추가된 비디오는 여전히 실제 기록(GT recording)에 묶여 있다. 저노이즈(low-noise) 구간에서는 노이즈가 추가되었음에도 장면 기하 구조(scene geometry)와 동적 행동(dynamic behavior)까지도 노이즈가 섞인 미래 프레임에서 명확하게 보인다. 우리는 시뮬레이터에서 교란된 행동을 실행하고 이를 해당 행동에 따른 노이즈가 섞인 시각적 결과와 짝지어 WAM을 공동 학습시키는 CtrlWAM을 제시한다. 비디오와 행동이 서로 다른 디노이징(denoising) 요구사항을 갖는다는 점을 수용하기 위해, 우리는 행동 예측이 진행됨에 따라 시각적 레이아웃이 이에 반응하도록 유지하는 것을 목표로 하는 왜곡된(warped) 비디오-행동 노이즈 스케줄을 도입한다. 또한 우리는 행동 인터페이스를 자기 차량(ego) 전용 제어에서 가변 개수의 에이전트(agent) 스트림으로 확장하여, 단일 통합 모델이 여러 에이전트에 대한 예측되거나 명령된 미래를 표현할 수 있도록 한다. 주행(driving) 실험에서는 더 정확한 행동 예측, 생성된 비디오와 행동 간의 더 긴밀한 일치, 그리고 주어진 명령을 더 잘 따르는 결과를 보였으며, 로보틱스(robotics) 실험에서는 더 강한 동작 충실도(motion fidelity)와 제어 가능성(controllability)을 보였다. 매칭된 대조 실험(matched controls)은 명령 추종(command following)과 조작 충실도(manipulation fidelity) 측면에서 경로 이탈(off-path) 렌더링의 이점을 지지한다. 이러한 결과들은 종합적으로 더 제어 가능한 월드 액션 모델에 기여한다. 프로젝트 페이지: https://ctrl-wam.github.io/

arXiv:2609.24631v1cs.RO공통 태그 Autonomous Driving, Continuous Control

의미적 의사결정에서 실현 가능한 궤적으로: 협소 공간 주차를 위한 자기 진화형 LLM 기반 최적 제어

From Semantic Decisions to Feasible Trajectories: Self-Evolving LLM-Guided Optimal Control for Narrow-Space Parking

비볼록(nonconvex)하고 협소한 환경에서의 자율 주차는 여전히 어려운 과제로 남아 있다. 최적 제어(optimal control) 기법은 차량 동역학과 충돌 제약 조건을 명시적으로 강제할 수 있지만, 비볼록성은 솔버(solver)의 강건성을 저하시켜 실패를 유발할 수 있다. 대규모 언어 모델(LLM)은 강력한 의미적 추론 능력을 보이지만, 조밀한 궤적을 직접 생성할 경우 물리적 실현 가능성을 보장하기 어렵다. 우리는 LLM이 상위 수준의 이산적 기동(maneuver) 결정을 내리고, 최적 제어 모듈이 하위 수준의 차량 동역학과 충돌 제약 조건을 강제하는 통합 프레임워크인 SE-LLM-OCP를 제안한다. 온라인 단계에서 LLM은 희소한(sparse) 기동 계획을 제안하여 주차 과제를 일련의 단기(short-horizon) 궤적 최적화 문제들로 분해한다. 그런 다음 하위 수준 솔버가 최적 제어 문제들을 순차적으로 해결한다. 솔버가 실패하면 LLM은 솔버 및 검증 단계에서 얻은 실패 증거를 종합하여 재계획(replanning)을 안내한다. 오프라인 단계에서 SE-LLM-OCP는 누적된 온라인 실패 사례를 바탕으로 구조화된 의사결정 지식 베이스를 처음부터 자동으로 진화시킨다. 우리는 제안한 프레임워크를 자동차형 차량 모델과 차동 구동(differential-drive) 로봇에 대한 시뮬레이션에서 검증한다. 실험 결과, SE-LLM-OCP는 협소한 시나리오에서 더 안전한 자율 주차를 가능하게 하며, 동일한 기동 표현이 서로 다른 운동학적(kinematic) 플랫폼으로 전이될 수 있음을 보여준다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2610.03391v2cs.CV공통 태그 Continuous Control

월드 액션 모델을 위한 비디오 기반 네이티브 액션 사전확률 학습

Native Action-Prior Learning from Videos for World Action Models

월드 액션 모델(World action models)은 미래의 시각적 역역학과 로봇 액션 예측을 통합하지만, 액션 레이블이 지정된 로봇 궤적이 필요하다는 점에서 확장성에 한계가 있습니다. 관찰 전용(observation-only) 비디오는 상호작용 역학에 대한 풍부한 정보를 담고 있지만, 기존 접근법들은 대개 이를 사후에 제어용으로 조정해야 하는 시각적 표현을 사전학습(pre-training)하는 데 사용하거나, 추후 로봇 명령으로 그라운딩되는 잠재 액션(latent actions)을 추론하는 데 활용하는 데 그칩니다. 본 연구에서는 간접적인 표현-제어 간 전이나 별도의 잠재 액션 모델 없이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 네이티브 액션 사전확률 학습(native action-prior learning)을 도입한 NAVA-WAM을 제시합니다. 우리의 학습(training)은 2단계로 구성됩니다. 첫째, 관찰 전용 비디오를 통해 사전학습을 진행하며, 시각적 전이에 대한 미래 비디오 플로우 매칭(flow-matching) 감독 신호가 전이 구조화된 결합 어텐션을 통해 전파되어 Action-DiT를 최적화하고 액션 관련 사전확률을 학습합니다. 둘째, 액션 레이블이 지정된 시연 데이터를 사용하여 결합 비디오-액션 플로우 매칭을 통해 로봇 제어를 위한 Action-DiT 사후학습(post-training)을 수행하며, 이때 비대칭 어텐션이 시각 브랜치를 반복적인 액션 노이즈 제거 과정과 분리하여 효율적인 액션 전용 추론(inference)을 가능하게 합니다. 광범위한 실험 결과, NAVA-WAM은 분포 내(in-distribution) 및 분포 외(out-of-distribution) 설정 모두에서 기존 접근 방식을 일관되게 능가하는 동시에 뛰어난 액션 레이블 효율성과 효과적인 실제 로봇 일반화 성능을 입증했습니다. 이러한 결과는 네이티브 액션 사전확률 학습이 관찰 전용 비디오로부터 액션 정책을 직접 사전학습하는 효과적인 접근법임을 입증하며, 액션 레이블 기반 로봇 데이터를 뛰어넘는 확장 가능한 경로를 제공합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.