제안(proposal) 조건 잠재 diffusion 기반 폐루프 교통 시나리오 생성
Proposal-Conditioned Latent Diffusion for Closed-Loop Traffic Scenario Generation
한국어 초록
폐루프 교통 시뮬레이션은 롤아웃 전 구간에서 장면 일관성과 제어 가능성을 유지하는 상호작용형 다중 에이전트 행동을 생성해야 하므로 여전히 어려운 과제이다. 기존 diffusion 기반 접근법은 높은 현실성을 달성하지만, 계산 비용이 커서 자율주행 차량 계획 및 시뮬레이션에서 시간 제약이 있는 재계획 루프에 배포하기 어렵다. 본 연구는 인스턴스 중심(instance-centric) 장면 컨텍스트와 다중모달 proposal 사전분포로 조건화하고, 안전성에 중요한 행동을 형성하기 위한 선택적 test-time guidance를 갖춘 diffusion 기반 시나리오 생성 프레임워크를 제안한다. 컴팩트한 액션 잠재(action-latent) 표현과 proposal 기반 초기화는 재학습 없이 샘플링 효율을 높이고 단계당 런타임을 줄인다. Waymo Open Motion Dataset에서의 실험은 다양한 상호작용 시나리오에서 현실성, 안전성, 제어 가능성 간의 유리한 균형을 보여 주며, test-time guidance가 상충하는 목표들 간의 체계적인 트레이드오프를 가능하게 함을 보인다.
원문 초록
Closed-loop traffic simulation remains challenging because it must generate interactive multi-agent behaviors that are scene-consistent and controllable throughout rollout. Prior diffusion-based approaches achieve strong realism, but their computational cost can hinder deployment in time-constrained replanning loops for autonomous vehicle planning and simulation. We present a diffusion-based scenario generation framework conditioned on instance-centric scene context and multimodal proposal priors, with optional test-time guidance for shaping safety-critical behaviors. A compact action-latent representation and proposal-based initialization improve sampling efficiency and reduce per-step runtime without retraining. Experiments on the Waymo Open Motion Dataset demonstrate a favorable balance among realism, safety, and controllability across diverse interactive scenarios, while showing that test-time guidance enables systematic trade-offs among competing objectives.
요약
폐루프 교통 시뮬레이션은 상호작용형 다중 에이전트 행동을 장면 일관성과 제어 가능성을 유지하며 생성해야 하지만, 기존 diffusion 방식은 추론 비용이 높아 재계획 루프에 쓰기 어렵다. 인스턴스 중심(instance-centric) 장면 맥락과 다중모달 proposal 사전분포로 조건화한 잠재 diffusion에 PCA 기반 컴팩트 액션 잠재와 proposal 초기화, 선택적 test-time guidance를 결합해 재학습 없이 샘플링 효율을 높였고, Waymo Open Motion Dataset에서 현실성·안전성·제어 가능성의 균형과 목표 간 트레이드오프 조절을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.27123v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집
TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving
도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.
DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정
DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance
보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.
Teach-to-Crash: 충돌 유발 테스트 시나리오 생성을 위한 폐루프 학생-교사 LLM 프레임워크
Teach-to-Crash: A Closed-Loop Student-Teacher LLM Framework for Collision-Inducing Test Scenario Generation
시뮬레이션에서 자율주행 시스템(ADS)을 검증하려면, 희귀하고 안전에 중요한(safety-critical) 실패를 발견하면서 실행 가능하고 다양하며 후속 실패 분석에 유용한 시나리오를 생성할 수 있는 테스트 아키텍처가 필요하다. 본 논문은 제약된 ego 중심 시나리오 표현, 정체(stagnation) 인식 검색 제어, 적응형 실패 탐색을 위한 이중 LLM 아키텍처를 결합한 폐루프 테스트 프레임워크 Teach-to-Crash를 제안한다. 고추론 Teacher LLM은 적응형 검색 제어기 역할을 하고, 저추론 Student LLM은 엄격한 JSON 스키마로 시뮬레이터에서 실행 가능한 시나리오를 출력한다. Teacher는 rolling collision rate와 time-to-collision 지표가 정체될 때만 개입하여 검색을 재방향할 전략적 지침을 제공한다. ego 차량의 속도 정책을 달리한 두 실험 설정으로 수행한 CARLA 사례 연구에서 Teach-to-Crash는 최고 Collision Hit Rate(90.79%), 최단 평균 Time-to-Collision(18.31 s), 경쟁력 있는 Collision Discovery Rate(136.21)를 달성했다. PAFOT은 더 높은 평균 CDR(179.44)을 기록했으나 분산이 훨씬 컸다. Teach-to-Crash는 또한 최고 다양성(0.547)과, CARLA Traffic Manager 컨트롤러 기준 두 설정을 평균했을 때 비교 방법 중 avoidability 기반 유용성 proxy가 가장 높았다(60.04%). 평가된 CARLA 범위 내에서 이러한 결과는, 폐루프 이중 LLM 추론이 제약된 실행 가능 프로그램 공간 위에서 적대적 시뮬레이션 기반 테스트를 조향하여 빈번하고 구조적으로 다양하며 더 자주 회피 가능한 것으로 평가되는 실패를 생성할 수 있음을 보여 준다.
Autonomous driving using GA-optimized neural network based adaptive LPV-MPC controller
Intelligent Resource Allocation in Joint Radar-Communication With Graph Neural Networks
토론
이 논문과 연결된 포럼 글이 아직 없습니다.