PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.13028v1cs.LG

TerraZero: 대규모 무시연 셀프 플레이를 위한 절차적 주행 시뮬레이션

TerraZero: Procedural Driving Simulation for Zero-Demonstration Self-Play at Scale

강력한 자율주행 에이전트를 학습하려면, 대규모 강화학습에 충분히 빠르면서 실제 세계 맵 구조에 행동을 그라운딩(grounding)하기에 충분히 사실적이고, 로그 데이터가 거의 담지 못하는 안전 중요 장기 꼬리(long tail)를 커버하기에 충분히 다양한 시뮬레이터가 필요하다. 본 논문은 절차적 주행 시뮬레이터이자 셀프 플레이 학습 스택인 TerraZero를 제시한다. 구성 가능한 C 엔진이 제로 카피(zero-copy) 경로를 통해 CPU에서 시뮬레이션을 실행하고 GPU에서 정책 추론을 수행하며, 단일 서버급 GPU에서 초당 130만 에이전트-스텝(agent-steps)을 유지한다. 이는 기존 객체 수준(object-level) 시뮬레이터보다 훨씬 빠르면서, 경량 단일 에이전트 시스템이 생략하는 충실도를 유지한다: 이종 에이전트, 다중 동역학 모델, 완전한 교통 규칙 집행. TerraZero는 로그 데이터를 실제 세계 맵 지형(map geometry)의 출처로만 취급하며, 각 맵에 무작위 규칙 기반 도로 사용자와 신호 제어기를 배치하고 에피소드마다 에이전트 동역학, 보상, 크기를 무작위화하여 하나의 맵이 무한한 시나리오 집합을 생성하게 한다. 보고된 모든 정책은 GPU 전반에 걸친 연산 효율적인 셀프 플레이 레시피로 강화학습만을 통해 처음부터 학습되며, 인간 시연이 전혀 없고 추론 시 폴백 플래너(fallback planner)도 없다. 정책은 도시와 데이터셋 전반에서 제로샷(zero-shot)으로 일반화되며, 명시적 감독 없이 창발적(emergent) 좌측 통행(left-hand-traffic) 주행을 포함한다. 에고(ego) 정책으로서 TerraZero는 InterPlan 장기 꼬리 벤치마크에서 1위를 차지한 최초의 완전 학습 기반 정책이며, 더 큰 학습형 플래너들보다 앞선다. 일상 주행 val14에서는 최고 수준 접근법 중 하나로 순위에 오르며 가장 안전하여, 충돌 및 충돌까지 시간(time-to-collision) 점수에서 최고를 기록한다. Waymo Open Sim Agents realism에서 동일한 레시피는 다른 시연 없는(demonstration-free) 방법들을 능가하며, 가장 강력한 reference-anchored 셀프 플레이 방법과 경쟁력을 보인다. 하나의 스택이 두 역할을 모두 수행한다: 승용차와 트럭의 동역학에 걸친 주행 정책, 그리고 차량·보행자·자전거를 공동 제어하는 시뮬 에이전트(sim agents).

arXiv:2607.06516v1cs.CV

Point as Skeleton: 누적 포인트 클라우드 강화 자기회귀 생성을 통한 폐루프 자율주행 시뮬레이션

Point as Skeleton: Accumulated Point Cloud Enhanced Autoregressive Generation for Closed-Loop Autonomous Driving Simulation

엔드투엔드 자율주행 평가를 위한 생성형 센서 시뮬레이션 프레임워크 Point as Skeleton을 제안하며, 포인트 클라우드 스켈레톤을 조건으로 활용해 자기회귀 영상 생성 시의 오류 누적을 안정화한다. Reset-and-Roll 추론 기법으로 폐루프(closed-loop) 롤아웃을 지원하고, nuScenes와 nuPlan 실험에서 시각적 충실도가 높은 폐루프 주행 시뮬레이션 가능성을 입증했다.

arXiv:2606.07366v1cs.CV

Dash2Sim: 실제 환경 대시캠 영상을 이용한 폐루프 주행 시뮬레이션

Dash2Sim: Closed-Loop Driving Simulation from in-the-wild Dashcam Videos

자율 주행 시뮬레이션은 일반적으로 소수의 도시에서 수집된 데이터나 수동으로 작성된 합성 시나리오에 의존합니다. 대시캠 영상은 드물거나 롱테일(long-tailed) 시나리오를 포함하여 훨씬 더 다양한 위치와 상황을 포괄합니다. 단안(monocular) 실제 환경 영상에서 정확한 4D 장면을 복원하기 어렵기 때문에 시뮬레이션에 활용하기 어려운 것으로 간주되어 왔습니다. 공사 구역(work zone)은 대시캠이 포착하는 롱테일 상황 중 하나입니다. 본 논문에서는 Dash2Sim이라는 프레임워크를 제안합니다. Dash2Sim은 실제 환경의 단안 대시캠 영상을 기존 시뮬레이터와 호환되는 메트릭(metric), 지리 참조(geo-referenced) 4D 주행 로그로 변환하며, 별도의 주석 없이 독립적으로 관리되는 지도를 통해 각 로그를 검증합니다. 우리는 Dash2Sim을 대규모 비디오 말뭉치에 적용하여 ROADWork4D 벤치마크 데이터셋을 구축했으며, 이 데이터셋은 17개 도시에 걸쳐 4,244개의 장면과 270만 개의 3D 객체를 포함합니다. 검증된 부분 집합인 ROADWork4D-CL(2,201개 장면)에서 특권(privileged) 정보를 사용하는 폐루프 경로 계획기(planner)를 연구한 결과, 공사 구역 시나리오가 매우 어렵다는 것을 발견했습니다. 규칙 기반(rule-based) 및 하이브리드 플래너가 학습 기반(learning-based) 플래너보다 더 잘 일반화되지만, 모두 임시 공사 구역 차로에서 요구되는 차선 변경에 실패하는 등 성능이 미흡했습니다. 경로 계획 외에도, Dash2Sim이 복원한 밀도 깊이(dense depth)는 지각적(perceptual) 메트릭에서 새로운 시점 합성(novel-view synthesis) 품질을 최대 19%까지 향상시켰습니다. 이는 단안 영상으로부터 폐루프 센서 시뮬레이션을 위한 풍부한 조건(conditioning) 정보를 제공할 잠재력을 시사합니다.