arXiv:2304.00930

Online Lane Graph Extraction from Onboard Video

Yigit Baran Can, Alexander Liniger, Danda Pani Paudel, Luc van Gool

제출 2023-04-03

원문 초록

Autonomous driving requires a structured understanding of the surrounding road network to navigate. One of the most common and useful representation of such an understanding is done in the form of BEV lane graphs. In this work, we use the video stream from an onboard camera for online extraction of the surrounding's lane graph. Using video, instead of a single image, as input poses both benefits and challenges in terms of combining the information from different timesteps. We study the emerged challenges using three different approaches. The first approach is a post-processing step that is capable of merging single frame lane graph estimates into a unified lane graph. The second approach uses the spatialtemporal embeddings in the transformer to enable the network to discover the best temporal aggregation strategy. Finally, the third, and the proposed method, is an early temporal aggregation through explicit BEV projection and alignment of framewise features. A single model of this proposed simple, yet effective, method can process any number of images, including one, to produce accurate lane graphs. The experiments on the Nuscenes and Argoverse datasets show the validity of all the approaches while highlighting the superiority of the proposed method. The code will be made public.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24526v1cs.CV공통 태그 Autonomous Driving, Navigate

ME-VLM: 체화 인지와 에이전트 조정을 위한 통합 VLM

ME-VLM:A Unified VLM for Embodied Cognition and Agent Coordination

피지컬 AI(Physical AI)는 모델이 환경적 제약과 실행 피드백을 고려하면서 시각 및 언어적 이해를 실제 환경에 그라운딩(grounding)할 것을 요구합니다. 본 논문에서는 체화 인지(embodied cognition)와 멀티모달 에이전트 역량을 결합한 통합 비전-언어 모델(VLM)인 MachEmbodied-VLM(ME-VLM)을 소개하며, 4B 및 35B-A3B 두 가지 변형으로 제공됩니다. 본 연구는 디지털 및 물리적 환경 모두에서의 계획 수립, 상호작용 및 결과 평가와 함께 물리적 지각 및 시공간 추론을 강조합니다. 체화 및 멀티모달 에이전트 태스크를 포괄하는 학습(training) 데이터를 구축하였으며, 여기에는 결과 평가와 의사결정 개선을 지원하기 위한 실행 관측 및 피드백이 포함됩니다. 학습 파이프라인은 체화 역량 주입, 체화 및 멀티모달 에이전트 전문가에 대한 개별 강화학습(RL), 그리고 이들의 상호보완적 역량을 단일 모델로 통합하는 다중 교사(multi-teacher) 온-정책(on-policy) 지식 증류(distillation)로 구성됩니다. 실험 결과, 체화 및 에이전트 벤치마크뿐만 아니라 자율주행 및 체화 내비게이션 태스크에서도 경쟁력 있는 성능을 보였습니다. 엣지 배포(edge deployment)를 위해 시각 토큰(token) 압축, W4A8 양자화(quantization), 하드웨어-소프트웨어 공동 최적화를 적용하여 M100에서 4B 모델의 온디바이스 추론(inference)을 실현하고 프리필(prefill) 지연 시간을 400 ms에서 188 ms로 단축했습니다. 프로젝트 페이지: https://machembodied.com/ME-Brain/ME-VLM.html 코드 저장소: https://github.com/MachEmbodied/ME-VLM

arXiv:2607.11529v1cs.CV공통 태그 Autonomous Driving, Navigate

파싱, 탐색, 확인: 사고의 연쇄 추론과 구조화된 공간 메모리를 활용한 학습 불필요 항공 비전-대화 내비게이션

Parse, Search, and Confirmation: Training-Free Aerial Vision-and-Dialog Navigation with Chain-of-Thought Reasoning and Structured Spatial Memory

본 논문에서는 자원 효율적인 고고도 UAV 내비게이션을 위해 학습이 불필요한(training-free) 설정에서 항공 비전-대화 내비게이션(AVDN) 과제를 다룬다. 다중모달 대규모 언어 모델(MLLM)을 단순 적용하면 방향 그라운딩의 취약성과 명시적 공간 메모리의 부재로 인해 불안정한 내비게이션이 발생한다. 이러한 문제를 해결하기 위해, 우리는 파싱-탐색-확인(Parsing-Search-Confirmation)의 3단계 추론 파이프라인과 구조화된 공간 메모리(SSM)를 긴밀하게 결합한 학습 불필요 프레임워크 PSC-AVDN을 제안한다. 파싱 단계에서는 LLM을 사용하여 모호한 대화 지시를 안정적인 기하학적 방향 및 목적지 단서로 변환한다. 이후 탐색 사고의 연쇄(S-CoT)가 고고도 관측 하에서 단계적 목표 탐험(exploration)을 수행하고, 확인 사고의 연쇄(C-CoT)가 후보 영역 주변에서 세밀한 검증을 수행하여 시각적 모호성을 해소한다. 한편, SSM은 다중 스케일 시각 관측, 공간 시각 메모리, 구조화된 기하학적 메모리를 포함하는 세 가지 상호 보완적 공간 단서 소스를 통합하여 전역 공간 컨텍스트와 장기적 일관성을 제공한다. ANDH 및 ANDH-Full에 대한 광범위한 실험을 통해 PSC-AVDN이 학습 불필요 설정에서 새로운 최고 성능을 달성하며, 여러 파인튜닝 기법과 동등하거나 이를 능가함을 입증한다. 코드는 https://github.com/QY6616/PSC-AVDN 에서 공개될 예정이다.

arXiv:2607.09792v1cs.RO공통 태그 Autonomous Driving, Navigate

구현된 비전-언어 내비게이션의 종합적 서베이 및 체계적 실세계 평가

A Comprehensive Survey and Systematic Real-World Evaluation of Embodied Vision-and-Language Navigation

내비게이션은 자율 시스템의 기본적인 능력이지만, 기존 대부분의 접근법은 고도로 구조화된 모델과 강한 사전 가정에 의존하여 열린 불확실한 실세계 환경에서의 견고성을 제한한다. 비전-언어 내비게이션(VLN)은 로봇이 데이터 기반 방식으로 자연어 이해와 시각적 지각을 통합할 수 있게 함으로써 유망한 방향을 제시한다. VLN이 점점 더 많은 연구 관심을 받고 있음에도 불구하고, 체계적인 방법론적 분류와 실세계 검증은 여전히 제한적이다. 본 서베이는 VLN 연구에 대한 종합적인 리뷰를 제시한다. 구체적으로, 최신 방법들을 두 가지 직교 차원에 따라 정리한다: 계층적 및 단일체(monolithic) 프레임워크를 포함하는 행동 패러다임과, 판별적(discriminative) 및 생성적(generative) 접근법을 포함하는 모델 패러다임. 각각의 강점과 한계에 대한 비판적 분석이 제공된다. 또한, 물리적 로봇 플랫폼에서 대표적인 VLN 시스템 구성에 대한 체계적인 실세계 평가를 수행한다. 열 가지 다양한 실세계 장면에 걸친 실험은 테스트된 구성에서 시뮬레이션과 실세계 배포 간의 상당한 성능 격차를 보여준다: 대표적인 단일체 RGB 전용 방법은 시뮬레이션에서 61%의 성공률을 달성하지만 실세계 배포에서는 22%로 떨어지는 반면, 계층적 프레임워크는 51%의 더 높은 실세계 성공률을 달성하여 우리의 평가 환경에서 더 강한 견고성을 시사한다. 마지막으로, 향후 연구에서 반드시 해결해야 할 지각, 의사결정, 제어 분야의 핵심 과제들을 강조한다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

arXiv:2607.22698v2cs.CV공통 태그 Autonomous Driving

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

arXiv:2607.24409v2cs.CV공통 태그 Autonomous Driving

고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력

Accuracy potential of visual localization exploiting high-end street-level imagery

측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.