arXiv:2307.15989

Freespace Optical Flow Modeling for Automated Driving

Yi Feng, Ruge Zhang, Jiayuan Du, Qijun Chen, Rui Fan

제출 2023-07-29

원문 초록

Optical flow and disparity are two informative visual features for autonomous driving perception. They have been used for a variety of applications, such as obstacle and lane detection. The concept of "U-V-Disparity" has been widely explored in the literature, while its counterpart in optical flow has received relatively little attention. Traditional motion analysis algorithms estimate optical flow by matching correspondences between two successive video frames, which limits the full utilization of environmental information and geometric constraints. Therefore, we propose a novel strategy to model optical flow in the collision-free space (also referred to as drivable area or simply freespace) for intelligent vehicles, with the full utilization of geometry information in a 3D driving environment. We provide explicit representations of optical flow and deduce the quadratic relationship between the optical flow component and the vertical coordinate. Through extensive experiments on several public datasets, we demonstrate the high accuracy and robustness of our model. Additionally, our proposed freespace optical flow model boasts a diverse array of applications within the realm of automated driving, providing a geometric constraint in freespace detection, vehicle localization, and more. We have made our source code publicly available at https://mias.group/FSOF.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10759v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

MESSENGER: 자기회귀적 다음 프레임 예측을 통한 메모리 강화 순차 씬 플로우 추정

MESSENGER: Memory-Enhanced Sequential Scene Flow Estimation via Autoregressive Next-Frame Forecasting

씬 플로우(Scene flow)는 동적 시나리오에서 저수준 3D 모션 변위를 포착할 수 있습니다. 순간적인 두 프레임 모션에 의존하는 초기 쌍별(pairwise) 추정기는 장기적인 시간적 상관관계가 결여되어 있으며 미래 예측 시 외삽(extrapolation) 능력이 떨어지는 문제도 겪습니다. 최근 일부 연구에서 시퀀스-투-시퀀스 방식으로 다중 프레임 씬 플로우 추정을 시도하고 있으나, 일반적으로 입력 프레임이 증가함에 따라 막대한 연산 오버헤드가 발생하며 비효과적인 모션 전파로 인해 장기 예측 성능이 저하되는 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 MESSENGER라는 새로운 메모리 강화 순차 씬 플로우 파이프라인을 제안합니다. 연속적인 시퀀스 내에서 장기적인 시간적 의존성을 자연스럽게 충분히 발굴하기 위해, 과거의 플로우 추정치와 잠재 상태(latent states)를 명시적으로 저장하는 메모리 버퍼를 설계했습니다. 각 입력 프레임에 대해, 시간적으로 저장된 플로우와 상태는 다음 프레임 예측 방식으로 상관관계를 맺고 검색되어 현재의 초기화된 플로우를 예측합니다. 또한 신뢰할 수 없는 검색 결과를 필터링하고 누적 오차를 완화하기 위해 불확실성 인지 재가중치 모듈을 개발했습니다. nuScenes 및 Argoverse 2 데이터셋에 대한 광범위한 실험을 통해 MESSENGER의 SOTA(state-of-the-art) 성능을 입증하였으며, 장기 미래 외삽에서 EPE3D를 nuScenes에서 71.6%, Argoverse 2에서 67.7% 감소시켰습니다. 이러한 우수성은 네트워크가 과거 관측을 기반으로 다음 프레임 분포를 점진적으로 학습하도록 자연스럽게 유도하는 자기회귀적 예측 패러다임 설계 덕분입니다. 코드는 https://github.com/liujiuming123/Messenger 에서 공개될 예정입니다.

arXiv:2609.27509v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률

Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM

지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.

arXiv:2609.22857v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

레이더-이미지 융합을 이용한 이미지 프레임 동적 객체 분할 및 자기 운동 추정

Image Frame Dynamic Object Segmentation and Ego Motion Estimation using Radar Image Fusion

동적 객체 분할(dynamic object segmentation)과 자기 운동 추정(ego-motion estimation)은 자율주행에서 긴밀하게 결합된 문제이다. 정확한 자기 운동 추정에는 일반적으로 정적 장면 관측이 필요한 반면, 정적 관측을 식별하기 위해서는 자기 운동에 대한 정보가 필요하기 때문이다. 우리는 이러한 결합 문제를 해결하기 위해 레이더 도플러(Doppler) 측정값을 활용하는 레이더-RGB 프레임워크인 Radar-Dot을 제시한다. 먼저 레이더 반사 신호를 선형 도플러 제약(linear Doppler constraint)을 통해 자기 속도(ego velocity) 추정에 사용하며, 잔차 기반 정적/동적 분할(residual-based static/dynamic segmentation)과 로버스트 추정(robust estimation)을 사용하여 이동 객체의 영향을 줄인다. 추정된 운동 정보는 이후 메트릭 깊이(metric depth) 및 밀집 광학 흐름(dense optical flow)과 결합되어, 관측된 움직임이 경직 장면 운동(rigid scene motion)과 일치하지 않는 이미지 영역을 식별하는 데 사용된다. nuScenes 장면 10개(nuscenes-mini의 일부)에 대한 실험 결과, 제안된 기하학적 파이프라인은 394개의 프레임 쌍에 대해 20.24%의 동적 IoU와 33.67%의 F1-score를 달성하였으며, 레이더 기반 정적 포인트 필터링(static-point filtering)은 모든 레이더 반사 신호를 사용하는 경우에 비해 자기 속도 추정을 향상시켰다. 이러한 결과는 레이더가 자기 운동 추정과 동적 객체 분할을 동시에 개선할 수 있는 모달리티(modality)로서의 잠재력을 보여준다.

arXiv:2607.21281v1cs.CV공통 태그 Autonomous Driving, Lane Detection

HGeo-TopoMap: 계층적 기하학적 사전정보를 활용한 위상 매핑 성능 향상

HGeo-TopoMap: Boosting Topological Mapping with Hierarchical Geometric Priors

위상 지도(topological map)는 자율주행 인지 시스템의 핵심 출력물로, 경로 계획(path planning)에 필요한 필수 도로 정보를 제공한다. 이는 중심선(centerline)과 교통 표지(traffic sign) 같은 인스턴스와 그들의 연결성 관계를 식별한다. 실제 환경에서는 중심선에 대한 명시적 표시가 부족하기 때문에, 중심선 인스턴스 탐지는 여전히 중요한 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 명시적 사전 지도(prior map)와 암묵적 공간 관계를 활용하여 위상 매핑을 계층적으로 향상시키는 HGeo-TopoMap을 제안한다. 먼저, 역원근 투영(inverse perspective mapping)을 통해 얻은 도로 구조 지도에 대해 기하학적 적응 학습(geometric adaptive learning) 모듈을 설계한다. 이 모듈은 지도로부터 의미적 및 공간적 특징을 이산적으로 인코딩한 뒤, 정보가 풍부한 영역에 선택적으로 집중하는 사전 마스크 어텐션(prior-mask attention) 메커니즘을 적용한다. 다음으로, 중심선의 기하학적 속성과 공간 관계를 활용하는 기하학적 일관성 학습(geometric consistency learning) 모듈을 고안한다. 기하학 인식(geometry-aware) 디코더 위에 구축되어, 동일한 기하학적 방향을 가진 중심선 인스턴스의 특징을 정렬함으로써 공간적 일관성을 강제한다. 제안 방법은 OpenLane-V2 데이터셋에서 중심선, 차선 세그먼트(lane segment), 견고성(robustness) 벤치마크에 걸쳐 평가된다. 위상 매핑 정확도의 상당한 개선 외에도, 제안 방법은 견고성 향상이라는 이점을 제공하며, 표준 및 어려운 조건 모두에서 베이스라인을 일관되게 능가한다. 소스 코드와 모델 가중치는 https://github.com/lynn-yu/HGeo-TopoMap 에서 공개될 예정이다.

arXiv:2607.14248v1cs.CV공통 태그 Autonomous Driving, Lane Detection

고속 차량 레이싱을 위한 오도메트리 기반 3D 차선 검출

3D Lane Detection with Odometry for High-Speed Vehicle Racing

차선 경계 검출은 자율주행 시스템의 핵심 구성 요소이며 일반 주행 시나리오에서 광범위하게 연구되어 왔다. 그러나 차량이 더 극단적인 도로 기하학을 가로지르며 더 높은 속도로 이동하는 차량 레이싱에서는 상대적으로 덜 탐구되었다. 이 문제를 연구하기 위해, 폐쇄 서킷에서 주행한 Lexus LC 500으로 수집한 다중 카메라 피드와 관성 측정치를 포함하며 >$250$k장의 이미지를 담은 레이싱용 3D 차선 검출 데이터셋을 새롭게 제안한다. 이 데이터셋을 활용해 다양한 3D 차선 검출 접근법을 비교하고, 레이싱 응용에서 높은 예측 성능을 유지하면서 프레임을 거의 300Hz 속도로 처리할 수 있도록 하는 수정안을 제안한다. 이를 통해 하드웨어에서 검증된 다중 카메라 앙상블 접근법을 가능하게 한다. 관성 측정치와 같은 센싱 모달리티를 사전 적분(pre-integration)에 활용하여 카메라와 시간에 걸쳐 도로 기하학을 회귀할 수 있음을 보이며, 이는 핵심 지표에서의 개선으로 이어진다. BevLaneDet와 같은 방법과 비교했을 때, 오도메트리와 앙상블 예측을 추가하면 F1 점수가 3점 향상되고 근접 차량 평균 절대 오차(MAE)가 $>30 \%$ 감소한다. 실차 배치에서 F1 점수가 $>$0.9이고 측면 MAE가 $<$0.18m임을 보인다.

arXiv:2607.10470v1cs.CV공통 태그 Autonomous Driving, Optical Flow Estimation

광학 흐름 모델의 실제 세계 일반화 가능성에 관하여

On the Real-World Generalisability of Optical Flow Models

비전 모델을 실제 세계에 배포하여 사회에 광범위하게 기여하는 것은 주요 연구 목표 중 하나라 할 수 있다. 그러나 광학 흐름(optical flow) 분야에서는 정답(ground truth) 획득의 어려움으로 인해 연구가 주로 합성 데이터와 도메인 특화 벤치마크에 집중되어 왔다. 본 연구에서는 이러한 불일치의 심각성을 조사한다. 우리는 현대 광학 흐름 추정 모델이 실제 세계 비디오에 얼마나 잘 일반화되는지 연구하고, 합성 벤치마크 프록시에서의 정확도가 실제 세계 광학 흐름의 정확도를 실제로 예측하는지 의문을 제기한다. 이를 위해 실제 세계 평가 벤치마크를 구축하고, 표준 체크포인트를 사용하여 최근 광학 흐름 모델 전반의 실제 세계 일반화 가능성을 평가한다. 우리의 벤치마크는 TAP-Flow, Slow Flow, 그리고 자체 데이터셋 FlowFactor에 걸쳐 8,204개의 프레임 쌍을 포함한다. FlowFactor는 1,000개의 HD 프레임 쌍으로 구성된 수동 주석 기반 실제 세계 벤치마크로, 대변위(large displacements), 반복 텍스처(repetitive textures), 가려짐(occlusions), 조명 변화(lighting variation)의 네 가지 교란 요인으로 조직되어 있다. 각 설정은 주로 하나의 요인만 변화시켜 진단적이고 교란 요인별 분석을 가능하게 한다. FlowFactor를 활용하여, 조명 변화 및 대변위 환경에서의 성능이 실제 세계 정확도와 가장 강하게 상관관계를 가지며, 대동작 영역에서의 성능 향상이 소동작의 정적 장면에서의 견고성과 트레이드오프 관계일 수 있음을 밝힌다. 실험 결과, Sintel, KITTI, Spring에서의 발전이 실제 세계 데이터 정확도를 약하게만 예측함을 보여주며, 이는 광범위한 실제 세계 광학 흐름 벤치마크의 필요성을 강조한다. 흥미롭게도, 학습 데이터의 양을 확장하는 것이 반드시 이 격차를 해소하지는 않으며, 단순히 데이터와 컴퓨팅을 확장하는 대신 새로운 혁신적 연구가 요구됨을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.