arXiv:2307.03494

HoughLaneNet: Lane Detection with Deep Hough Transform and Dynamic Convolution

Jia-Qi Zhang, Hao-Bin Duan, Jun-Long Chen, Ariel Shamir, Miao Wang

제출 2023-07-07

원문 초록

The task of lane detection has garnered considerable attention in the field of autonomous driving due to its complexity. Lanes can present difficulties for detection, as they can be narrow, fragmented, and often obscured by heavy traffic. However, it has been observed that the lanes have a geometrical structure that resembles a straight line, leading to improved lane detection results when utilizing this characteristic. To address this challenge, we propose a hierarchical Deep Hough Transform (DHT) approach that combines all lane features in an image into the Hough parameter space. Additionally, we refine the point selection method and incorporate a Dynamic Convolution Module to effectively differentiate between lanes in the original image. Our network architecture comprises a backbone network, either a ResNet or Pyramid Vision Transformer, a Feature Pyramid Network as the neck to extract multi-scale features, and a hierarchical DHT-based feature aggregation head to accurately segment each lane. By utilizing the lane features in the Hough parameter space, the network learns dynamic convolution kernel parameters corresponding to each lane, allowing the Dynamic Convolution Module to effectively differentiate between lane features. Subsequently, the lane features are fed into the feature decoder, which predicts the final position of the lane. Our proposed network structure demonstrates improved performance in detecting heavily occluded or worn lane images, as evidenced by our extensive experimental results, which show that our method outperforms or is on par with state-of-the-art techniques.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.21281v1cs.CV공통 태그 Autonomous Driving, Lane Detection

HGeo-TopoMap: 계층적 기하학적 사전정보를 활용한 위상 매핑 성능 향상

HGeo-TopoMap: Boosting Topological Mapping with Hierarchical Geometric Priors

위상 지도(topological map)는 자율주행 인지 시스템의 핵심 출력물로, 경로 계획(path planning)에 필요한 필수 도로 정보를 제공한다. 이는 중심선(centerline)과 교통 표지(traffic sign) 같은 인스턴스와 그들의 연결성 관계를 식별한다. 실제 환경에서는 중심선에 대한 명시적 표시가 부족하기 때문에, 중심선 인스턴스 탐지는 여전히 중요한 과제로 남아 있다. 이 문제를 해결하기 위해, 우리는 명시적 사전 지도(prior map)와 암묵적 공간 관계를 활용하여 위상 매핑을 계층적으로 향상시키는 HGeo-TopoMap을 제안한다. 먼저, 역원근 투영(inverse perspective mapping)을 통해 얻은 도로 구조 지도에 대해 기하학적 적응 학습(geometric adaptive learning) 모듈을 설계한다. 이 모듈은 지도로부터 의미적 및 공간적 특징을 이산적으로 인코딩한 뒤, 정보가 풍부한 영역에 선택적으로 집중하는 사전 마스크 어텐션(prior-mask attention) 메커니즘을 적용한다. 다음으로, 중심선의 기하학적 속성과 공간 관계를 활용하는 기하학적 일관성 학습(geometric consistency learning) 모듈을 고안한다. 기하학 인식(geometry-aware) 디코더 위에 구축되어, 동일한 기하학적 방향을 가진 중심선 인스턴스의 특징을 정렬함으로써 공간적 일관성을 강제한다. 제안 방법은 OpenLane-V2 데이터셋에서 중심선, 차선 세그먼트(lane segment), 견고성(robustness) 벤치마크에 걸쳐 평가된다. 위상 매핑 정확도의 상당한 개선 외에도, 제안 방법은 견고성 향상이라는 이점을 제공하며, 표준 및 어려운 조건 모두에서 베이스라인을 일관되게 능가한다. 소스 코드와 모델 가중치는 https://github.com/lynn-yu/HGeo-TopoMap 에서 공개될 예정이다.

arXiv:2607.14248v1cs.CV공통 태그 Autonomous Driving, Lane Detection

고속 차량 레이싱을 위한 오도메트리 기반 3D 차선 검출

3D Lane Detection with Odometry for High-Speed Vehicle Racing

차선 경계 검출은 자율주행 시스템의 핵심 구성 요소이며 일반 주행 시나리오에서 광범위하게 연구되어 왔다. 그러나 차량이 더 극단적인 도로 기하학을 가로지르며 더 높은 속도로 이동하는 차량 레이싱에서는 상대적으로 덜 탐구되었다. 이 문제를 연구하기 위해, 폐쇄 서킷에서 주행한 Lexus LC 500으로 수집한 다중 카메라 피드와 관성 측정치를 포함하며 >$250$k장의 이미지를 담은 레이싱용 3D 차선 검출 데이터셋을 새롭게 제안한다. 이 데이터셋을 활용해 다양한 3D 차선 검출 접근법을 비교하고, 레이싱 응용에서 높은 예측 성능을 유지하면서 프레임을 거의 300Hz 속도로 처리할 수 있도록 하는 수정안을 제안한다. 이를 통해 하드웨어에서 검증된 다중 카메라 앙상블 접근법을 가능하게 한다. 관성 측정치와 같은 센싱 모달리티를 사전 적분(pre-integration)에 활용하여 카메라와 시간에 걸쳐 도로 기하학을 회귀할 수 있음을 보이며, 이는 핵심 지표에서의 개선으로 이어진다. BevLaneDet와 같은 방법과 비교했을 때, 오도메트리와 앙상블 예측을 추가하면 F1 점수가 3점 향상되고 근접 차량 평균 절대 오차(MAE)가 $>30 \%$ 감소한다. 실차 배치에서 F1 점수가 $>$0.9이고 측면 MAE가 $<$0.18m임을 보인다.

arXiv:2607.05783v1cs.CV공통 태그 Autonomous Driving, Lane Detection

자율주행의 환경적 착시에 대한 강건성 벤치마킹: 차선 인식 관점

Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective

환경적 착시(예: 그림자, 반사, 타이어 자국)는 실제 주행 환경에서 자연적으로 발생하지만 간과되어 온 현상이다. 이러한 착시는 시각적 인식을 교란하여 장면의 잘못된 해석을 유발하고, 자율주행(AD) 시스템에 심각한 안전 위험을 초래할 수 있다. 그러나 기존 연구들은 이러한 현상을 대체로 간과하여 중요한 공백이 남아 있다. 이 문제를 해결하기 위해, 우리는 크루즈 컨트롤 및 차선 중앙 유지와 같은 핵심 기능을 지원하는 기본 과제인 차선 인식 관점을 통해 AD 강건성을 연구한다. 우리는 두 가지 대표적인 모델에 집중한다: 기존 차선 감지(LD)와 비전-언어 모델 기반 시스템(ADVLMs). 본 연구에서 우리는 환경적 착시 하에서 차선 인식의 강건성을 평가하기 위한 최초의 벤치마크인 LanEvil++를 소개한다. LanEvil++는 14가지 유형의 착시를 포함하며, CARLA 시뮬레이터를 활용하여 94개의 고충실도 완전 제어 가능한 3D 장면을 생성하고, 90,292개의 주석이 달린 이미지, 1,596개의 비디오 클립, 41,855개의 시각적 질의응답 쌍으로 구성된 데이터셋을 제공한다. 광범위한 평가를 통해 환경적 착시가 최신 LD 방법의 성능을 상당히 저하시킴을 입증한다. 평균적으로 LD 모델은 정확도에서 5.27%, F1-score에서 10.49% 하락을 경험하며, ADVLMs는 GPT-score에서 2.03%, Language-score에서 0.75% 감소를 보인다. 모든 착시 중 그림자가 가장 방해적인 요인으로, 정확도를 최대 7.20%까지 감소시킨다. 또한, 폐루프 시뮬레이션을 통해 이러한 착시가 잘못된 주행 결정으로 이어질 수 있음을 밝힌다. 실제 사례 연구는 실제 교통 상황에서 안전에 치명적인 실패를 부각시킨다. 강건성을 향상시키기 위해 우리는 멀티모달 착시 방어 접근법(MIDA)을 제안한다. MIDA는 도전적인 조건에서 LD 모델의 강건성을 4.23%, ADVLMs의 강건성을 3.82% 향상시키는 상당한 성능 개선을 달성한다.

arXiv:2606.21115v1cs.CV공통 태그 Autonomous Driving

MS-rPPG: 운전자 모니터링 시스템에서 원격 광용적맥파를 위한 다중 스펙트럼 상태 공간 모델

MS-rPPG: Multi-spectral State Space Model for Remote Photoplethysmography in Driver Monitoring Systems

원격 광용적맥파(rPPG)는 생리 신호, 특히 심장 활동을 측정하는 카메라 기반 기법이다. 원격으로 측정된 신호로부터 심박수를 추정할 수 있으며, 이는 건강 모니터링에 매우 중요하다. 본 연구에서는 원격 심박수 추정에 기반한 운전자 건강 모니터링 시스템을 조사한다. 그러나 운전 환경은 제어되지 않은 환경으로, 영상이 다양한 조명 조건과 빈번한 머리 움직임의 영향을 받는다. MS-rPPG를 도입한다. 이는 RGB와 근적외선(NIR) 얼굴 영상을 결합하여 어려운 운전 조건 하에서 rPPG 추정을 완화하는 다중 스펙트럼 프레임워크이다. 두 스펙트럼 영상의 상보적 특징을 결합하기 위해, 주파수 영역 분석에 기반한 교차 스펙트럼 선형 변조(CSLM) 전략을 제안한다. 또한 다중 스펙트럼 특징 간 교차 채널 상호작용을 공동으로 포착하면서 장거리 시간적 의존성을 효과적으로 모델링하도록 설계된 새로운 상태 공간 모델인 MS-Mamba를 도입한다. 50명의 참가자가 차량을 운전하는 동안 기록한 MS-Drive라는 실세계 데이터셋을 수집했다. 제안 방법은 MR-NIRP Car 데이터셋과 MS-Drive 데이터셋에서 평가되었다. 실험 결과, MS-rPPG가 이전 방법들보다 더 나은 견고성과 심박수 추정 정확도를 보였으며, 운전자 건강 모니터링에 대한 잠재력을 강조한다. 코드는 github.com/ziiho08/MS-rPPG에서 이용할 수 있다.

arXiv:2607.14203v2cs.GR공통 태그 Autonomous Driving

Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성

Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation

3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.