기록된 센서 데이터로부터 동적 주행 장면을 재구성하는 기술은 기존 주행 궤적을 벗어난 관측값을 합성함으로써 자율주행 시스템의 폐루프(closed-loop) 평가를 지원합니다. 카메라 및 라이다(LiDAR)와 달리, 레이더는 도플러(Doppler) 효과를 통해 시선 방향 속도(radial velocity)를 직접 측정합니다. 그러나 기존 레이더 신규 시점 합성(novel-view synthesis) 방식들은 이러한 역량을 제대로 활용하지 못하고 있습니다. 동적 장면을 다루는 방법들은 거리-방위각(range-azimuth) 텐서만을 재구성하는 반면, 도플러를 렌더링하는 방법들은 정적 장면만을 가정합니다. 더욱이 레이더 신호 처리 특성상 각 반사 신호가 여러 빈(bin)에 걸쳐 퍼지기 때문에, 기존 표현 방식들은 이러한 번짐 효과를 장면 기하 구조에 흡수하여 시점이 이동할 때 왜곡된 렌더링을 유발합니다. 본 논문에서는 정적 배경 반사체와 움직임이 추적되는 동적 점 반사체를 활용해 동적 주행 장면을 모델링하고 완전한 거리-방위각-도플러(RAD) 텐서를 렌더링하는 DyRAD를 제안합니다. 반사체의 속도는 객체 추적 궤적으로부터 유도되어 시선 방향으로 투영되므로, 도플러는 렌더링된 출력이자 해당 추적을 위한 감독(supervision) 신호로 동시에 기능합니다. 결정적으로, 레이더의 신호 처리 체인에서 유도된 고정된 해석적 점 확산 함수(PSF)를 통해 반사체를 렌더링함으로써 센서로 인한 번짐이 장면 표현에 영구적으로 반영되는 것을 방지합니다. 이러한 분리는 장면 재구성 성능을 향상시킬 뿐만 아니라 제로샷(zero-shot) 센서 구성 전이를 가능하게 하여, 재적합(refitting) 과정 없이도 동일하게 재구성된 장면을 서로 다른 레이더 사양 하에서 렌더링할 수 있도록 지원합니다. 저자들은 선행 연구에서 검증되지 않은 경로 상 포즈 및 위치가 이동된 시점 모두를 아우르며 RADIal, Boreas 및 합성 벤치마크에서 DyRAD를 평가(evaluation)합니다. RADIal 데이터셋에서 DyRAD는 가장 강력한 기준선(baseline)의 26.9% 대비 90.7%의 기준 감지 객체에서 레이더 검출을 복원해 냅니다.
차량용 레이더 인지 파이프라인은 일반적으로 학습 기반 모델을 적용하기 전에 빔포밍(beamforming)을 통해 각도 영역 표현을 구성합니다. 본 연구는 이와 달리 표현에 관한 질문을 탐구합니다: 빔포밍 이전의 안테나별 거리-도플러(RD) 측정값으로부터 의미 있는 공간 구조를 직접 학습할 수 있는가? 실험은 처프(chirp) 간 유효 송신 개구면이 달라지는(단일 TX 대 다중 TX) A/B 처프-시퀀스 주파수 변조 연속파(CS-FMCW) 송신 방식을 채택한 6-TX x 8-RX(48개 가상 안테나) 상용 차량용 레이더에서 수행되며, 이를 통해 처프에 따른 송신 구성에 대한 통제된 분석이 가능합니다. 본 연구에서는 단대단(end-to-end)의 완전한 데이터 주도 방식으로 학습된 듀얼 처프 공유 가중치 인코더를 사용하여 빔포밍 이전의 안테나별 RD 텐서를 처리하고, 성능 중심의 목표 대신 기하학적 프로브로서 조감도(BEV) 점유도를 활용해 공간 복원 가능성을 평가합니다. 지도 신호(supervision)는 가시성을 고려한 크로스 모달 방식으로, 레이더 시야각(field-of-view)의 명시적 모델링 및 광선 기반 가시성을 통한 폐색 인식 LiDAR 관측성을 바탕으로 LiDAR에서 도출됩니다. 신호 특성, 송신 구성(A-전용, B-전용, A+B), 수신 개구면, 거리-도플러 구조에 대한 분석과 함께 물리 기반 기준선(baseline)을 활용하여 공간 복원 가능성에 영향을 미치는 요인들을 조사합니다. 연구 결과는 수작업으로 설계된 신호 처리 단계에 의존하지 않고도, 학습된 공간 혼합을 통해 연구 대상인 A/B CS-FMCW 레이더 구성 하의 빔포밍 이전 안테나별 RD 텐서로부터 의미 있는 공간 구조를 복원할 수 있음을 나타냅니다.
밀리미터파 레이더 포인트 클라우드의 희소성·노이즈·구조 불완전성 문제를 해결하기 위해, 이미지 시맨틱 정보를 활용한 깊이-시맨틱 정렬과 Affinity Matrix 기반 특징 융합을 결합한 비전-레이더 멀티모달 포인트 클라우드 생성 프레임워크를 제안한다. 실험 결과, 제안 방법은 포인트 클라우드 품질을 향상시키고 복잡한 환경에서의 3D 객체 검출 및 추적 정확도와 견고성을 개선하였다.