arXiv:2109.09188

DeepPoint: A Deep Learning Model for 3D Reconstruction in Point Clouds via mmWave Radar

Yue Sun, Honggang Zhang, Zhuoming Huang, Benyuan Liu

제출 2021-09-19

원문 초록

Recent research has shown that mmWave radar sensing is effective for object detection in low visibility environments, which makes it an ideal technique in autonomous navigation systems such as autonomous vehicles. However, due to the characteristics of radar signals such as sparsity, low resolution, specularity, and high noise, it is still quite challenging to reconstruct 3D object shapes via mmWave radar sensing. Built on our recent proposed 3DRIMR (3D Reconstruction and Imaging via mmWave Radar), we introduce in this paper DeepPoint, a deep learning model that generates 3D objects in point cloud format that significantly outperforms the original 3DRIMR design. The model adopts a conditional Generative Adversarial Network (GAN) based deep neural network architecture. It takes as input the 2D depth images of an object generated by 3DRIMR's Stage 1, and outputs smooth and dense 3D point clouds of the object. The model consists of a novel generator network that utilizes a sequence of DeepPoint blocks or layers to extract essential features of the union of multiple rough and sparse input point clouds of an object when observed from various viewpoints, given that those input point clouds may contain many incorrect points due to the imperfect generation process of 3DRIMR's Stage 1. The design of DeepPoint adopts a deep structure to capture the global features of input point clouds, and it relies on an optimally chosen number of DeepPoint blocks and skip connections to achieve performance improvement over the original 3DRIMR design. Our experiments have demonstrated that this model significantly outperforms the original 3DRIMR and other standard techniques in reconstructing 3D objects.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.10926v1cs.LG공통 태그 Generative Adversarial Network, Autonomous Vehicles

강화학습 및 게임 이론을 활용한 자원 제약 차량 사물 인터넷 환경용 적응형 다중 판별자 WGAN 프레임워크

Adaptive Multi-Discriminator WGAN Framework for Resource-Constrained Internet of Vehicles Using Reinforcement Learning and Game Theory

머신러닝 워크로드를 네트워크 서비스로 관리하는 것은 기존의 모델 학습(training)과는 다른 자원 오케스트레이션 문제를 발생시킵니다. 즉, 어떤 노드(node)를 작업에 할당해야 하는지, 통신 및 연산 예산을 노드 간에 어떻게 분배해야 하는지, 그리고 이동성에 따라 연결성과 노드 가용성이 변화할 때 서비스 품질을 어떻게 유지해야 하는지의 문제입니다. 차량 사물 인터넷(IoV) 환경에 생성적 적대 신경망(GAN)을 배포하는 것은 이러한 문제의 대표적인 고난도 사례입니다. 자원 제약, 동적인 네트워크 토폴로지, 그리고 상충하는 최적화 목표로 인해 기존 GAN 아키텍처는 높은 정확도, 효율적인 자원 사용, 낮은 지연 시간, 낮은 통신 오버헤드를 동시에 달성할 수 없습니다. 본 논문에서는 이러한 문제를 종합적으로 해결하기 위해 강화학습(reinforcement learning)과 게임 이론 기반 조율을 통합한 적응형 다중 판별자 바서슈타인 GAN(MD-WGAN) 프레임워크를 제안합니다. 제안하는 프레임워크에서는 노변 기지국(RSU)이 판별자 하위 집합을 선택하고 이동 차량 노드 전반의 분산 학습을 관리하는 심층 Q 네트워크(DQN) 에이전트와 결합된 생성자를 호스팅하며, 게임 이론 기반 조율 단계를 통해 생성자와 판별자 간의 학습 에포크를 할당합니다. 통합 최적화 목적 함수는 차량 환경의 제약 조건 하에서 적대적 학습 품질을 자원 효율성, 통신 오버헤드, 지연 시간과 연계하여, 네트워크 조건이 변함에 따라 프레임워크가 학습 동작을 지속적으로 적응시킬 수 있도록 합니다. 실제 NGSIM 궤적 데이터를 활용한 평가 결과, 본 프레임워크는 최고 수준의 최신 GAN 베이스라인과 대등한 예측 정확도를 달성하여 평가된 모든 방법 중 가장 낮은 RMSE(1.029) 및 MAE(0.894)를 기록하는 동시에, 경쟁력 있는 통신 오버헤드와 지연 시간을 유지하면서 평균 CPU 사용률을 약 28%, 평균 메모리 사용량을 약 6% 대폭 절감하여 자원 효율성을 뚜렷하게 향상시킴을 입증했습니다.

arXiv:2610.02825v1cs.CV공통 태그 Autonomous Vehicles, 3D Reconstruction

TerrainForge: 반사실적 자율주행을 위한 물리 기반 도로 기하학 편집

TerrainForge: Physics-Grounded road geometry Editing for Counterfactual Autonomous Driving

도로 기하학(예: 정점부, 오목부, 과속방지턱)과 노면 상태(예: 젖어 있거나 빙판인 노면)는 차량의 움직임, 운전자와 온보드 카메라의 시야, 차량 간 여유 거리(clearance)에 영향을 미칩니다. 따라서 주행 장면에서 이러한 속성을 편집하려면 이에 상응하는 차량 움직임의 변화가 수반되어야 합니다. 주행 비디오에서 이러한 차이를 포착하려면 도로 편집 내용이 차량 움직임, 카메라 시점, 차량 간 여유 거리로 전파되어야 합니다. 본 논문에서는 재구성된 다중 차량 주행 에피소드로부터 도로 기하학 중심의 반사실적(counterfactual) 시나리오를 생성하는 프레임워크인 TerrainForge를 제시합니다. 통합 도로 모델(model)은 장면 변형을 4륜 차량 동역학과 연결하여 정점부, 오목부, 과속방지턱, 마찰력 변화가 차량 움직임, 카메라 시점 및 차량 간 여유 거리로 전파될 수 있도록 합니다. 차량 동역학은 CarSim을 기준으로 평가되었으며, 규정된 도로 기하학은 재구성된 Waymo 장면에서 검증되었습니다. 18개의 에피소드에 걸쳐 주변 차량의 반응을 재계산하는 대신 기록된 궤적에 그대로 둘 경우, 예측된 자차-선행 차량 간 거리의 중앙값 피크 차이는 정점부에서 1.52m, 오목부에서 1.41m로 나타났습니다. 나아가 983개의 제동 에피소드에 걸친 15,758개의 도로 편집에 대해 자차의 반응을 시뮬레이션하고, 각 편집을 편집되지 않은 재생 대비 안전성(safety) 결과와 쌍으로 구성했습니다. 이 쌍들을 통해 원래 주행 컨텍스트와 후보 도로 편집 파라미터를 입력으로 받아 자차의 최종 간격(terminal gap) 변화를 예측하는 1단계 선별 대리(surrogate) 모델을 학습시킵니다. 홀드아웃(held-out) 장면에서 이 예측은 변화가 없다고 예측하는 기준 대비 22-40% 더 낮은 평균 절대 오차를 달성하므로, 전체 다중 차량 롤아웃(rollout)을 수행하기 전에 후보군을 저비용으로 선별할 수 있습니다.

arXiv:2609.24825v1cs.CV공통 태그 Autonomous Vehicles, 3D Reconstruction

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2607.21800v1physics.med-ph공통 태그 Generative Adversarial Network, 3D Reconstruction

두상경부암 3차원 CT-PET 합성을 위한 핫스폿 유도 융합 이중 경로 프레임워크

A Dual Path Framework with Hotspot Guided Fusion for Three Dimensional CT to PET Synthesis in Head and Neck Cancer

18F-FDG PET/CT는 해부학적 CT 영상을 보완하는 기능적 정보를 제공함으로써 두상경부암의 병기 설정(staging), 치료 계획, 반응 평가에 핵심적인 역할을 한다. 그러나 PET 촬영은 방사성 추적자 투여, 전문 인프라, 추가 비용을 필요로 하여 반복 영상 촬영에 대한 이용 가능성을 제한한다. 우리는 진단용 PET를 대체하기보다 영상 트리아지(imaging triage) 및 임상 의사결정 지원을 돕는 보완적 대사 정보를 제공하는 것을 목표로, 일상적인 CT 스캔으로부터 직접 PET 유사 영상을 합성하는 개념 증명(proof of concept) 심층 학습 프레임워크를 제안한다. 공개 QIN-HEADNECK 데이터셋의 44명 환자를 5-fold 교차 검증을 사용하여 후향적으로 분석하였다. 우리는 (i) 복셀 단위 정량적 SUV 추정에 최적화된 회귀 U-Net과 (ii) 사실적인 PET 텍스처에 최적화된 조건부 생성적 적대 신경망(conditional GAN)으로 구성된 완전 3차원 이중 경로 아키텍처를 제안한다. 두 출력은 핫스폿 유도 라플라시안 피라미드 블렌딩(hotspot guided Laplacian pyramid blending)을 통해 통합되어, 회귀 경로의 정량적 정보는 대사적으로 활성화된 영역 내에서 보존되고, 그 외 영역에서는 적대적 텍스처 합성을 활용한다. 제안된 프레임워크는 재구성된 3차원 PET 볼륨에서 평균 절대 오차 0.00395, PSNR 39.19 dB, SSIM 0.9634를 달성하였다. 정성적 평가는 해부학적으로 사실적인 배경 텍스처를 생성하면서 많은 FDG 섭취 병변의 정확한 국소화를 보여주었다. 이전 CT-PET 합성 연구와 일치하게, 주요 한계는 대사적으로 매우 활성화된 종양 영역 내 SUV의 체계적 과소추정이었다.

arXiv:2607.21416v1cs.RO공통 태그 Autonomous Vehicles, 3D Reconstruction

GLAM-SLAM: 흐름 밀집화 및 공간 분해를 통한 실시간 가우시안 대규모 매핑

GLAM-SLAM: Real-time Gaussian Large-scale Mapping via Flow Densification and Spatial Decomposition

기존 가우시안 스플래팅(Gaussian Splatting) 기반 단안 동시 위치 추정 및 지도 작성(SLAM) 시스템은 짧은 시퀀스에 특화되어 있거나 실시간이 아니거나, 과도한 GPU 메모리 요구로 인한 문제가 있어 현실적인 장기 시나리오에서의 적용이 제한된다. 이를 해결하기 위해, 대규모 실외 장면을 위해 설계된 실시간 분리형(decoupled) 가우시안 스플래팅 SLAM 시스템인 GLAM-SLAM을 제안한다. 견고한 특징(feature) 기반 SLAM 프론트엔드를 사용하여 경량 추적을 보장하고, 매핑에서는 구조화된 희소 앵커 그리드 표현을 채택하여 확장 가능한 동작을 보장하고 장기 시퀀스에 걸친 장면 일관성을 유지한다. 3D 가우시안 스플래팅(3DGS)의 밀집 초기화(initialization) 요구사항을 충족하기 위해, 에피폴라(epipolar) 제약을 사용하는 기하학 기반 흐름 밀집화(flow-densification) 앵커링 전략을 도입한다. 또한 매핑을 다중 장면(multi-scene) 문제로 취급하여, MLP 초기화를 통해 강한 공간적 귀납 바이어스(bias)를 도입하여 국소화된 가우시안을 생성하는 장면 분할(scene-partitioning) 전략을 제안한다. 도전적인 장시퀀 KITTI Odometry, Oxford RobotCar, M'alaga 데이터셋에서 시스템을 평가한다. 광범위한 ablation 및 비교를 통해 두 번째로 우수한 방법 대비 재구성 품질에서 15% 향상을 보이면서, 실시간 성능과 더 긴 시퀀스로 확장 가능한 능력을 유지함을 입증한다. 코드는 커뮤니티를 위해 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.