SynDiff-AD: Improving Semantic Segmentation and End-to-End Autonomous Driving with Synthetic Data from Latent Diffusion Models
원문 초록
In recent years, significant progress has been made in collecting large-scale datasets to improve segmentation and autonomous driving models. These large-scale datasets are often dominated by common environmental conditions such as "Clear and Day" weather, leading to decreased performance in under-represented conditions like "Rainy and Night". To address this issue, we introduce SynDiff-AD, a novel data augmentation pipeline that leverages diffusion models (DMs) to generate realistic images for such subgroups. SynDiff-AD uses ControlNet-a DM that guides data generation conditioned on semantic maps-along with a novel prompting scheme that generates subgroup-specific, semantically dense prompts. By augmenting datasets with SynDiff-AD, we improve the performance of segmentation models like Mask2Former and SegFormer by up to 1.2% and 2.3% on the Waymo dataset, and up to 1.4% and 0.7% on the DeepDrive dataset, respectively. Additionally, we demonstrate that our SynDiff-AD pipeline enhances the driving performance of end-to-end autonomous driving models, like AIM-2D and AIM-BEV, by up to 20% across diverse environmental conditions in the CARLA autonomous driving simulator, providing a more robust model.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Lang3DSeg: 포인트 트랜스포머 기반의 주석 없는 오픈 보캐블러리 3D 분할
Lang3DSeg: Annotation-Free Open-Vocabulary 3D Segmentation with Point Transformers
정확한 3D 시맨틱 인지는 안전한 자율 주행에 매우 중요합니다. 그러나 지도학습 기반 LiDAR 분할(segmentation)은 닫힌 분류 체계(closed taxonomy)와 포인트별 수동 주석(annotation) 비용에 여전히 얽매여 있습니다. 오픈 보캐블러리(open-vocabulary) 방식은 2D 비전-언어 모델(vision-language model)의 출력을 LiDAR에 투영하고 이를 3D 네트워크로 증류함으로써 이러한 비용을 피합니다. 이러한 방식들은 거의 전적으로 복셀 기반 희소 합성곱(sparse convolution)에 의존하며, 포인트 트랜스포머(point transformer)는 지금까지 3D 데이터가 조밀하고 경계가 제한된 실내 환경으로 국한되어 왔습니다. 본 논문에서는 포인트 트랜스포머를 실외 3D LiDAR의 주석 없는(annotation-free) 오픈 보캐블러리 분할 백본으로 확립하고, 기하학적 사전학습(pre-training) 없이 처음부터 학습(training)하는 Lang3DSeg를 제시합니다. 이러한 학습 패러다임은 2D-to-3D 레이블 투영에 내재된 노이즈를 해결해야만 합니다. 구체적으로 단순한 투영은 깊이 모호성(depth ambiguity)으로 인해 물체 뒤에 있는 포인트에 해당 물체의 시맨틱 레이블이 잘못 할당되는 문제가 자주 발생합니다. 따라서 본 연구에서는 명시적인 클래스 우선순위 규칙을 사용해 마스크를 합성하고, 투영된 각 인스턴스를 깊이 분포의 첫 번째 간극에서 잘라냄으로써(truncate), 정합된 시퀀스 전체에 걸쳐 평균을 내는 대신 투영 오류를 직접적으로 보정합니다. Lang3DSeg는 nuScenes 검증(validation)에서 52.8% mIoU, SemanticKITTI에서 41.4%를 달성하여 두 벤치마크 모두에서 발표된 주석 없는 방법 중 가장 높은 성능을 기록했습니다. 모든 3D 시맨틱 분할은 단일 LiDAR 스윕(sweep)에서 수행되며, 추론(inference)은 비전-언어 모델을 실행하지 않고 실시간으로 동작합니다.
데이터 희소 환경에서 롱테일 출혈성 병변 분할을 위한 합성 학습
Synthetic training for long-tail haemorrhagic lesion segmentation in data-scarce settings
뇌 미세출혈(CMB)과 피질 표재성 철침착증(cSS)은 뇌 소혈관 질환의 영상 바이오마커이지만, 양성 사례 및 복셀 수준 주석의 부족으로 인해 자동화된 분할(segmentation)에 한계가 있습니다. 본 연구에서는 실제 병변 주석 없이도 학습이 가능하며 병변에 대한 방사선학적 기술(description)을 활용하는 롱테일(long-tail) 출혈성 병변 분할용 합성 학습(synthetic training) 프레임워크를 제안합니다. 해부학적 뇌 구획화(brain parcellation)에서 시작하여, 본 프레임워크는 공간적 증강과 복셀 재샘플링을 적용하고, 병변의 위치 및 형태에 대한 임상적 사전 지식을 활용해 절차적으로 cSS 및 CMB 레이블을 삽입하며, 무작위 강도 할당, 블러링, 라이시안(Rician) 노이즈 시뮬레이션을 통해 영상을 합성합니다. 모델은 동적으로 생성된 영상-레이블 쌍으로 학습되었으며, 10건의 cSS 사례와 13건의 CMB 사례에서 수동 윤곽 묘사를 기준으로 평가되었습니다. 제안된 구성은 고전적 필터 기준선(baseline)보다 우수한 성능을 보였습니다. cSS의 경우, 저신호강도 제약 모델이 Frangi 필터보다 더 높은 AUPRC 및 AUROC를 달성했습니다(AUPRC: 0.284 대 0.083, AUROC: 0.907 대 0.731). CMB의 경우, 병변 유사체로서 혈관을 명시적으로 합성함으로써 고전적 기준선 대비 성능이 향상되었습니다(AUPRC: 0.538 대 0.004, AUROC: 0.999 대 0.968). 이러한 결과는 본 제안이 데이터가 희소한 환경에서의 출혈성 병변 분할을 위한 실현 가능한 전략임을 뒷받침합니다.
Know-Your-Scene (KYS)-SLAM: 스테레오 시각적 SLAM의 특징 매칭을 위한 계층적 의미-움직임 사전 확률
Know-Your-Scene (KYS)-SLAM: Hierarchical Semantic-Motion Priors for Feature Matching in Stereo Visual SLAM
지역 기술자(local descriptor) 기반의 스테레오 시각적 SLAM(stereo visual SLAM) 시스템은 의미적 모호성, 인스턴스 수준의 혼동, 독립적으로 움직이는 객체로 인해 데이터 연관이 손상되고 궤적 드리프트(trajectory drift)가 누적되는 문제를 겪습니다. 기존의 의미론적 및 동적 SLAM 방식은 이진 특징 기각(binary feature rejection)을 통해 이를 해결하려 하므로, 이상치 억제를 위해 대응점 밀도를 희생시킵니다. 본 논문에서는 문맥적 개연성 부족을 배제 기준보다는 점진적인 양으로 표현하는 것이 더 낫다고 주장합니다. 이에 따라 특징 기각을 연속적인 대응점 조절로 대체하는 ORB-SLAM3의 모듈형 확장인 Know-Your-Scene (KYS)-SLAM을 제안합니다. 본 연구의 기여는 기하학적 백엔드를 수정하지 않은 채 특징 매칭 내에 적용되는 대응점 비용으로서 문맥적 증거를 재구성한 점입니다. 각 키포인트는 계층적 호환성 수식을 통해 융합된 의미론적, 팬옵틱(panoptic), 움직임 사전 확률로 보강되며, 여기서 의미론적 클래스와 인스턴스 식별자는 구조적 개연성을 강제하고 제로샷(zero-shot) 움직임 점수는 독립적으로 움직이는 객체의 특징 가중치를 낮춥니다. 해당 점수는 배경 옵티컬 플로우(optical flow)에 깊이 인식 자기-움직임(ego-motion) 모델을 피팅하고 자체 보정 및 커버리지 인식 임계값을 통해 팬옵틱 세그먼트를 분류하는 학습(training) 불필요 모듈에서 도출되므로, 충분한 움직임 증거가 있는 세그먼트에만 페널티가 부여되고 정적 구조에는 페널티가 부여되지 않습니다. 대응점을 폐기하기보다 페널티를 부여함으로써 번들 조정(bundle adjustment)이 의존하는 기하학적 지지를 보존합니다. 시퀀스나 데이터셋별로 계수를 재조정하지 않은 단일 고정 구성 하에서, KYS-SLAM은 성능 저하 없이 21개 스테레오 시퀀스 전반에 걸쳐 시퀀스당 ATE RMSE를 실외 KITTI에서 17.4%, 실내 EuRoC에서 27.7% 감소시켰으며, KITTI Tracking의 동적 하위 집합에서 6.6%, Virtual KITTI 2에서 17.8%(최대 31.2%) 감소시켜 단일 상수 세트로 실외 주행, 실내 비행 및 합성 영상 전반에 걸친 크로스 도메인 전이를 달성했습니다.
프레임 간 분할을 위한 이벤트 유도 모션 기반 이벤트-프레임 융합
Event-Frame Fusion for Inter-Frame Segmentation via Event-Guided Motion
자율 주행에는 정밀하고 효율적인 시맨틱 분할(semantic segmentation)이 필요하지만, 기존의 프레임 기반 접근법은 모션 블러(motion blur), 글레어(glare), 지연(latency), 그리고 일반 카메라의 낮은 시간 해상도(20-30 FPS)로 인해 여전히 한계를 가지며, 이는 프레임 간 정보 손실로 이어진다. 이벤트 카메라(event camera)는 비동기적으로 밝기 변화를 캡처하며 높은 시간 해상도, 높은 다이내믹 레인지(dynamic range), 희소(sparse) 출력을 제공하는 대안적 센싱 방식으로 부상하였다. 그러나 대부분의 분할 방법이 조밀한(dense) 프레임 데이터를 위해 설계되어 있기 때문에, 이벤트 기반 알고리즘은 정확도 면에서 여전히 프레임 기반 알고리즘에 미치지 못한다. 이러한 한계를 극복하기 위해, 우리는 기존의 프레임 기반 카메라와 이벤트 기반 카메라를 결합한 하이브리드 비전 아키텍처를 제안한다. 이 시스템은 두 가지 상호 보완적인 구성 요소를 통합한다: (1) 모션 추정을 위한 42k 파라미터의 컴팩트한 스파이킹 신경망(Spiking Neural Network, SNN), (2) 프레임 기반 시맨틱 분할을 위한 0.84M 파라미터의 경량 이벤트 기반 SNN으로, 프레임 사이의 모션을 보간(interpolate)하여 분할 결과를 정제한다. 프레임 간(inter-frame) 분할을 예측함으로써, 본 프레임워크는 추론당 1.87 mJ 미만의 에너지 소비로 최대 500 Hz의 분할 속도를 달성하며, 동시에 최대 200 Hz 주파수에서 실시간 GPU 실행을 유지한다. 또한, 본 접근법은 블러나 과다 노출의 영향을 받은 프레임에서 발생하는 정보 손실을 보상하여, 까다로운 조건에서도 더욱 강건한 인지(perception)를 가능하게 한다.
안전한 보행자-차량 상호작용을 위한 경량 보행자 머리 방향 인식 네트워크
Lightweight Pedestrian Head-Orientation Recognition Network for Safe Pedestrian-Vehicle Interaction
보행자 머리 방향 인식은 보행자의 주의를 파악하고 잠재적인 횡단 행동을 예측하는 데 유용한 단서를 제공함으로써 자율주행에서 중요한 역할을 한다. 그러나 실제 교통 상황에서 보행자의 머리 영역이 저해상도로 촬영되는 경우가 많아 신뢰할 수 있는 인식은 여전히 어려운 과제로 남아 있다. 이러한 문제를 해결하기 위해, 우리는 보행자 머리 방향 인식을 위한 경량의 저해상도 머리 방향 합성곱 신경망(Low-Resolution Head Orientation Convolutional Neural Network, LRHO-CNN)을 제안한다. 우리는 여러 공개 데이터셋에서 보행자 머리 이미지를 추출하고 이를 8개의 방향 범주로 수동으로 주석 처리하여 새로운 데이터셋을 구축한다. 수집된 이미지는 데이터 다양성을 높이고 조명 및 이미지 품질의 변화를 더 잘 반영하기 위해 체계적으로 전처리 및 증강된다. 실험 분석에서는 LRHO-CNN을 세 가지 파인튜닝된 기준선 모델인 ResNet-18, ResNet-34, VGG-16과 비교한다. 그 결과 LRHO-CNN이 평가된 모델 중 가장 높은 분류 정확도를 달성함을 보여준다. LRHO-CNN은 JAAD 및 PIE 데이터셋에서 추가로 평가되어 실제 교통 상황에서 보행자 머리 방향을 인식하는 데 효과적임을 입증하며, 후속 보행자 행동 및 의도 예측을 지원할 수 있는 유용한 머리 방향 단서를 제공한다.
SAFe: 이상 인식 분할을 위한 세그먼트 유도 특징 밀도 집계
SAFe: Segment-guided Aggregation of Feature Densities for Anomaly-aware Segmentation
시각 분할 시스템은 실제 배포 시 학습 분포 밖의 객체를 만나며, 지각 단계에서 장면 파싱(scene parsing)에 의존하는 신뢰할 수 있는 자율 시스템을 저해한다. 최근 많은 방법은 자기지도(self-supervised) 파운데이션 모델로 이상 이미지 영역에서 낮은 가능도를 내는 밀도 추정기(density estimator)를 학습하는 방식으로 이를 다룬다. 유망하지만, 이러한 방법은 특징 의미론이 빈약하거나 공간적 일관성이 부족해, 둘 다 중요한 후속 의사결정을 훼손한다. 우리는 자기지도 표현 위의 클래스 조건부 밀도 추정에 기반한 생성적 방법인 SAFe로 이 문제를 해결한다. SAFe는 고정(frozen) DINOv3 특징 위에서 클래스 조건부 정규화 가능도 추정치를 산출하는 경량 정규화 흐름(normalizing flow)을 학습한다. 전역 의미론과 국소 디테일을 모두 포착하기 위해 트랜스포머 특징의 밀도 추정과 다중 스케일 합성곱 특징에 대한 밀도 점수를 결합한다. SAM3에 기반한 방법 독립적 후처리 단계를 도입하여, 위치별 가능도를 공간적으로 일관된 세그먼트로 연결하고 거짓 양성을 억제하며, 재학습 없이 인스턴스 수준 이상 탐지를 가능하게 한다. 후처리는 유사도 기반 응집적 클러스터링(agglomerative clustering)으로 이상 객체들 가운데 새로운 범주를 추가로 구분한다. SAFe는 PANIC, OoDIS, SMIYC ObstacleTrack에서 새로운 최고 성능(state of the art)을 달성하고 ISSU 벤치마크에서도 강한 성능을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.