arXiv:2004.13866

Deflating Dataset Bias Using Synthetic Data Augmentation

Nikita Jaipuria, Xianling Zhang, Rohan Bhasin, Mayar Arafa, Punarjay Chakravarty, Shubham Shrivastava, Sagar Manglani, Vidya N. Murali

제출 2020-04-28

원문 초록

Deep Learning has seen an unprecedented increase in vision applications since the publication of large-scale object recognition datasets and introduction of scalable compute hardware. State-of-the-art methods for most vision tasks for Autonomous Vehicles (AVs) rely on supervised learning and often fail to generalize to domain shifts and/or outliers. Dataset diversity is thus key to successful real-world deployment. No matter how big the size of the dataset, capturing long tails of the distribution pertaining to task-specific environmental factors is impractical. The goal of this paper is to investigate the use of targeted synthetic data augmentation - combining the benefits of gaming engine simulations and sim2real style transfer techniques - for filling gaps in real datasets for vision tasks. Empirical studies on three different computer vision tasks of practical use to AVs - parking slot detection, lane detection and monocular depth estimation - consistently show that having synthetic data in the training mix provides a significant boost in cross-dataset generalization performance as compared to training on real data only, for the same size of the training set.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.24115v1cs.AI공통 태그 Data Augmentation, Diversity

EDGEGEN: 합성 엣지 케이스 생성으로 행복 경로(happy path)를 넘어서는 도구 호출 에이전트 개선

EDGEGEN: Improving Tool-Calling Agents Beyond Happy Paths with Synthetic Edge Case Generation

도구 호출 LLM 에이전트는 기업 애플리케이션에 점점 더 많이 배포되고 있다. 그러나 효과적인 평가와 최적화를 위해서는 고품질의 다양한 태스크 데이터셋이 필요한데, 프라이버시 및 기타 제약으로 인해 이를 얻기 어려운 경우가 많다. 기존 합성 태스크 생성 방법은 종종 에이전트의 내부 상태나 데이터베이스를 무시하는 일반적인 태스크를 생성하여 실제 사용의 다양성을 반영하지 못한다. 우리는 에이전트 명세에서 준수(compliance) 규칙을 추출하고, 이를 위반하도록 설계된 데이터베이스 기반(database-grounded) 엣지 케이스 태스크를 생성하는 합성 태스크 생성 프레임워크인 EdgeGen을 제안한다. 기존 합성 데이터 생성 기법과 결합하면 EdgeGen은 파인튜닝과 하네스(harness) 최적화를 통해 에이전트 개선을 가능하게 한다. 그렇게 얻어진 파이프라인은 사람의 어노테이션 없이 완전 자동화된 폐루프(closed-loop) 시스템을 이룬다. EdgeGen으로 생성된 데이터에 대한 파인튜닝은 tau2bench 항공사 도메인에서 일관되게 평균 진행률(progress) 2%에서 42%까지 개선을 보이는 반면, 다른 기준선 방법은 일부 모델에서 성능 저하를 보인다. 한편 하네스 최적화의 경우 Gemma-4-e4b 모델에 대해 우리 방법은 사람이 큐레이션한 하네스와 기본 하네스 대비 각각 평균 진행률 10% 및 30%의 개선을 보인다.

arXiv:2609.22896v1cs.CV공통 태그 Autonomous Vehicles, Depth Estimation

학습이 필요 없는 분포 외 세그멘테이션을 위한 파운데이션 모델 신뢰도 및 단안 깊이 결합

Combining Foundation Model Confidence and Monocular Depth for Training-Free Out-of-Distribution Segmentation

개방형 환경(open-world) 시나리오에서 주행하는 자율주행 차량은 이국적인 동물이나 떨어진 화물과 같이 이전에 본 적 없는 객체에 불가피하게 직면하게 됩니다. 따라서 이러한 분포 외(OOD, Out-of-Distribution) 객체를 안정적으로 감지하고 분할(segmentation)하는 것은 안전한 환경 이해와 의사결정을 위해 매우 중요합니다. 대부분의 기존 접근 방식은 OOD 학습 샘플에 대한 접근, 세그멘테이션 백본(backbone)의 재학습, 또는 전용 보조 아키텍처를 필요로 하므로 실제 적용 가능성이 제한됩니다. 본 논문에서는 작업 특화된 미세조정(fine-tuning)이나 이상 데이터에 대한 접근 없이도, 파운데이션 세그멘테이션 모델의 신뢰도 예측으로부터 직접 조밀한(dense) OOD 점수를 도출하는 학습이 필요 없는(training-free) 방법을 제안합니다. OOD 세그멘테이션의 견고성을 향상하기 위해, 단안 깊이 추정(monocular depth estimation)을 통한 기하학적 정보를 의사결정 과정에 통합하여 불확실성 기반 예측에 상호보완적인 단서를 제공합니다. 제안된 방법을 SegmentMeIfYouCan 벤치마크에서 평가하고, 실제 인식 시스템의 시간적 특성을 반영하여 비디오 시퀀스에서의 OOD 추적 성능을 추가로 평가합니다. 이 방법은 도로 중심 벤치마크에서 강력한 성능을 발휘합니다.

arXiv:2609.24312v1cs.CV공통 태그 Data Augmentation, Depth Estimation

AnalogDepth: 아날로그 비디오 전송 환경에서 FPV 드론을 이용한 다중 시점 기하학

AnalogDepth: Multi-view Geometry from FPV drones under Analog Video Transmission

아날로그 비디오 전송(VTX)은 낮은 지연 시간, 가벼운 무게, 저비용 덕분에 FPV 드론에서 여전히 널리 사용된다. 그러나 아날로그 VTX는 표준 학습 증강에 사용되는 디지털 이미지 손상(예: AWGN)과는 근본적으로 다른, 복잡하고 공간적으로 구조화된 이미지 열화를 겪는다. 본 연구는 이러한 유형의 노이즈가 최신 피드포워드 시각 기하학 파운데이션 모델인 Depth Anything 3(DA3)의 정확도를 심각하게 저하시킨다는 것을 보인다. 이러한 격차를 해소하기 위해, 우리는 DINOv2 백본에 주입된 Low-Rank Adaptation(LoRA)을 활용한 학생-교사 지식 증류를 통해 DA3를 아날로그 FPV 영상에 적응시키는 매개변수 효율적 학습 파이프라인인 AnalogDepth를 제시한다. 노이즈를 분석적으로 합성하는 대신, 우리는 다양한 조건에서 촬영된 정적 FPV 녹화 영상으로부터 노이즈 뱅크를 구축하고, 실제 노이즈 주입을 PSD 매칭 가우시안 합성 및 AWGN 기준선과 비교한다. 세 곳의 실내 장면에서 촬영된 여섯 개의 실제 FPV 비행 시퀀스에 대한 실험 결과, 우리의 노이즈 뱅크를 이용한 학습이 사전학습된 DA3 기준선 및 두 가지 가우시안 노이즈 변형과 비교하여 프레임별 깊이 RMSE와 3D 재구성 챔퍼 거리(Chamfer distance)를 일관되게 감소시킨다는 것을 보여준다. 이러한 결과는 실제 아날로그 전송 노이즈의 공간적 구조를 재현하는 것이 효과적인 적응에 필수적임을 보여준다.

arXiv:2609.24825v1cs.CV공통 태그 Autonomous Vehicles, Depth Estimation

ZVeC: 인스턴스 수준 차량 추출 및 생성적 포인트 클라우드 완성을 위한 제로샷 프레임워크

ZVeC: A Zero-Shot Framework for Instance-Level Vehicle Extraction and Generative Point Cloud Completion

지하 환경에서 획득한 LiDAR 포인트 클라우드는 가림과 제한된 센서 시점으로 인해 심각한 기하학적 불완전성을 보이며, 대규모 지도 학습 데이터셋 없이는 신뢰할 수 있는 포인트 클라우드 완성이 어렵다. 우리는 장면 수준 완성을 구성적 객체 수준 재구성으로 재정식화하는 제로샷, 인스턴스 기반 프레임워크인 ZVeC를 제안한다. 장면을 의미론적 객체 인스턴스로 분해함으로써 ZVeC는 복잡한 환경에서 재구성 모호성을 줄이면서 시나리오별 학습의 필요성을 제거한다. 분할된 각 차량은 일반화된 기하학적 사전을 활용하는 depth 및 3D Gaussian 조건 diffusion 모델로 독립적으로 완성되며, 이후 재구성된 인스턴스들이 원래 장면에 다시 합성된다. 우리 접근법을 평가하기 위해 지하 주차 환경의 실세계 밀집 LiDAR 벤치마크를 구축한다. 실험 결과는 정량적 지표와 시각적 품질 모두에서 대표적인 장면 수준 baseline 대비 일관된 개선을 보여준다. 완성된 포인트 클라우드는 측정 입력과 실질적으로 다르지만(평균 KL divergence ~ 2.1), 입력을 원래 LiDAR 측정치의 1%만으로 줄여도 완성된 재구성은 미미하게만 변한다(KL divergence < 0.50). 이는 ZVeC가 극단적인 입력 희소성 하에서도 기하학적으로 일관된 완성을 생성함을 보여준다.

arXiv:2607.23132v2cs.CV공통 태그 Autonomous Vehicles

DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩

DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video

교통사고 상황의 심각도를 평가하는 것은 어떤 응급 서비스를 출동시킬지 결정하는 데 중요하다. 보행자 사고에서 구급차 출동을 놓치는 것은 사망으로 이어질 수 있는 치명적인 문제이다. 최근 시각-언어 모델(VLM)은 사고 추론을 위한 유망한 도구이나, 많은 VLM이 실제 사고 대응 프로토콜에 기반하지 않아 사고 심각도 평가에 그대로 사용하기 어렵다. 본 논문은 실제 일본의 교통사고 대응 프로토콜에 기반한 의사결정 지원 프레임워크 DispatchRAG를 제안하며, 이는 응급 상황에서 VLM을 사용해 적절한 응급 대응 권고를 생성함으로써 응급 출동 요원을 지원하도록 설계되었다. RAG 기반 검색 메커니즘으로 가장 관련성 높은 사고 프로토콜을 검색하고, LLM 기반 추론기로 가장 적절한 대응을 제안한다. 평가를 지원하기 위해, MM-AU 데이터셋을 바탕으로 일본의 사고 대응 프로토콜에 따른 사고 평가와 응급 대응을 담은 포괄적 데이터셋인 Accident Dispatch Dataset을 소개한다. 이 데이터셋에서 프레임워크를 검증한 결과, 기준 VLM과 비교하여 다양한 사고 시나리오 전반에서 강한 성능을 보였으며, 이는 자율주행차와 인간 출동 요원이 자신과 인근의 사고에 더 빠르게 대응하도록 도울 수 있는 의사결정 지원 도구의 가능성을 시사한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.