PyTorchKR Papers

최신 논문

총 9편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22698v2cs.CV

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

Fog degrades autonomous-driving perception across modalities: it lowers image contrast, attenuates and scatters LiDAR returns, and shifts the input distribution of every learned module downstream. Choosing between restoring the degraded input and training on it directly requires the same scenes observed with and without fog at known severities, and enough foggy data to train on. Real-world capture cannot supply this: fog arrives entangled with lighting and traffic, at severities recorded rather than chosen; existing synthetic datasets narrow the sensor suite, the scale, or the severity range. We present FogDrive, a CARLA dataset of ~660 scenes (~133k frames), each released as a clear reference plus three calibrated fog densities, with physics-based fog on camera and LiDAR and 2D/3D annotations consistent across all variants. Every frame carries four cameras (RGB, depth, semantic), LiDAR, semantic LiDAR and radar -- spanning fog's response spectrum from heavily degraded cameras to largely unaffected radar. Experiments trained on FogDrive show that mixing fog densities improves 3D detection at no extra data cost, that PSNR and SSIM poorly predict a dehazer's detection benefit, and that radar improves camera-LiDAR fusion at every density. The dataset and its generation framework will be released.

arXiv:2610.13891v1cs.CV

눈송이를 넘어서: LiDAR 객체 검출에서 날씨 영향과 교란 메타 요인의 분리

Beyond the Snowflakes: Disentangling Weather Effects from Confounding Meta-Factors in LiDAR Object Detection

라이다(LiDAR, Light Detection and Ranging)는 자율 인지(autonomous perception)에 필수적이지만, 악천후에서 성능이 저하되는 것으로 알려져 있다. 기존 문헌은 눈을 성능을 저하시키는 대기 잡음(atmospheric noise)으로 모델링하지만, WADS-3D 및 CADC 데이터셋(dataset)에 대한 우리의 세밀한 평가는 반직관적인 현상을 드러낸다: 눈의 강도가 증가할수록 검출 정확도가 지속적으로 향상된다. 어블레이션 연구(ablation study)와 메타 정보 분석을 통해, 우리는 내리는 눈이 잡음으로 작용하는 것은 맞지만 그 부정적 영향이 동시에 발생하는 더 지배적인 요인, 즉 객체 포인트 수(object point count)의 상당한 증가에 의해 상쇄된다는 것을 확인하여 이를 설명한다. 우리는 이러한 객체 포인트 수 증가가 기하학적 향상(geometric enhancement)으로 작용한다고 가정하며, 이는 눈 축적이 차량 표면적을 증가시키고 정반사(specular reflectance)에서 난반사(diffuse reflectance)로의 전환을 유발하기 때문이라고 본다. 우리의 연구 결과는 상관된 객체 수준 데이터를 고려하지 않고 넓은 날씨 심각도 구간(weather-severity bin)을 사용하여 인지 시스템을 평가하면 검출기의 견고성(robustness)에 대해 오해를 불러일으키는 결론으로 이어질 수 있음을 보여준다. 우리는 정확한 평가를 위해서는 대기 잡음과 표면 축적 효과를 분리해야 한다고 결론짓고, 이러한 물리적 모델을 검증하기 위한 향후 연구 방향을 제시한다. WADS-3D 데이터셋은 다음에서 확인할 수 있다: https://digitalcommons.mtu.edu/wads-3d/.

arXiv:2610.00141v1cs.CV

통제된 안개 열화 환경에서 안티-UAV 탐지의 강건성 평가: 안개 인지 학습 및 맑은 날씨 트레이드오프

Evaluating the Robustness of Anti-UAV Detection under Controlled Fog Degradation: Fog-Aware Training and Clear-Sky Tradeoff

비전 기반 안티-UAV 시스템은 저시정 환경에서도 작동해야 하지만, 대부분의 벤치마크는 맑은 날씨 영상만을 사용하며 기존 강건성 연구는 악천후를 단순 유무 조건으로만 다룹니다. 그 결과, 안개 심각도가 지상-대-공중 UAV 탐지에 미치는 영향은 여전히 잘 알려져 있지 않습니다. 본 연구는 이 작업을 위해 안개 심각도가 제어된 최초의 벤치마크를 제시합니다. Anti-UAV300 데이터셋의 RGB 모달리티에 10단계 심각도의 합성 안개를 적용하고, 맑은 날씨로 학습된 YOLOv5m 기준선(baseline) 모델을 맑은 날씨와 안개 낀 이미지를 모두 학습한 안개 인지(fog-aware) 모델과 비교합니다. 탐지 성능은 급격하고 비선형적으로 하락하며, 약한 안개에서 중간 정도의 안개(beta 약 0.05-0.10) 구간에서 초기에 집중적인 성능 저하가 발생하고, 맑은 날씨 대비 가장 짙은 안개에서 [email omitted]:0.95가 96% 감소하는데, 이는 주로 재현율과 신뢰도 저하에 기인합니다. 비교 가능한 지표([email omitted])에서 이러한 급격한 하락은 가장 가까운 선행 벤치마크에서 보고된 가장 극심한 강우 시의 성능 저하를 초과합니다. 안개 인지 학습은 맑은 날씨 정확도가 단 9.1%만 감소하면서도 모든 심각도 구간에서 탐지 성능을 향상시키며(최대 +0.320 [email omitted]:0.95), 극심한 안개 속에서의 붕괴를 완전히 막지는 못하지만 신뢰할 수 있는 탐지의 임계값을 높여줍니다. 신뢰성이 좁은 가시거리 범위 내에서 상실되므로, 단순한 맑은 날씨 대 악천후 비교 테스트는 실제 운용 위험을 과소평가하게 됩니다.

arXiv:2609.27533v1cs.CV

ICM: 악천후 환경의 도메인 적응을 위한 클래스 내 믹싱

ICM: Intra-class Mixing for Domain Adaptation in Adverse Weather

악천후 조건에서의 시맨틱 분할(semantic segmentation)을 위한 비지도 도메인 적응(UDA)은 극심한 외형 변화로 인해 도메인 격차가 커지고 타깃 도메인 내 의사 레이블(pseudo label)의 신뢰도가 저하되기 때문에 여전히 어려운 과제로 남아 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 클래스 내 믹싱된 이미지와 원본 이미지 간의 예측 일관성을 강제하는 ICM(Intra-Class Mixing Consistency) 프레임워크를 제안합니다. 서로 다른 이미지나 도메인 간의 영역을 결합하여 비현실적인 의미적 불일치를 유발할 수 있었던 기존의 믹싱 기반 일관성 방법들과 달리, ICM은 동일한 이미지 및 의미론적 클래스 내에서 믹싱을 수행하여 일관성 정규화(consistency regularization)를 위한 현실적인 의미론적 배치를 보존합니다. ICM을 통해 본 연구는 시맨틱 분할 분야의 맑은 날씨에서 악천후 환경으로의 비지도 도메인 적응(UDA)에서 최고 성능(SOTA)을 달성했습니다. Cityscapes $\rightarrow$ ACDC 벤치마크에서 제안 기법은 75.7\% mIoU를 달성하여 기존 최고 성능을 +1.9%p 능가하였으며, 까다로운 환경 조건에서도 클래스 혼동을 완화하는 데 효과적임을 입증했습니다. 코드는 보충 자료에서 제공됩니다.

arXiv:2607.23537v1cs.AI

ObsDriveBench: 관측 가능성 인식을 반영한 악천후 조건에서의 멀티모달 이해 벤치마킹

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

악천후 조건에서의 자율주행은 여전히 중요한 과제이지만, 기존 비전-언어 벤치마크는 주로 표준 조건, 합성 손상, 또는 단일 모달리티에서 평가한다. 그 결과, 멀티모달 입력을 사용한 실제 악천후 환경에서 비전-언어 모델이 어떻게 동작하는지는 여전히 불분명하다. 우리는 핵심 난관이 환경 관측 가능성(observability)의 저하에 있다고 주장한다. 안개, 비, 눈, 저조도 조건에서는 멀티모달 관측이 신뢰할 수 없고 교차 모달 간 불일치가 발생하여 장면 이해와 이후 의사결정에 어려움을 준다. 이를 연구하기 위해 악천후 자율주행을 위한 실세계 멀티모달 벤치마크인 ObsDriveBench를 제안한다. 본 벤치마크는 관측 가능성 인식(observability awareness), 공간적 신뢰성(spatial reliability), 위험 인식 의사결정(risk-aware decision-making)의 세 가지 역량 차원으로 설계되어, 저하된 관측 조건에서 모델 행동을 세밀하게 진단할 수 있다. 동기화된 카메라, LiDAR, 레이더 입력에 대한 관측 가능성 메타 어노테이션, 장면 설명, 역량 지향 객관식 과제를 통해 벤치마크를 구축하였으며, 14k개 이상의 학습 및 13k개의 테스트 질문으로 구성된다. 실험 결과, 기존 비전-언어 모델에서 일관된 성능 저하가 나타났다. 또한 정상 기상 조건 지도 미세조정과 악천후 강화학습을 적용한 ObsDrive 모델을 제안하여, 세 가지 역량 전반에 걸친 견고성을 향상시켰다. 데이터셋과 평가 코드는 https://github.com/russellyq/ObsDriveBench 에서 공개될 예정이다.

arXiv:2607.10583v1cs.CV

시뮬레이션 기상 조건에서의 UAV 기반 차량 재식별 벤치마킹

Benchmarking UAV-based Vehicle Re-Identification under Simulated Weather Conditions

UAV 기반 차량 재식별(ReID)은 무인 항공기가 제공하는 유연한 시점과 광역 커버리지 덕분에 교통 감시, 도시 모니터링, 공공 안전 응용 분야에서 유망한 기술로 부상하고 있다. 그러나 UAV 기반 차량 ReID 벤치마크에서 최근의 진전에도 불구하고, 악천후 조건에서 기존 방법들의 강인성은 충분히 연구되지 않은 상태이다. 기상 열화는 항공 이미지에서 신뢰할 수 있는 차량 매칭에 필요한 세밀한 외관 단서에 큰 영향을 미칠 수 있으며, 특히 소형 객체 스케일, 시점 변화, 복잡한 배경 환경에서 더욱 그러하다. 본 논문에서는 CLIP-ReID, MSINet, AdaSP 세 가지 대표적인 최신 차량 ReID 방법을 VRU 및 UAV-VeID 두 UAV 기반 벤치마크에서 통제된 비교 연구로 제시한다. 일관된 강인성 평가를 위해, 원본 아이덴티티와 데이터 분할을 유지하면서 분석적 기상 효과 파이프라인을 사용하여 두 데이터셋의 합성 안개 및 비 변형 버전을 생성하였다. 모든 모델은 동일하게 맑음, 안개, 비 조건에서 학습 및 평가되었다. 실험 결과, 악천후는 두 데이터셋 전반에 걸쳐 검색 성능을 일관되게 저하시켰으며, 거의 모든 설정에서 안개보다 비가 더 큰 성능 저하를 유발하였다. 평가된 방법 중 AdaSP가 가장 강한 강인성을 보여, 안개 및 비 조건에서 VRU-Large에서 각각 93.0% 및 88.5% mAP, UAV-VeID-Test에서 각각 88.7% 및 76.2% mAP를 달성하였다. 전반적으로, 본 연구의 결과는 시뮬레이션된 악천후가 UAV 기반 차량 ReID의 난이도를 크게 높이고, 최신 방법들 간의 명확한 강인성 차이를 드러내며, 향후 항공 ReID 연구에서 기상 인식 모델 설계 및 평가 프로토콜의 필요성을 강조함을 보여준다. 코드는 https://github.com/tranminhvu945/Benchmarking-ReID에 공개되어 있다.

arXiv:2606.26812v1cs.CV

악천후 조건에서의 다중 모달리티 영상 융합: 마스크 기반 특징 복원 및 상호작용

Multi-modality Image Fusion under Adverse Weather: Mask-Guided Feature Restoration and Interaction

악천후로 인한 영상 열화가 특징 표현과 교차 모달리티 상보성을 동시에 요구하는 다중 모달리티 영상 융합(MMIF) 문제를 해결하기 위해, Pseudo Ground Truth와 융합 결과-원본 영상 매핑 기반 마스크 생성, 마스크 기반 교차 모달리티 크로스 어텐션 및 열화 인식 학습 전략을 통합한 방법을 제안한다. 합성·실세계 데이터셋에서 시각적 품질, 정량 지표, 하위 작업 성능 모두에서 기존 최신 방법을 능가한다.

arXiv:2606.12066v1cs.CV

개발도상국 악천후 조건에서 혼합 교통 객체 검출을 위한 YOLOv11과 YOLOv8 성능 분석

Performance Analysis of YOLOv11 and YOLOv8 for Mixed Traffic Object Detection under Adverse Weather Conditions in Developing Countries

현대 차량 시스템에서 혹독한 조건 하의 견고한 성능은 자율주행의 핵심 과제가 되었다. 본 연구는 YOLO 시리즈의 최신 반복인 YOLOv11 Nano 아키텍처를 널리 채택된 YOLOv8 Nano를 기준선으로 벤치마킹하는 종합 평가를 제공한다. 평가는 Indian Driving Dataset (IDD) [1]과 Berkeley Deep Drive Dataset (BDD100K) [2]를 결합한 맞춤형 융합 데이터셋에서 수행되었다. 밀집한 혼합 교통, 비, 저조도 조건을 포함하는 고엔트로피(high-entropy) 시나리오에서 검출 정확도, 추론 속도, 연산 효율 간의 트레이드오프를 분석하였다. 구체적으로, YOLOv11n은 평균 정밀도(mAP@50) 46.6%를 달성했으며, 기준선 대비 정밀도에서 3.2%의 눈에 띄는 향상을 보여 복잡한 장면에서의 오탐(false positive)을 효과적으로 줄였다. 또한 제안 모델은 향상된 에너지 효율을 보여 FLOPs가 22% 적게 필요하며(6.3G 대 8.1G), Tesla T4 GPU에서 70.9 FPS의 실시간 추론 속도를 유지하여, 안전이 중요한 엣지 배포에 최적의 트레이드오프를 제공한다.

arXiv:2606.11989v1cs.CV

명목 강도에서 등가 강우량으로: 자율주행 인식 테스트에서 시뮬레이션 강우의 경로 기반 신뢰성 평가 프레임워크

From Nominal Intensity to Equivalent Rainfall: A Path-Based Credibility Evaluation Framework for Simulated Rainfall in Autonomous-Driving Perception Tests

신뢰할 수 있는 시뮬레이션 강우 조건은 자율주행에서 인식 시스템의 한계를 파악하고 SOTIF 기반 위험 평가를 지원하는 데 필수적이다. 그러나 폐쇄 환경 테스트는 흔히 명목 강우 강도나 단일 지점 측정값만으로 기술되어, 시뮬레이션 강우장을 실제 강우와 정렬하고 테스트 결과를 실세계 시나리오에 매핑하기 어렵다. 본 논문은 자율주행 인식 테스트에서 시뮬레이션 강우에 대한 경로 기반 신뢰성 평가 방법을 제안한다. 실제 강우의 우적 크기와 낙하 속도 결합 분포를 기준으로 삼아, 각 후보 경로를 경로 등가 강우 강도, 불확실성 구간, 경로 평균 빗방울 분포 사실성(RRD) 점수로 표현한다. 또한 라이다 타겟 포인트 클라우드 개수와 평균 반사율을 인식 일관성 보정에 활용하여, 각 시뮬레이션 강우 경로가 실제 강우 인식 효과를 대리하는 능력을 정량화한다. 실험은 약 10,000개의 실제 강우 우적 스펙트럼 샘플, 728개의 RainSense 인식 샘플, 그리고 2.4 m × 7.2 m 시뮬레이션 강우 영역 내 45개의 공간 샘플링 지점을 사용하여 수행되었다. 결과는 동일한 명목 조건 하에서도 공간적 비균일성이 존재함을 보여주며, 경로 기반 평가의 필요성을 확인한다. 제안 방법은 Path IV와 Path VI를 선호 후보로 식별하였으며, 각각 11.54 ± 0.31 mm/h(RRD = 0.43)와 8.28 ± 0.34 mm/h(RRD = 0.46)의 결과를 나타냈다. 이 경로들은 강우 강도 안정성, 우적 스펙트럼 사실성, 인식 일관성 면에서 보다 균형 잡힌 성능을 보인다. 제안된 방법은 강우 조건에서의 자율주행 인식 테스트에서 경로 선택, 조건 기술, 신뢰성 있는 결과 해석을 지원한다.