Revisiting Modality Imbalance In Multimodal Pedestrian Detection
원문 초록
Multimodal learning, particularly for pedestrian detection, has recently received emphasis due to its capability to function equally well in several critical autonomous driving scenarios such as low-light, night-time, and adverse weather conditions. However, in most cases, the training distribution largely emphasizes the contribution of one specific input that makes the network biased towards one modality. Hence, the generalization of such models becomes a significant problem where the non-dominant input modality during training could be contributing more to the course of inference. Here, we introduce a novel training setup with regularizer in the multimodal architecture to resolve the problem of this disparity between the modalities. Specifically, our regularizer term helps to make the feature fusion method more robust by considering both the feature extractors equivalently important during the training to extract the multimodal distribution which is referred to as removing the imbalance problem. Furthermore, our decoupling concept of output stream helps the detection task by sharing the spatial sensitive information mutually. Extensive experiments of the proposed method on KAIST and UTokyo datasets shows improvement of the respective state-of-the-art performance.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
도메인 변화 환경에서 보행자 검출을 위한 신뢰도 통제 기반 설명가능 인공지능(XAI) 감사
Confidence-Controlled XAI Auditing for Pedestrian Detection under Domain Shift
지능형 차량의 인지 모델에서 설명가능성(explainability)이 점차 요구되고 있으나, 주행 도메인 변화(domain shift) 환경에서도 설명이 충실도(faithfulness)를 유지하는지는 여전히 명확히 밝혀지지 않았습니다. 본 연구는 관심 영역(ROI) 기반 D-Deletion, 고정 신뢰도 3분위수, 순위 기반 검정, 부트스트랩 신뢰구간 및 Holm 교정을 활용하여 PIE 및 JAAD 데이터셋에 걸쳐 고정된 YOLOv8s 보행자 검출기의 사후(post-hoc) 설명을 감사합니다. 감사 결과, 삭제 기반 충실도는 설명 생성 시점의 검출 강도(detection strength)와 강하게 결합되어 있으며(D-RISE의 스피어만 상관계수 0.70~0.82), 이로 인해 단순한 신뢰도 계층화 비교는 신뢰하기 어려움이 드러났습니다. 고정된 f0 빈(bin) 내에서 검출 강도를 통제한 후에도 D-RISE 충실도는 중심 f0 범위에서 도메인에 따라 달라졌으며, PIE가 JAAD보다 더 높은 D-Deletion 및 Holm 보정 유의성을 나타냈습니다. 비섭동(non-perturbative) 기반 EigenCAM 기준선은 D-RISE보다 충실도가 낮았으나 마찬가지로 점수 결합 현상을 보여, 이러한 효과가 D-RISE에만 국한되지 않고 삭제 기반 평가 설정과 연관되어 있음을 시사합니다. 이러한 결과는 도메인 변화 환경의 안전 필수(safety-critical) 인지 시스템에서 신뢰도를 통제한 XAI 감사가 필요함을 시사합니다.
얼굴 교체로 프라이버시 보호, 특징 보존으로 활용성 유지: ITS 보행자 프라이버시를 위한 이중 목적 파이프라인
Swapping Faces, Saving Features: A Dual-Purpose Pipeline for Pedestrian Privacy in ITS
자율주행차(AV)가 실시간 의사결정을 수행하도록 AI 모델을 학습시키려면 대규모의 다양한 데이터셋이 필요하며, 이는 지능형 교통 시스템(ITS)의 핵심 응용 분야다. 보행자 의도 및 궤적 예측은 자율주행차에서 중요하게 사용되는 모델로, 다양한 보행자 이미지를 포함하는 데이터셋을 필요로 한다. 이러한 데이터셋에 대한 무제한 접근은 신원 도용 및 보행자 추적과 같은 심각한 보안 위험을 초래한다. 문제는 모델 학습에 필요한 이미지 속성을 유지하면서 프라이버시 보호 절차를 적용하는 것이다. 기존 프라이버시 기법들은 보행자의 프라이버시를 보호할 수 있으나 이미지 활용성을 저하시켜 모델의 효과를 저해한다. 본 연구는 얼굴 교체(face swapping)를 통해 보행자의 프라이버시를 보호하면서 필수적인 얼굴 속성을 온전히 유지하는 5단계 파이프라인을 구현하는 데 초점을 맞춘다. 이 파이프라인은 Egy-DRiVeS 데이터셋의 프라이버시 요구 사항을 충족하도록 설계되었다. 또한 Roop와 Ghost-v2 얼굴 교체 모델을 평가하였으며, 실험 결과 Roop가 여러 측면에서 Ghost-v2보다 우수한 성능을 보임을 확인하였다. 이에 따라 신원 은폐를 통한 보행자 프라이버시 보호와 얼굴 속성 보존을 통한 데이터 활용성 간의 균형을 달성하기 위해 Roop를 파이프라인의 얼굴 교체 모델로 채택하였다.
설명자: LYNRED 모빌리티 데이터셋 멀티모달 검출 서브셋(LYNRED-MDS)
Descriptor: LYNRED Mobility Dataset Multimodal Detection Subset (LYNRED-MDS)
현재 도로 안전 시스템은 주로 충돌 후 피해 최소화에 초점을 맞추고 있다. 그러나 알고리즘 기반 지각(perception) 기술의 발전으로, 특히 야간이나 안개와 같은 저시정 조건에서 열적외선(thermal infrared) 센싱이 인간 시각과 RGB 이미징 모두를 능가하는 조기 충돌 예측으로 관심이 이동하고 있다. FLIR ADAS, LLVIP와 같은 기존 RGB-적외선 데이터셋은 우수한 벤치마크이지만, 대부분 맑은 날씨와 지나치게 단순한 시나리오로 구성되어 있다. 본 논문에서는 LYNRED Mobility Dataset의 서브셋인 LYNRED-MDS(Multimodal Detection Subset)를 소개한다. 이 데이터셋은 프랑스 그르노블 인근에서 다양한 기상, 조명, 도로 조건 하에 수집된 4,000쌍의 RGB-적외선 이미지 쌍으로 구성된다. 우리의 데이터셋은 다양한 주행 맥락(도심, 농촌, 산악 지형 등)과 서유럽 기준을 준수하는 차량 군을 포함한다. YOLOv8n 기준선(baseline)을 활용한 열화상 교차 데이터셋 평가 결과, 본 데이터셋이 주행 시나리오에서 보행자 검출에 대한 강력한 일반화 가능성을 제공함을 시사한다. 중요한 엣지 케이스(edge case)를 포괄함으로써, 본 데이터셋은 고급 운전자 보조 시스템(ADAS)을 위한 보다 신뢰성 있고 실용적인 비전 시스템 개발을 지원한다.
Instant NuRec: 주행 장면 시뮬레이션을 위한 피드포워드 3D Gaussian 재구성
Instant NuRec: Feed-Forward 3D Gaussian Reconstruction for Driving Scene Simulation
3D 시뮬레이션 플랫폼은 end-to-end 정책 평가(evaluation)를 가능하게 하여 개발 비용을 줄이고 안전성을 향상시키기 때문에 자율주행에 핵심적이다. 최근 몇 년간 신경 시뮬레이션이 주류가 되었고, NuRec와 같은 방법이 중심적인 역할을 하고 있다. 그러나 이러한 방법들은 여전히 상대적으로 느리고, 일반적으로 장면별 튜닝이 필요하다. 본 연구에서는 단일 순전파(forward pass)로 짧은 다시점(multi-view) 주행 로그를 완전히 시뮬레이션 가능한 3D Gaussian Splatting(3DGS) 세계로 변환하는 피드포워드 신경 재구성 모델인 Instant NuRec를 제안한다. 이 모델은 보정된 카메라 리그의 다시점 입력을 받아 정적 및 동적 3DGS 레이어, 스카이 큐브맵(sky cubemap), 카메라별 ISP 보정으로 구성된 계층적 출력을 생성하며, 3DGUT를 통해 비 핀홀(non-pinhole) 카메라 모델에 대한 네이티브 지원을 제공한다. 이 모델은 10–20초 길이의 다중 카메라 장면을 약 1.5초 만에 재구성하며, Waymo Open 데이터셋에서 평가된 가장 강력한 기준선보다 PSNR이 2.01 dB 높은 성능을 달성한다. Instant NuRec는 NuRec에 깊이 통합되어 있으며, 폐루프(closed-loop) 시뮬레이션을 위해 AlpaSim과 호환된다.
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
측량, 자율 항법, 로보틱스, 증강현실 등 많은 응용에는 기준 좌표계에 대한 정확한 자세 정보가 필요하다. 시각적 위치 추정은 가용성과 정확도가 자주 제한되는 GNSS 위치 결정을 보완할 수 있다. 그러나 시각적 위치 추정의 정확도 잠재력은 측량급 요구 사항에 비추어 체계적으로 조사된 적이 없으며, 그러한 조사에 충분히 정확한 정답 자세를 제공하는 공개 대규모 야외 데이터셋도 없다. 우리는 이 두 공백을 모두 다룬다. 첫째, FHNW Muttenz 데이터셋을 제시한다. 이는 약 1.5년 간격의 두 차례 모바일 매핑 캠페인으로 매핑된 연속 10 km 도로망을 포괄하며, 고해상도 기준 영상과 다섯 장면에서 네 대의 카메라로 촬영한 질의 시퀀스를 포함한다. 두 캠페인은 서로 5 mm의 정확도로 정합된다. 질의 영상을 기준 영상에 정합하면 위치 6-9 mm, 방향 0.1{\deg} 훨씬 미만의 정확도를 갖는 정답 자세가 얻어진다. 모든 영상은 약 2.5 cm의 정확도로 지오레퍼런싱되어 있다. 둘째, 이 데이터셋을 사용하여, 검증된 구성요소로 만든 모듈식 파이프라인으로 희소 특징 기반 시각적 위치 추정을 체계적으로 평가하며, 고해상도 기준 영상을 장면 표현으로 직접 사용한다. 주간 영상과 사전 보정된 카메라에서 기준 영상에 대한 자세 오차의 중앙값은 이동 1-5 cm, 회전 0.03-0.1{\deg}이다. 정확하게 지오레퍼런싱된 장면 표현이 주어지면, 시각적 위치 추정은 측량급 GNSS 위치 결정의 정확도에 근접할 뿐 아니라 전체 방향 정보도 제공한다. 데이터셋은 https://fhnw-muttenz-vl-dataset.github.io/ 에서 공개되어 있다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.