ADM-Fusion: 다양한 환경에서 강건한 자기 운동 추정을 위한 적응형 심층 다중 센서 융합
ADM-Fusion: Adaptive Deep Multi-Sensor Fusion for Robust Ego-Motion Estimation in Diverse Conditions
한국어 초록
다양하고 열화된 환경에서 신뢰할 수 있는 자율 주행을 위해서는 강건한 다중 센서 융합이 필수적이며, 이러한 환경에서는 센서 신뢰도가 빠르게 변동할 수 있다. 서로 다른 모달리티는 각기 다른 방식으로 오류가 발생하기 때문에, 효과적인 융합은 고정된 가중치에 의존하지 않고 상호 보완적인 단서들을 적응적으로 균형 있게 활용해야 한다. 이러한 적응성은 자기 운동 추정(ego-motion estimation)에서 특히 중요한데, 정확한 업데이트는 상호 보완적인 센서 정보의 일관된 통합에 달려 있기 때문이다. 우리는 환경 변화와 센서 열화에 적응하도록 설계된 엔드투엔드 심층 학습(deep learning) 기반 다중 센서 융합 방법인 ADM-Fusion을 제안한다. ADM-Fusion은 콘텐츠 인식 라우팅(content-aware routing)을 갖춘 적응형 센서 전문가 혼합(MoE) 프레임워크를 활용하여 실시간으로 센서 입력에 동적으로 가중치를 할당한다. 또한 본 시스템은 교차 태스크 어텐션(attention) 메커니즘으로 결합된 별도의 이동(translation) 및 회전(rotation) 브랜치를 통합하여, 정보 공유를 가능하게 하면서도 태스크별 특화를 유지한다. ADM-Fusion은 CARLA-LOC 시뮬레이션 데이터셋(dataset)으로 학습된 후 KITTI 실세계 데이터에 대해 파인튜닝되어, 효과적인 시뮬레이션-실환경 전이(simulation-to-real transfer)를 입증한다. 실험 결과, ADM-Fusion은 열화된 조건에서도 강건성을 유지하면서 기존 방법들과 경쟁력 있는 성능을 달성함을 보여준다.
원문 초록
Robust multi-sensor fusion is essential for reliable autonomy in diverse and degraded environments, where sensor reliability can fluctuate rapidly. Because different modalities fail in distinct ways, effective fusion should adaptively balance complementary cues rather than rely on fixed weighting. This adaptability is particularly important for ego-motion estimation, since accurate updates depend on the consistent integration of complementary sensor information. We propose ADM-Fusion, an end-to-end deep learning based multi-sensor fusion method designed to adapt to environmental changes and sensor degradation. ADM-Fusion employs an adaptive sensor mixture-of-experts framework with content-aware routing to dynamically assign weights to sensor inputs in real time. The system further incorporates separate translation and rotation branches, coupled through a cross-task attention mechanism to preserve task-specific specialization while enabling information sharing. ADM-Fusion is trained on the CARLA-LOC simulated dataset and subsequently fine-tuned on KITTI real-world data, demonstrating effective simulation-to-real transfer. Experiments show that ADM-Fusion remains robust under degraded conditions while maintaining competitive performance against existing methods.
요약
ADM-Fusion은 자율주행 환경에서 센서 열화 및 기상 변화에 강건한 자기 운동 추정(ego-motion estimation)을 위해, 콘텐츠 인식 라우팅을 갖춘 적응형 센서 전문가 혼합(ASMoE) 모듈과 교차 태스크 어텐션으로 결합된 이동/회전 분리 브랜치를 활용하는 엔드투엔드 딥러닝 다중 센서 융합 프레임워크다. CARLA-Loc 시뮬레이션 데이터셋으로 학습 후 KITTI 실세계 데이터에 파인튜닝하여 시뮬레이션-실환경 전이(sim-to-real transfer)의 효과를 입증하였으며, 열화된 조건에서도 경쟁력 있는 성능을 유지함을 보였다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.25111v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측
SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts
다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.
DAP-Pose: 강건한 포즈 추정을 위한 심층 시간 정렬 및 물리 인식 교차 모달 센서 퓨전
DAP-Pose: Deep Temporal Alignment and Physics-aware Cross-modal Sensor Fusion for Robust Pose Estimation
복잡한 환경에서 자율주행차와 이동 로봇 시스템을 위해 다중 모달 센서를 이용한 강건하고 정확한 포즈 추정은 근본적으로 중요하다. 본 논문에서는 강건한 다중 모달 포즈 추정을 위한 통합 end-to-end 모델인 DAP-Pose를 제안한다. DAP-Pose는 시각, 관성, GNSS 측정값으로부터 상보적인 의미적 및 기하학적 움직임 단서를 포착하는 이중 수준 교차 모달 퓨전(Bi-level Cross-modal Fusion, BCF) 모듈을 도입한다. 시간 오프셋을 처리하기 위해, 잠재 공간에서 비동기 스트림을 명시적으로 정렬하여 엄격한 하드웨어 동기화 없이도 일관된 움직임 모델링을 가능하게 하는 심층 시간 정렬(Deep Temporal Alignment, DTA) 모듈을 설계했다. 또한, 매니폴드 기하학과 GNSS 기반 절대 메트릭 스케일을 통해 물리 인식 제약을 통합하여 움직임 일관성을 강제하고 드리프트를 완화한다. 공개 KITTI 벤치마크 데이터셋에서 DAP-Pose의 성능을 기존 방법들과 비교 평가하기 위한 실험을 수행했다. DAP-Pose는 최신(state-of-the-art) 성능을 달성했으며, 평균 변위 오차($t_{rel}$) 1.31%, 회전 오차($r_{rel}$) 0.46$^{\circ}$로 가장 낮은 수치를 기록했다. 또한, 인위적으로 주입된 심각한 시간 불일치 하에서도 포즈를 정확하게 추정하고 강건한 성능을 유지한다.
Intelligent Resource Allocation in Joint Radar-Communication With Graph Neural Networks
FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋
FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog
고�급 거리 수준 영상을 활용한 시각적 위치 추정의 정확도 잠재력
Accuracy potential of visual localization exploiting high-end street-level imagery
이동성이 학습을 돕는다: 움직임을 통한 객체 인식의 비지도 모델 적응
Mobility Helps Learning: Unsupervised Model Adaptation for Object Recognition via Movement
자율주행차와 로봇과 같이 이동 가능한 에이전트(agent)는 사람의 주석(annotation) 없이도 사전학습된 객체 인식 모델(model)을 새로운 환경에 자율적으로 적응시킬 수 있어야 한다. 기존의 테스트 시점 적응(test-time adaptation, TTA) 방법들은 라벨이 없는 모델 적응 문제를 다루지만, 일반적으로 테스트 데이터를 독립적인 스냅샷으로 취급하며, 에이전트가 동일한 객체를 서로 다른 거리와 시점(viewpoint)에서 관찰할 때 나타나는 예측 품질의 큰 분산이라는 풍부하고 고유한 감독(supervision) 신호를 적극적으로 활용하지 않는다. 이를 활용하기 위해, 우리는 모션에 의해 유발된 예측 분산을 활용하여 비지도 적응을 수행하는, 모델에 구애받지 않고(model-agnostic) 하이퍼파라미터(hyperparameter)에 민감하지 않은 패러다임인 MoCaFe를 제안한다. 구체적으로, 우리는 먼저 교차 시점(cross-view) 예측을 역분산(inverse-variance) 가중치로 융합하여 신뢰할 수 있는 가상 레이블(pseudo-label)을 구성하는 이동성 보정 필터링(mobility-calibrated filtering)을 개발한다. 필터링된 가상 레이블은 이후 효과적인 학습을 위한 '어려운 샘플(hard sample)'의 선택을 안내한다. 가상 레이블의 손상(corruption)을 추가로 억제하기 위해, 우리는 공개 데이터셋(dataset)을 사용하여 데이터 샘플에 가중치 인자를 할당함으로써 바이어스(bias)가 제한된(bounded) 클린 손실(loss) 추정량을 산출하는 선택적 확장인 p-MoCaFe를 도입한다. 자율주행(nuScenes, KITTI) 및 임바디드 에이전트(embodied-agent) 데이터셋에 대한 광범위한 실험을 통해 MoCaFe가 최신(state-of-the-art) TTA 기법들을 크게 능가하며, 최대 약 20%의 정확도 향상을 달성함을 보인다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.