PyTorchKR Papers

최신 논문

총 33편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.22698v2cs.CV

FogDrive: 단계적 안개 조건에서의 인식을 위한 멀티모달 합성 주행 데이터셋

FogDrive: A Multi-Modal Synthetic Driving Dataset for Perception under Graded Fog

안개는 자율주행 인식 성능을 여러 모달리티에 걸쳐 저하시킨다. 이미지 대비를 낮추고, LiDAR 반사 신호를 감쇠·산란시키며, 하위의 모든 학습 모듈의 입력 분포를 변화시킨다. 저하된 입력을 복원할지 그대로 학습할지 선택하려면, 알려진 강도에서 안개가 있을 때와 없을 때 관측한 동일한 장면과 학습에 충분한 안개 데이터가 필요하다. 실제 환경의 수집으로는 이를 얻을 수 없다. 안개는 조명 및 교통과 얽혀서 나타나고, 강도는 선택되는 것이 아니라 기록될 뿐이다. 기존 합성 데이터셋은 센서 구성, 규모, 또는 강도 범위가 제한적이다. 우리는 약 660개 장면(약 13.3만 프레임)으로 이루어진 CARLA 데이터셋 FogDrive를 제시한다. 각 장면은 맑은 기준 장면과 보정된 세 가지 안개 농도로 공개되며, 카메라와 LiDAR에 물리 기반 안개를 적용하고 모든 변형에 걸쳐 일관된 2D/3D 주석을 제공한다. 모든 프레임에는 네 대의 카메라(RGB, 깊이, 시맨틱), LiDAR, 시맨틱 LiDAR, 레이더가 포함되어, 심하게 저하되는 카메라부터 대체로 영향을 받지 않는 레이더까지 안개에 대한 반응 스펙트럼을 아우른다. FogDrive로 학습한 실험은 안개 농도를 혼합하면 추가 데이터 비용 없이 3D 검출이 향상되고, PSNR과 SSIM은 안개 제거기(dehazer)의 검출 이득을 잘 예측하지 못하며, 레이더가 모든 농도에서 카메라-LiDAR 융합을 개선함을 보여 준다. 데이터셋과 그 생성 프레임워크를 공개할 예정이다.

arXiv:2610.15745v1cs.CV

SpikeOcc: 스파이킹 전문가를 통한 복원력 있는 다중모달 3D 점유 예측

SpikeOcc: Towards Resilient Multimodal 3D Occupancy Perception via Spiking Experts

다중모달(multimodal) 3D 점유(occupancy) 예측은 종합적인 장면 이해를 통해 안전한 자율주행을 뒷받침합니다. 그러나 기존 방식들은 주로 정교한 융합(fusion)을 통해 더 높은 정확도를 추구해 왔으며, 센서 누락에 대한 복원력(resilience)은 충분히 탐구되지 않았습니다. 본 논문에서는 보다 복원력 있는 다중모달 인식을 구축하기 위한 방안으로 스파이킹 신경망(SNN)을 탐구합니다. 하지만 스파이킹 뉴런의 이산적인(discrete) 특성으로 인해 최적화(optimization)가 까다롭습니다. 이러한 어려움을 극복하기 위해 스파이킹 전문가 혼합(SMoE)과 센서 가용성 학습(SAL)이라는 두 가지 상호보완적 구성요소를 갖춘 SpikeOcc를 제안합니다. 구체적으로 SMoE는 RGB, LiDAR 및 결합 융합을 특화된 경로로 구성하여, 유계 잔차(bounded residual)를 통해 원래의 다중모달 특징을 유지하면서 전체 폭의 단일모달(unimodal) 표현을 가능하게 합니다. 센서 드롭아웃을 넘어 SAL은 명시적 라우팅 감독이 포함된 단계별 커리큘럼을 적용하여 혹독한 센싱 조건에서도 강건성(robustness)을 점진적으로 향상시킵니다. 주목할 점은 SAL이 기존 모델에서도 주목할 만한 성능 향상을 이끌어내어, 복원력 있는 다중모달 학습을 위한 폭넓은 잠재력을 보여준다는 것입니다. 광범위한 실험을 통해 SpikeOcc가 경쟁력 있는 전체 센서 정확도를 유지하면서 센서 장애 시의 성능 하한선을 크게 높임을 입증합니다. SpikeOcc는 뉴로모픽 컴퓨팅의 유망성을 보여주며, 보다 신뢰할 수 있고 에너지 효율적인 자율주행으로의 방향을 제시합니다.

arXiv:2606.22200v2cs.LG

신경 공액 집계: 이종 센서 바이어스 하에서 식별 가능한 비지도 다중 센서 회귀

Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias

본 논문에서는 여러 개의 노이즈와 바이어스가 존재하는 측정 소스를 활용할 수 있지만 학습(training) 중에는 정답 레이블(ground-truth labels)이 제공되지 않는 불확실성 하에서의 회귀 기반 데이터 융합을 연구한다. 이러한 설정은 지도(supervision)가 큰 비용을 요구하거나 실현 불가능한 센서 네트워크, 시뮬레이션 앙상블, 과학적 모니터링 시스템에서 발생한다. 우리는 비지도 다중 소스 융합을 위해 신경망과 공액 가우시안 추론(inference)을 결합한 계층적 베이지안 프레임워크인 신경 공액 집계 모델(Neural Conjugate Aggregation Model, NCAM)을 제안한다. NCAM은 문맥적 공변량에 조건화된 소스별 바이어스와 신뢰도를 학습하여, 인식론적(epistemic) 및 우연적(aleatoric) 불확실성이 분해된 잠재 목표 변수에 대해 해석적으로 다룰 수 있는 사후분포를 도출한다. 구조적 비식별성은 센서 앵커링과 분산 정규화(regularization)를 통해 해결되어 안정적이고 해석 가능한 사후 집계를 가능하게 한다. 베이지안 불확실성을 유한 표본 보장으로 보완하기 위해, 국소 적응형 몬테카를로 등각 예측(Monte Carlo conformal prediction)을 통합하여 교환 가능성(exchangeability) 가정 하에서 커버리지 보장을 제공하는 이분산 예측 구간을 생성한다. 합성 및 실제 대기질 데이터셋에 대한 실험을 통해 평균 집계, 확률적 PCA, 칼만 필터링(Kalman filtering)을 포함한 비지도 베이스라인 대비 향상된 예측 정확도와 잘 보정된 불확실성을 입증한다.

arXiv:2410.16089v3cs.AI

영상 및 레이더 데이터의 특징 맵 기반 무인기 분류를 위한 다중 센서 융합

Multi-Sensor Fusion for UAV Classification Based on Feature Maps of Image and Radar Data

현대 무인기(UAV)는 비용, 유연성 및 효율성 덕분에 많은 응용 분야에서 매력적이지만, 그 확산으로 인해 악의적이거나 우발적인 사고가 증가하면서 UAV 탐지 및 분류(classification) 메커니즘이 필수적이 되었습니다. 개별 감지 양식(modality)은 각각 상호보완적인 한계를 지니며, 기존 탐지 시스템은 일반적으로 단일 센서에 의존하거나 결정 수준(decision level)에서만 양식을 융합하여, 이종의 영상 및 레이더 탐지기 간 특징(feature) 수준 융합은 대부분 탐색되지 않은 채로 남아 있습니다. 본 논문에서는 열화상, 광전(optronic), 레이더 센서의 개별 객체 탐지 및 분류 모델에서 추출한 고수준 특징을 융합하는 심층 신경망(deep neural network)을 제안합니다. CNN 기반 아키텍처는 레이더 특징과 융합하기 전에 채널 축을 따라 열화상 및 광전 영상 특징을 쌓는 방식으로 세 가지 양식을 결합합니다. 실제 다중 센서 데이터셋(dataset)에서 평가한 결과, 제안된 3가지 양식 융합 모델(model)은 0.95의 F1-점수를 달성하여, 2가지 양식(열화상-광전) 구성의 0.93 및 가장 성능이 뛰어난 단일 센서(열화상) 기준선(baseline)의 0.91과 비교되었으며, 이를 통해 상호보완적인 센서 특징 융합이 UAV 분류 성능에서 측정 가능한 이득을 가져옴을 확인했습니다.

arXiv:2609.00730v3cs.CV

기울기 추정을 위한 칼만 필터 기반 알고리즘의 설계 및 구현

Design and Implementation of a Kalman Filter-Infused Algorithm for Tilt Estimation

정확한 기울기 각도 추정은 로보틱스, 모션 트래킹, 임베디드 제어 시스템 등 많은 공학 응용에서 중요하다. 그러나 저비용 관성 센서의 측정값은 종종 노이즈와 드리프트로 품질이 저하된다. 본 논문은 MPU6050 관성 측정 장치(IMU)를 기반으로 하고 RP2040 마이크로컨트롤러 플랫폼에서 구현되며, 칼만 필터(Kalman filter)를 통해 센서 융합을 수행하는 단일축 기울기 각도 추정 시스템을 제시한다. 가속도계는 중력으로부터 기울기 각도를 직접 추정할 수 있지만 노이즈와 단기 변동에 민감하다. 자이로스코프는 매끄러운 각속도 측정값을 제공하지만, 시간에 따른 적분은 드리프트를 유발한다. 이러한 한계를 극복하기 위해 칼만 필터를 사용하여 두 센서의 측정값을 결합하며, 가속도계의 장기 안정성과 자이로스코프의 단기 매끄러움을 활용한다. 시뮬레이션과 하드웨어 실험을 모두 수행한다. 시뮬레이션에서는 제어된 조건에서 필터 성능을 평가하기 위해 센서 노이즈와 드리프트를 모델링한다. 하드웨어 구현에서는 실시간 MPU6050 데이터를 획득하여 RP2040 플랫폼에서 처리하고, 추정된 기울기 각도를 가속도계만 사용한 출력 및 자이로스코프만 사용한 출력과 비교한다. 결과는 제안 방법이 양호한 동적 응답을 유지하면서 노이즈 측정값을 효과적으로 줄이고 장기 드리프트를 억제함을 보여준다. 전반적으로 본 시스템은 어느 한쪽 센서만 사용하는 경우보다 더 안정적이고 정확한 기울기 추정을 제공하며, 임베디드 응용에서 칼만 필터 기반 센서 융합을 위한 실용적이고 접근 가능한 접근법을 입증한다. 본 원고는 해당 연구의 사전공개(preprint) 버전이다. 키워드: 칼만 필터, 가속도계, 자이로스코프, 노이즈 감소, 각도 추적

arXiv:2604.01921v3cs.CV

빔포밍 이전 안테나별 거리-도플러 레이더 측정값으로부터 공간 구조 학습에 관한 연구

On Learning Spatial Structure from Pre-Beamforming Per-Antenna Range-Doppler Radar Measurements

차량용 레이더 인지 파이프라인은 일반적으로 학습 기반 모델을 적용하기 전에 빔포밍(beamforming)을 통해 각도 영역 표현을 구성합니다. 본 연구는 이와 달리 표현에 관한 질문을 탐구합니다: 빔포밍 이전의 안테나별 거리-도플러(RD) 측정값으로부터 의미 있는 공간 구조를 직접 학습할 수 있는가? 실험은 처프(chirp) 간 유효 송신 개구면이 달라지는(단일 TX 대 다중 TX) A/B 처프-시퀀스 주파수 변조 연속파(CS-FMCW) 송신 방식을 채택한 6-TX x 8-RX(48개 가상 안테나) 상용 차량용 레이더에서 수행되며, 이를 통해 처프에 따른 송신 구성에 대한 통제된 분석이 가능합니다. 본 연구에서는 단대단(end-to-end)의 완전한 데이터 주도 방식으로 학습된 듀얼 처프 공유 가중치 인코더를 사용하여 빔포밍 이전의 안테나별 RD 텐서를 처리하고, 성능 중심의 목표 대신 기하학적 프로브로서 조감도(BEV) 점유도를 활용해 공간 복원 가능성을 평가합니다. 지도 신호(supervision)는 가시성을 고려한 크로스 모달 방식으로, 레이더 시야각(field-of-view)의 명시적 모델링 및 광선 기반 가시성을 통한 폐색 인식 LiDAR 관측성을 바탕으로 LiDAR에서 도출됩니다. 신호 특성, 송신 구성(A-전용, B-전용, A+B), 수신 개구면, 거리-도플러 구조에 대한 분석과 함께 물리 기반 기준선(baseline)을 활용하여 공간 복원 가능성에 영향을 미치는 요인들을 조사합니다. 연구 결과는 수작업으로 설계된 신호 처리 단계에 의존하지 않고도, 학습된 공간 혼합을 통해 연구 대상인 A/B CS-FMCW 레이더 구성 하의 빔포밍 이전 안테나별 RD 텐서로부터 의미 있는 공간 구조를 복원할 수 있음을 나타냅니다.

arXiv:2609.22619v1cs.AI

GaitVista: 접근 가능한 종단 보행 평가를 위한 신뢰성 인식 AI 측정

GaitVista: Reliability-Aware AI Measurement toward Accessible Longitudinal Gait Assessment

보행 기능 회복을 추적하려면 재활 세션에 걸쳐 의미 있는 보행 변화를 감지해야 하지만, 객관적인 3D 측정은 여전히 전문 모션 캡처(motion-capture) 실험실에 국한된다. 소규모 카메라 세트와 착용형 관성 센서(inertial sensor)는 접근성을 넓히지만, 관절과 시간에 따라 신뢰도가 달라져 센싱 실패가 환자 변화처럼 보일 수 있다. 본 논문은 카메라 커버리지, 국소 시각 품질, 교차 모달 불일치, 뿌리(root) 운동 연속성을 이용해 관절·프레임별 시각 기여도를 할당하고 이를 검사할 수 있게 노출하는 경량 게이트를 갖춘, 신뢰성 인식 측정 층인 \textsc{GaitVista}를 제안한다. TotalCapture에서 일곱 가지 깨끗한·열화된 센싱 조건에 대해 \textsc{GaitVista}는 평균 전신 및 하체 오차를 각각 \textbf{27.7\%} 및 \textbf{27.8\%} 줄이고, 융합(fusion) 방법 중 최악 조건 오차가 가장 낮으며, 조건 무시 기준선 대비 관절-프레임 오라클과의 격차를 $2.76$--$5.33$~cm에서 $1.11$~cm로 줄인다. 이미지 유도 키포인트(image-derived keypoint)를 사용한 MoVi에서는, 단일 모달 스트림 모두보다 성능을 개선하는 유일한 배포 가능한 융합 방법으로, 가장 강한 학습 기반 융합 기준선 대비 마커 지원 오차를 \textbf{6.4\%} 상대 감소시킨다. TotalCapture에서는 양측 무릎 굴곡(knee-flexion) 파형 정확도를 \textbf{18.9\%} 개선한다. 다섯 명의 TotalCapture 참가자로부터의 원시 관성 측정값은 위치·시간에 따라 변하는 자기 교란(magnetic disturbance)을 보여 주어, 설계의 신뢰성 전제를 뒷받침한다. 두 벤치마크 모두 통제된 환경의 신경학적으로 건강한 참가자를 포함하며 참가자별 IMU 보정을 유지하므로, 검증된 임상 배포가 아니라 접근 가능한 보행 평가를 향한 진전을 보고한다.

arXiv:2609.22967v1cs.CV

범용 협력 지능: 회복력 있는 다중 에이전트 생태계를 위한 인지 아키텍처

General Collaborative Intelligence: Architecting Cognition for Resilient Multi-Agent Ecosystems

다중 에이전트 무인 시스템은 고립된 자기 중심적 sensing에서 협력 지능으로 이동하고 있으며, 분산 에이전트들이 압축된 특징(feature)을 교환하여 어떤 단일 에이전트도 벗어날 수 없는 국소 관측의 함정—가림(occlusion), 유한한 센서 범위, 환경 열화—to overcome. 해당 분야는 아키텍처, 통신, embodied, 회복력(resilience), 신뢰 차원에서 성숙해 왔지만, 기존 서베이는 이러한 차원을 각각 따로 다루며 그 의존 관계를 거의 드러내지 않는다. 본 리뷰는 두 가지 상보적 렌즈를 통해 통합적 종합을 제시한다. 첫째는 협력 단계, 통신 패러다임, 융합 아키텍처, 학습 전략, 응용 도메인에 걸친 5차원 분류체계이다. 둘째는 인지적 시너지를 운영 기준으로 전환하는 세 가지 인지적 시너지 조건—의미적 모호성 해소(Semantic Disambiguation), 화용론적 정보 교환(Pragmatic Information Exchange), 선제적 정보 탐색(Proactive Informational Foraging)—이다. 이러한 렌즈를 통해 협력 아키텍처와 토폴로지, 채널을 미분 가능한 파이프라인 구성요소로 다루는 신경-통신 공동 설계(neural-communication co-design), 다중 에이전트 강화학습을 통한 embodied 행동-지각 루프, 동기화·불확실성 정량화·라벨 효율적 학습을 위한 회복력 메커니즘을 조망한다. 이어 이러한 진전을 V2X, 무인 항공, 산업 물류, 스마트 시티의 네 가지 운영 도메인과 안전-프라이버시-유용성(safety-privacy-utility) 삼각 관계에 대응시킨다. 벤치마크 포화와 평가 파편화에 대응하기 위해, 본문은 협력 방법의 트레이드오프를 연구 간 비교 가능하게 만드는 성숙도 모델을 갖춘 5기둥 scoring 프로토콜 GCI-Bench를 제안한다. 재현성, sim-to-real 격차, 협력이 성능을 저하시키는 조건에 대한 비판적 성찰을 통해 미해결 과제를 밝히고, 실세계 불확실성 하에서 범용 협력 지능을 향한 방향을 제시한다.

arXiv:2607.23962v1cs.CV

자율주행 차량 내비게이션을 위한 비전-언어 모델 기반 GNSS 스푸핑 탐지 개발

Development of Vision-Language Model-based GNSS Spoofing Detection for Autonomous Vehicle Navigation

자율주행 차량(AV)은 위치 추정 및 항법을 위해 위성항법시스템(GNSS)에 의존하므로, 차량을 은밀하게 다른 경로로 유도하거나 위험한 기동을 유발할 수 있는 스푸핑 공격에 취약하다. 본 논문에서는 전방 카메라 시각 데이터와 차량 내 센서 측정값(예: 속도, 가속도, 요율)을 GNSS에서 유도된 기동과 융합하여, 자율주행 차량의 GNSS 스푸핑 탐지를 위한 최초의 비전-언어 모델(VLM) 기반 프레임워크를 개발한다. 우리 접근법은 먼저 시각적 단서를 그라운딩하고, 이어 공유 의미 공간 내에서 센서 데이터를 보정하여 세 가지 공격 시나리오에 걸쳐 예측된 기동과 GNSS에서 유도된 기동 간의 불일치를 탐지하는 3단계 미세조정 과정을 도입한다. 또한 앨라배마주 터스커루사(Tuscaloosa, Alabama)의 공공 도로에서 계측 장비가 탑재된 차량을 주행하며 시간 동기화된 GNSS, IMU, 카메라 로그를 수집해 독립적인 실세계 데이터셋을 생성하고, 학습 데이터와 다른 미관측 데이터에 대한 미세조정 모델의 지역 간 일반화를 검증했다. 이 데이터셋에서 잘못된 방향 전환 공격을 위한 도로망 스냅핑을 적용한 궤적 미러링, 오버슈트 시나리오를 위한 위치 동결, 정지 공격을 위한 드리프트 생성 등 지능형 스푸핑 공격을 생성했다. 이 검증 데이터셋에서 제로샷 VLM 기준선의 F1-score는 23%에서 32% 범위인 반면, 우리의 미세조정 모델은 94%에서 95% 범위의 F1-score를 달성했다. 결과는 우리의 VLM 기반 접근법이 모든 잘못된 방향 전환 및 정지 공격을 올바르게 분류했으며, 오버슈트 공격에 대해 88%-93%의 정확도를 달성함을 보여준다. 또한 VLM 호출을 14%로 줄여(약 86%의 연산량 감소) 4초 윈도우당 65ms-73ms를 달성하는 적응형 추론 정책을 도입한다. 이 결과는 VLM을 활용하여 신호 수준 무결성 검사를 보완하는 실용적인 도로 주행 방어 층을 시사한다.

arXiv:2607.23755v1cs.CV

DAP-Pose: 강건한 포즈 추정을 위한 심층 시간 정렬 및 물리 인식 교차 모달 센서 퓨전

DAP-Pose: Deep Temporal Alignment and Physics-aware Cross-modal Sensor Fusion for Robust Pose Estimation

복잡한 환경에서 자율주행차와 이동 로봇 시스템을 위해 다중 모달 센서를 이용한 강건하고 정확한 포즈 추정은 근본적으로 중요하다. 본 논문에서는 강건한 다중 모달 포즈 추정을 위한 통합 end-to-end 모델인 DAP-Pose를 제안한다. DAP-Pose는 시각, 관성, GNSS 측정값으로부터 상보적인 의미적 및 기하학적 움직임 단서를 포착하는 이중 수준 교차 모달 퓨전(Bi-level Cross-modal Fusion, BCF) 모듈을 도입한다. 시간 오프셋을 처리하기 위해, 잠재 공간에서 비동기 스트림을 명시적으로 정렬하여 엄격한 하드웨어 동기화 없이도 일관된 움직임 모델링을 가능하게 하는 심층 시간 정렬(Deep Temporal Alignment, DTA) 모듈을 설계했다. 또한, 매니폴드 기하학과 GNSS 기반 절대 메트릭 스케일을 통해 물리 인식 제약을 통합하여 움직임 일관성을 강제하고 드리프트를 완화한다. 공개 KITTI 벤치마크 데이터셋에서 DAP-Pose의 성능을 기존 방법들과 비교 평가하기 위한 실험을 수행했다. DAP-Pose는 최신(state-of-the-art) 성능을 달성했으며, 평균 변위 오차($t_{rel}$) 1.31%, 회전 오차($r_{rel}$) 0.46$^{\circ}$로 가장 낮은 수치를 기록했다. 또한, 인위적으로 주입된 심각한 시간 불일치 하에서도 포즈를 정확하게 추정하고 강건한 성능을 유지한다.

arXiv:2510.26369v2cs.LG

CorVS+: 대응 관계 기반 영상 궤적-센서 연관을 통한 창고 내 신원 인식 사람 위치 추정

CorVS+: Correspondence-Driven Association of Video Trajectories and Sensors for Identity-Aware Person Localization in Warehouses

물류 창고는 인력 부족 문제에 직면해 왔지만, 입고 프로세스는 여전히 특히 인력 중심으로 운영된다. 이러한 상황에서 작업자 위치 데이터는 생산성 향상의 핵심이다. 고정 카메라는 패키지 상태와 같은 유용한 환경 정보도 제공하므로 위치 추정에 유망한 도구이다. 그러나 시각 데이터만으로 개인을 식별하는 것은 종종 현실적이지 않다. 신원 인식 기반 위치 추정을 가능하게 하기 위해, 기존 연구들은 웨어러블 센서 측정값과 궤적을 연관시켜 영상 속 사람을 식별하려 시도해 왔다. 이 외관 독립적 접근 방식은 여러 장점이 있지만, 기존 방법은 실제 환경 조건에서 실패할 수 있다. 따라서 우리는 시각 추적 궤적과 센서 측정값 간의 대응 관계에 기반한 새로운 데이터 기반 사람 식별 프레임워크인 CorVS+를 제안한다. 우선, 우리의 심층 학습 모델은 각 궤적-센서 측정값 쌍에 대한 대응 관계 확률과 신뢰도를 예측한다. 다음으로, 우리의 알고리즘은 모델 예측에 기반하여 시간에 걸쳐 쌍을 매칭한다. 우리는 창고에서 27시간의 센서 측정값과 38km의 궤적로 구성된 데이터셋을 구축했다. 이 데이터셋은 여러 정지 작업자가 품목을 검사하는 등 실제 활동과 도전적인 상황을 포함한다. 평가 결과 CorVS+가 기존 방법보다 우수하며, 산업 규모 환경에서 독자적 설계의 효과가 있음을 보였다. 모델과 데이터셋은 https://doi.org/10.5281/zenodo.17745683에서 제공될 예정이다.

arXiv:2607.22172v1cs.CV

JustDepth: 단일 스캔 LiDAR 지도를 활용한 실시간 레이더-카메라 깊이 추정

JustDepth: Real-Time Radar-Camera Depth Estimation with Single-Scan LiDAR Supervision

자율주행 시스템에서 레이더-카메라 인식을 위해 정확하면서도 낮은 지연의 깊이 추정이 필수적이다. 카메라는 풍부한 외관 정보를 제공하지만 메트릭 스케일이 부족한 반면, 자동차용 레이더는 메트릭 거리 정보를 제공하지만 희소하고 노이즈가 많다. 많은 파이프라인은 다단계 구조이거나 보조 어노테이션에 의존하여 지연을 증가시키고 이식성을 제한한다. 본 연구에서는 레이더, 카메라, 단일 스캔 LiDAR만으로 학습되는 단일 단계 레이더-카메라 깊이 추정기 JustDepth를 제안한다. 모든 레이더 반사값은 고정 너비 1D 표현으로 집계되어 런타임이 포인트 수와 분리된다. Height Fusion Block이 모달리티를 융합하고, 경량 GNN이 깊이를 전역적으로 전파하며, 학습 전용 신뢰도 디코더가 테스트 시 추가 비용 없이 학습을 안정화한다. 간단한 증강을 통해 줄무늬 아티팩트를 완화하고, 수직-수평 그래디언트 비율(Vertical-Horizontal Gradient Ratio, VHGR)로 이를 정량화한다. nuScenes에서 최근 최신 방법들과 비교했을 때 JustDepth는 정확도를 유지하면서 추론 시간을 39.7배 단축하고 VHGR 기준 줄무늬 아티팩트를 66% 감소시킨다.

arXiv:2607.21526v1cs.CV

자율주행을 위한 전천후 자기지도 깊이 추정의 견고성 향상

Boosting Robustness for All-Weather Self-Supervised Depth Estimation in Autonomous Driving

다양한 악천후 조건에서 센서 지각 성능 저하로 인해, 안전한 자율주행을 위한 자기지도 깊이 추정은 어려운 과제이다. 이러한 어려움은 두 가지 주요 측면에서 기인한다. 첫째, 악천후 조건은 픽셀 대응을 왜곡하고 자기지도 손실 함수에 내재된 가정을 위반하여 잘못된 깊이 예측을 초래할 수 있다. 둘째, 레이더는 악천후 조건에서 널리 채택되는 센서이지만, 시점(Point of View, POV)에서 레이더 포인트의 희소한 분포는 자기지도 융합에 어려움을 야기한다. 이러한 문제를 해결하기 위해, 우리는 다중 교사 증류와 견고한 레이더 융합을 통해 페어링되지 않은 실제 전천후 데이터를 활용하는 새로운 자기학습(self-training) 파이프라인을 제안한다. 우리는 서로 다른 악천후 조건 입력으로 다양한 교사 모델을 생성하는 불확실성 인식 다중 교사 증류(Uncertainty-Aware Multi-Teacher Distillation) 방법을 제안하고, 불확실성 모델링을 통해 지식 증류 손실의 가중치를 부여한다. 또한, 카메라 픽셀 광선 제약을 활용하여 카메라의 시점(POV)과 레이더의 조감도(Bird's-Eye View, BEV) 간의 연결을 수립하는 POV-BEV 레이더 융합 접근법을 설계한다. 이 접근법은 더 조밀한 레이더 포인트의 활용을 가능하게 하며, POV와 BEV의 상보적인 관점을 효과적으로 포착한다. 광범위한 정량적 및 정성적 실험은 전천후 데이터셋에서 제안 방법의 견고성을 보여주며, 최신(state-of-the-art) 성능을 달성한다. 코드와 모델은 https://github.com/MICLAB-BUPT/RobustDepth 에서 제공된다.

arXiv:2607.19528v1cs.CV

D3VL: 3D 시계열 데이터와 영상을 활용한 언어 모델 기반 주행 장면 이해

D3VL: Understanding Driving Scenes from 3D Time Series Data and Video with Language Models

최근 다중모달 대규모 언어 모델(MLLM)의 발전은 자율주행을 위한 엔드투엔드 MLLM 개발을 촉발했다. 그러나 지금까지의 주된 초점은 2D 이미지와 영상을 사용하는 MLLM에 맞춰져 있다. 이와 대조적으로, 본 논문은 LiDAR 및 스테레오 카메라와 같은 3D 센서를 사용할 때의 MLLM 효과를 고려한다. LiDAR는 데이터의 희소성과 격자 구조의 부재로 인해 MLLM 내 통합에 독특한 과제를 제기한다. 유사한 이유로 MLLM 파이프라인 내에서 카메라와 LiDAR 데이터의 융합도 흔하지 않다. 그러나 대부분의 자율주행 시스템은 LiDAR 기반 센싱에 의존하며, 3D 데이터를 통합하는 것이 전통적인 3D 장면 인식 작업에서 성능 향상을 입증해 왔다. 본 논문은 2D 및 3D 시계열 데이터를 단일하면서도 단순한 아키텍처로 통합하는 새로운 MLLM 프레임워크인 D3VL을 제안한다. 해당 모델은 교통 장면 이해와 안전과 관련된 질문에 답하는 것을 목표로 한다. D3VL은 2D 및 3D 시계열 데이터 처리에서 KITTI 질의응답(QA) 데이터셋상 기준선 방법 대비 11%의 성능 향상을 보인다. 본 논문은 다양한 주행 조건에서 3D 및 시계열 데이터를 처리하는 모델의 능력을 평가하는 Waymo QA 데이터셋 확장을 추가로 소개한다. D3VL 구현 코드와 WaymoQA 확장은 보조 웹사이트(https://automotivesafety-lvlm.github.io)에서 확인할 수 있다.

arXiv:2606.26743v2cs.CV

구조적 레이더 포인트 클라우드 생성을 위한 깊이-시맨틱 정렬 및 친화도 안내 융합

Depth-Semantic Alignment and Affinity-Guided Fusion for Structured Radar Point Cloud Generation

밀리미터파 레이더 포인트 클라우드의 희소성·노이즈·구조 불완전성 문제를 해결하기 위해, 이미지 시맨틱 정보를 활용한 깊이-시맨틱 정렬과 Affinity Matrix 기반 특징 융합을 결합한 비전-레이더 멀티모달 포인트 클라우드 생성 프레임워크를 제안한다. 실험 결과, 제안 방법은 포인트 클라우드 품질을 향상시키고 복잡한 환경에서의 3D 객체 검출 및 추적 정확도와 견고성을 개선하였다.

arXiv:2504.06479v2cs.RO공식 코드 · Papers with Code

Holistic Fusion: 팩터 그래프 기반 작업 및 설정에 구애받지 않는 로봇 위치 추정 및 상태 추정

Holistic Fusion: Task- and Setup-Agnostic Robot Localization and State Estimation with Factor Graphs

도전적인 환경에서 이동 로봇의 원활한 운용을 위해서는 저지연 국소 운동 추정과 정확한 전역 위치 추정이 필요하다. 대부분의 센서 융합(sensor fusion) 접근법은 특정 시나리오를 위해 설계되지만, 본 연구는 일반성과 사용성을 특징으로 하는 작업 및 설정에 구애받지 않는 다중모달 센서 융합을 위한 유연한 오픈소스 솔루션을 제안한다. Holistic Fusion은 센서 융합을 i) 국소 및 전역 로봇 상태와 ii) (이론적으로 무제한적인 수의) 동적 변수(기준 좌표계의 자동 정렬 포함)의 결합 추정 문제로 공식화한다. 이 공식화는 개념적 수정 없이 수많은 실세계 응용에 적용 가능하며, 하드코딩된/작업 특화 접근법을 넘어서는 포괄적 솔루션을 제공한다. 제안된 팩터 그래프(factor graph) 공식화는 서로 다른 좌표계에 대해 표현된 임의 개수의 절대, 국소, 랜드마크(landmark) 측정값을 최적화(optimization)의 상태로 명시적으로 포함하고 그 진화를 랜덤 워크(random walk)로 모델링함으로써 직접 융합할 수 있게 한다. 또한 추정 점프를 방지하기 위해 국소적 평활성과 일관성에 특별한 주의를 기울인다. Holistic Fusion은 일반적인 로봇 하드웨어에서 저지연且 부드러운 온라인 상태 추정을 가능하게 하면서 동시에 IMU 측정 속도에서 저드리프트(low-drift) 전역 위치 추정을 제공한다. 공개된 이 프레임워크 [1]의 효과는 서로 다른 작업 요구사항을 갖는 세 가지 로봇 플랫폼에서 다섯 가지 실세계 시나리오를 통해 입증되며, 다양한 절대 측정 유형의 융합 이점 [2]을 강조한다. [1] 코드: https://github.com/leggedrobotics/holistic_fusion [2] 프로젝트: https://leggedrobotics.github.io/holistic_fusion

arXiv:2503.08068v3cs.CV

LiDAR 및 카메라 입력을 이용한 자동차 레이더 시뮬레이션

Simulating Automotive Radar with Lidar and Camera Inputs

저비용 밀리미터파 자동차 레이더는 자율주행에서 열악한 기상 및 조명 조건을 다룰 수 있는 능력으로 인해 점점 더 많은 관심을 받고 있다. 그러나 고품질 데이터셋의 부족이 연구와 개발을 저해한다. 본 연구에서는 카메라 영상, LiDAR(light detection and ranging) 포인트 클라우드, ego-velocity를 이용하여 피치(pitch), 요(yaw), 거리(range), 도플러 속도(Doppler velocity) 및 레이더 신호 강도(RSS, radar signal strength)를 포함하는 4차원 밀리미터파 레이더 신호를 시뮬레이션할 수 있는 새로운 방법을 제안한다. 이 방법은 두 개의 새로운 신경망에 기반한다: 1) 레이더 신호의 공간 분포와 개수를 추정하는 DIS-Net, 2) 외관 및 기하학 정보를 바탕으로 신호의 RSS를 예측하는 RSS-Net. 상용 자동차 레이더 3개 모델의 공개 데이터셋을 사용하여 해당 방법을 구현하고 검증하였다. 실험 결과는 본 방법이 고정밀(high-fidelity) 레이더 신호를 성공적으로 생성할 수 있음을 보여준다. 또한, 본 연구에서 합성한 레이더로 증강된 데이터로 인기 있는 객체 검출 신경망을 학습시켰으며, 이 네트워크는 원시 레이더 데이터만으로 학습한 대응 모델보다 우수한 성능을 보였다. 이는 향후 레이더 기반 연구와 개발을 촉진할 수 있는 유망한 결과이다.

arXiv:2506.22784v2cs.CV

지도 학습 기반 크로스 모달 특징 매칭을 통한 단일 프레임 포인트-픽셀 정합

Single-Frame Point-Pixel Registration via Supervised Cross-Modal Feature Matching

LiDAR 포인트 클라우드와 카메라 이미지 간의 포인트-픽셀 정합(point-pixel registration)은 자율주행 및 로봇 인식에서 근본적이면서도 어려운 과제입니다. 핵심적인 난점은 비정형 포인트 클라우드와 정형 이미지 간의 모달리티 격차에 있으며, 특히 희소한 단일 프레임 LiDAR 환경에서 더욱 두드러집니다. 기존 방법들은 포인트 클라우드와 이미지에서 각각 특징(feature)을 추출한 후 수작업 또는 학습 기반 매칭 전략에 의존합니다. 이러한 분리 인코딩 방식은 모달리티 격차를 효과적으로 해소하지 못하며, 더 중요하게는 단일 프레임 LiDAR의 희소성(sparsity)과 노이즈 문제에 취약하여 신뢰성 향상을 위해 포인트 클라우드 누적이나 추가적인 사전 정보를 필요로 하는 경우가 많습니다. 최근 디텍터 프리(detector-free) 매칭 패러다임의 발전에서 영감을 받아, 우리는 프로젝션 기반 접근법을 재고하고 LiDAR와 카메라 뷰 간의 직접적인 포인트-픽셀 매칭을 위한 디텍터 프리 프레임워크를 도입합니다. 매칭 신뢰성을 더욱 향상시키기 위해, 소프트 가시성 사전 정보(soft visibility prior)로 작동하는 반복성 점수화 메커니즘(repeatability scoring mechanism)을 도입합니다. 이는 네트워크가 강도 변화가 낮은 영역에서 신뢰할 수 없는 매칭을 억제하도록 유도하여 희소한 입력에 대한 강건성을 향상시킵니다. KITTI, nuScenes, MIAS-LCEC-TF70 벤치마크에 대한 광범위한 실험을 통해, 우리의 방법이 단일 프레임 LiDAR만을 사용함에도 불구하고 누적 포인트 클라우드에 의존하는 방법들을 포함한 기존 접근법들을 nuScenes에서 능가하며 최첨단 성능을 달성함을 입증합니다.

arXiv:2607.00710v1cs.CV

영향력 있는 자율주행 데이터셋 구축: 연구 공백에서 벤치마크까지의 전략적 가이드

Creating Impactful Autonomous Driving Datasets: A Strategic Guide from Research Gap to Benchmark

영향력 있는 자율주행 데이터셋 설계를 위한 전략적 프레임워크를 제시하며, 연구 공백이 데이터 문제인지 평가 문제인지 진단한 후 최소 비용의 데이터 연산자를 선택하는 체계적 접근법을 제안한다. KITScenes 데이터셋 패밀리 사례를 통해 공백 식별, 센서 슈트 설계, 어노테이션 전략 등 각 단계를 구체적으로 구체화한다.

arXiv:2606.28377v1cs.CV

IMU 센서 융합을 활용한 비지도 행동 인식을 위한 메모리 증강 LSTM 오토인코더

Memory-Augmented LSTM Autoencoder for Unsupervised Activity Recognition with IMU Sensor Fusion

관성 측정 장치(IMU) 센서를 이용한 인간 행동 인식(HAR)은 헬스케어 모니터링 및 재활 분야에서 매우 중요하다. 심층 학습(deep learning)의 발전에도 불구하고, 레이블 데이터에 대한 의존성, 다중 센서 융합의 복잡성, 비지도 방법론의 시공간 의존성 포착 능력 한계 등 주요 과제가 여전히 남아 있다. 이러한 문제는 노이즈가 많은 데이터, 중첩 행동, 누락된 레이블이 존재하는 실제 환경에서 더욱 두드러진다. 우리는 메모리 증강 오토인코더를 활용한 완전 비지도 시공간 특징(feature) 융합 프레임워크를 제안한다. 이 프레임워크는 다중 센서 IMU 데이터의 짧은 시간 윈도우를 통해 행동 표현을 향상시켜 실시간 애플리케이션을 가능하게 한다. 우리의 프레임워크는 스택형 오토인코더(Stacked Autoencoder)를 통해 계층적 정적 특징을 추출하고, 센서 내부 및 센서 간에 이를 융합한다. 이어서 시퀀스-투-시퀀스(sequence-to-sequence) LSTM 오토인코더가 레이블 없이 과거 동작 패턴을 반영하여 이러한 특징을 시간적으로 정제한다. 우리는 짧은 윈도우 제약 조건 하에서 특징 분리성을 극대화하는 구성을 식별하기 위해 주요 하이퍼파라미터를 분석한다. 현실적인 클래스 간 윈도우 분할 방식을 적용하여 DaLiAc와 PAMAP2 데이터셋에서 평가한 결과, 우리의 방법은 각각 96.6%와 98.4%의 정확도를 달성하여 지도 학습 기준선과 비지도 접근법을 능가하였다. 우리의 방법은 더 짧은 시간 윈도우에도 불구하고 특징 분리성을 최대 9%까지 향상시킨다. 현실적인 클래스 간 분할 방식은 정확도를 약 7% 감소시키지만, 이는 실제 세계의 행동 전환과 실용적 적합성을 보다 잘 반영하기 위해 의도적으로 채택된 것이다.