PyTorchKR Papers

최신 논문

총 4편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.15891v1cs.CV

호흡 활동 및 자세 인식을 위한 JEPA 표현 기반 멀티모달 센서 융합 학습

Learning Multimodal Sensor Fusion with JEPA Representations for Breathing Activity and Pose Recognition

예측 비디오 표현 자체만으로는 결측 센서를 멀티모달 시스템이 어떻게 처리해야 하는지 명시하지 않습니다. 본 연구에서는 동결된 V-JEPA2 특징을 RGB 비디오, 깊이 비디오 및 레이더 시계열로 구성된 이종 센서 세트로 전이합니다. 공유 융합 모델은 모달리티 쿼리, 고정 센서 슬롯, 명시적 가용성을 사용하여 비어 있지 않은 7개의 모든 센서 하위 집합으로부터 호흡 활동 및 자세를 분류합니다. 본 연구의 기여는 5개 피험자 그룹 폴드와 3개의 시드를 갖춘 39명의 OMuSense-23 피험자를 대상으로 하위 집합 지도, 풀링(pooling) 용량 및 표현 전이에 대한 통제된 평가를 수행한 것입니다. 일치된 다운스트림 매개변수(parameter) 수에서 최종 모델은 7개 하위 집합에 걸쳐 평균 $75.23%\pm0.60$의 기록 수준 활동 매크로 F1에 도달합니다. 각 배치(batch)에서 모든 하위 집합을 지도하면 매칭된 쿼리 풀링 대조군 대비 1.923%p 향상(조건부 95% 피험자 부트스트랩 신뢰구간 [0.647, 3.209])되는 반면, 균형 잡힌 지도 하에서는 쿼리 풀링이 매칭된 평균 풀링에 비해 뚜렷한 이점을 보이지 않습니다. 레이더 프로브는 풀링된 웨이블릿 픽셀을 넘어서는 전이를 뒷받침하고, 64-토큰(token) 추론(inference)은 평균 활동 성능을 거의 유지하며, 테스트된 Consensus-JEPA 손실(loss)은 정확한 대조군 대비 측정 가능한 이점을 추가하지 못합니다.

arXiv:2609.27143v1cs.CV

고속도로 교통 모니터링을 위한 인프라 기반 레이더 시스템의 체계적 평가

A Systematic Evaluation of Infrastructure-Based Radar System for Highway Traffic Monitoring

인프라 기반 레이더 시스템은 교통 모니터링에 견고하고 장거리 솔루션을 제공하지만, 실제 환경에서의 탐지 및 추적 성능은 아직 충분히 평가되지 않았다. 본 연구는 텍사스주 포트워스의 고속도로 합류 구간에서 수집한 자연주행 차량 궤적의 이중 모달리티 데이터셋 DRaT(Drone and Radar Trajectories)를 제안하여, 드론으로 얻은 ground truth 대비 레이더 센싱 성능을 체계적으로 평가한다. 성능은 개별 차량 탐지, 궤적 추적, 거시적 교통 매개변수 추정의 세 수준에서 평가한다. 개별 차량 탐지에서 레이더는 전체 정밀도 78%, 재현율 57%를 달성하며, 교통 혼잡 조건과 장거리에서 성능이 저하된다. 궤적 수준에서는 레이더가 비교적 강한 추적 성능(IDF1 = 0.699)을 보이며, 궤적이 성공적으로 확립된 경우 안정적인 차량 ID를 유지한다. 거시적 교통 흐름 지표에서는 레이더가 공간 평균 속도를 정확히 추정(MAPE < 4%)하지만, 미탐지로 인해 밀도와 통행량을 약 23% 과소추정한다. 논문은 또한 도로변 레이더 센싱 시스템의 실용적 배치 고려사항과 잠재적 하류 응용을 논의한다. 인프라 기반 센싱 시스템에 대한 재현 가능한 연구를 지원하기 위해 DRaT 데이터셋을 Zenodo에 공개했다: https://zenodo.org/records/20171110.

arXiv:2607.22973v1cs.CV

mmSimPrior: 데이터 효율적이고 실세계에서 일반화 가능한 레이더 기반 인체 동작 재구성을 위한 시뮬레이션 사전 학습

mmSimPrior: Learning Simulation Priors for Data-Efficient Real-World Generalizable Radar-Based Human Motion Reconstruction

밀리미터파(mmWave) 레이더는 인체 동작 재구성을 위한 프라이버시 보존적이고 조명에 강건한 센싱을 제공하지만, 실제 배포 환경 전반에서 일반화되는 모델을 학습하려면 수집 비용이 높은 다양한 레이더-동작 페어 데이터가 필요하다. 시뮬레이션은 확장 가능한 감독(supervision)을 제공하지만, 깨끗한 합성 신호로 학습된 모델은 다중경로(multipath), 클러터(clutter), 응답 통계, 해상도 저하로 인해 전이(transfer) 성능이 낮다. 우리는 전이 가능한 지식을 신호, 동작, 레이더-동작 매핑 사전(prior)으로 분해하는 시뮬레이션 사전학습(pre-training) 프레임워크인 mmSimPrior를 제안한다. 다중모달 신호 인코더는 전파 및 획득 수준의 변화를 모사하는 물리 기반 도메인 랜덤화(domain randomization) 커리큘럼으로 사전학습되며, 결합-시간(joint-temporal) 토크나이저는 그럴듯한 인체 동작에 대한 이산 사전을 학습한다. 공유 매핑 사전은 제약된 제로샷 재구성을 위한 학습된 동작 코드북(codebook)에 대한 분류(classification)와, 유연한 소량 데이터 적응을 위한 연속 회귀(regression)를 지원한다. 또한 420만 프레임, 3.1만 시퀀스 규모의 데이터셋(dataset) 스위트를 구축하고, 적응(adaptation)과 테스트 간에 동일한 피험자-환경(environment)-위치-동작 구성의 완전한 반복을 배제하는 No-Overlap Setting을 도입한다. mmSimPrior-Real 및 RT-Pose에서의 실험은 일관된 향상을 보여준다. 실제 페어 시퀀스 24개만으로 mmSimPrior-Reg는 세 환경(environment) 전반에서 가장 강한 기준선(baseline) 대비 MPJPE를 24.7%에서 39.0%까지 감소시키며, mmSimPrior-Cls는 파인튜닝(fine-tuning) 없이 제로샷 MPJPE를 8.5% 감소시킨다.

arXiv:2607.08144v1cs.IT

벽 투과 레이더 인체 행동 인식을 위한 일반화 이론

Generalization Theory for Through-the-Wall Radar Human Activity Recognition

벽 투과 레이더(TWR) 기반 인체 행동 인식(HAR)에서 개인·관측 시점·벽 조건 변이로 발생하는 구조적 분포 이동(distribution shift)에 대한 이론적 일반화 경계를 도출하는 프레임워크를 제안한다. 실내 인체 운동학, 레이더 에코 생성, 유계 가중치 신경망을 통합한 소스-대-타겟 학습 공식화를 수립하고, 교차 개인·교차 시점·교차 벽 성분으로 분포 이동을 분해하여 물리적 저차원 표현과 다중 소스 학습의 경계 조임 효과를 시뮬레이션 및 실측 실험으로 검증한다.