밀리미터파(mmWave) 레이더를 이용한 비접촉식 심박수 센싱은 개별 측정값이 신뢰할 수 있는 추정을 뒷받침하는지 평가하는 과정이 필요합니다. 본 연구에서는 선택적 심박수 추정을 위해 획득된 위상 스펙트럼에서 심박 성분의 판독 용이성으로 정의되는 심박 관측 가능성(heartbeat observability) 평가의 학습을 다룹니다. 거시적 관측 기하 구조가 유사하더라도 산란체 반사파의 간섭성 중첩(coherent superposition)으로 인해 이 성분이 억제될 수 있으므로, 획득된 측정값으로부터 직접 평가해야 할 필요성이 발생합니다. 다양한 관측 가능성 조건 전반에서 학습 지도(supervision)를 얻기 위해 제어 가능한 다중 산란체 주파수 변조 연속파(FMCW) 시뮬레이터를 개발했습니다. 지배적인 심박 대역 피크와 알려진 심박수 사이의 일치 여부는 시뮬레이션된 각 측정값에 대한 자동 관측 가능성 라벨을 제공합니다. 저자들은 관측 가능성 점수와 심박수를 함께 예측하는 소형 듀얼 태스크 트랜스포머인 HEAR(Heartbeat Estimation with Assessed Reliability)를 제안합니다. HEAR의 입력은 스펙트럼 크기와 호흡 기본 주파수 대비 상대 주파수를 결합하여 호흡 고조파(respiratory harmonics)에 대한 맥락을 제공합니다. 시뮬레이션 관측값만으로 학습된 HEAR는 134명의 피험자로부터 60 및 120 GHz에서 수집된 두 개의 공개 실제 데이터셋에 제로샷(zero-shot)으로 전이됩니다. 학습된 동일한 점수는 HEAR 자체의 심박수 헤드뿐만 아니라 기존의 여러 추정기에서도 선택적 예측을 지원합니다. 120 GHz 데이터셋에서 점수 기반 선택을 적용하면 전체 커버리지에서의 17.9 BPM에서 50% 커버리지 기준 1.6 BPM으로 심박수 헤드의 평균 절대 오차(MAE)가 감소합니다. 전체 파이프라인은 엣지 디바이스에서 50.8 ms의 종단간(end-to-end) 처리 지연 시간을 달성합니다. 프로젝트 페이지: https://yuxuanhu9.github.io/HEAR/
견고하고 프라이버시를 보존하는 실내 장면 이해는 여전히 근본적인 미해결 문제입니다. RGB 및 LiDAR와 같은 광학 센서는 높은 공간적 충실도를 제공하지만, 심각한 가림에 취약하고 실내 환경에서 프라이버시 위험을 초래합니다. 대조적으로, 밀리미터파(mmWave) 레이더는 프라이버시를 보존하고 장애물을 투과하지만, 본질적으로 낮은 공간 해상도로 인해 신뢰할 수 있는 기하 추론이 어렵습니다. 우리는 단일 정적 레이더 기반 실내 장면 이해를 위한 최초의 벤치마크 및 시스템인 RISE를 제안하며, 레이아웃 재구성과 객체 검출을 공동으로 목표로 합니다. RISE는 다중 경로 반사—전통적으로 노이즈로 취급되던—가 풍부한 기하학적 단서를 인코딩한다는 핵심 통찰에 기반합니다. 이를 활용하기 위해, 우리는 도착각(Angle-of-Arrival)과 출발각(Angle-of-Departure)을 명시적으로 모델링하여 2차(ghost) 반사를 복원하고 보이지 않는 구조를 드러내는 Bi-Angular Multipath Enhancement를 제안합니다. 이러한 향상된 관측 위에, 시뮬레이션-현실 Hierarchical Diffusion 프레임워크가 단편적인 레이더 응답을 완전한 레이아웃 재구성 및 객체 검출로 변환합니다. 우리 벤치마크는 100개의 실제 실내 궤적에서 수집된 50,000프레임을 포함하며, 단일 정적 레이더 기반 실내 장면 이해에 전용된 최초의 대규모 데이터셋을 구성합니다. 광범위한 실험 결과 RISE는 mmWave 레이아웃 재구성에서 최신 기술(state of the art) 대비 Chamfer Distance를 60% 감소(16 cm까지)시켰으며, 최초의 mmWave 기반 객체 검출을 달성하여 58% IoU를 기록했습니다. 이러한 결과는 단일 정적 레이더를 사용한 기하 인식 및 프라이버시 보존 실내 장면 이해를 위한 RISE를 새로운 기반으로 확립합니다. 웹사이트와 코드는 https://rise-cvpr.github.io 에서 이용할 수 있습니다.
작업 관련 근골격계 질환(WMSDs)은 지속적인 인간공학적 평가를 필요로 한다. 신속 전신 평가(REBA)는 표준 관찰 도구이지만, 수동 모니터링은 노동 집약적이며 비전 기반 자동화는 프라이버시 문제를 야기한다. 본 논문은 밀리미터파(mmWave) 레이더를 활용한 프라이버시 보존 인간공학적 평가를 위한 새로운 종단간(end-to-end) 멀티태스크 학습 프레임워크를 제안한다. 시공간 백본(spatio-temporal backbone)이 3D 인체 골격을 재구성하며, 이는 후속 회귀 헤드(regression head)가 REBA 위험 점수를 생성하기 위한 생체역학적 기반으로 활용된다. 레이더 포인트 클라우드의 희소성을 극복하기 위해, 생체역학적 한계와 시간적 평활도 제약을 통합한 다중 목적 손실 함수를 활용한다. 또한, 기존 데이터셋의 고위험 자세 불균형 문제를 해결하기 위해 오버샘플링 전략을 구현한다. MMFi 데이터셋에 대한 실험 결과, 본 프레임워크는 분류 정확도(Categorical Accuracy) 77.78%와 추론 지연 시간 5.70 ms의 실시간 성능을 달성함을 보였다. 본 방법은 고위험 REBA MAE 0.93을 달성하며, 고위험 시나리오에서 직접 회귀(direct regression) 및 2단계 파이프라인 모두를 크게 능가함으로써, 비침습적 산업 인간공학 평가를 위한 강건한 솔루션을 제공한다.