기기가 주변 환경 내에서 스스로의 위치를 파악(localize)하는 능력은 공간 컴퓨팅(spatial computing)을 위한 필수적인 전제 조건입니다. 시각-관성 주행 거리 측정(VIO, Visual-inertial odometry)은 이 작업에 있어 비용 효율적이면서도 정확한 해결책임이 입증되었습니다. 효율적인 VIO 구현은 발열이 적고 더 가벼우며 저렴한 기기를 가능하게 하고 배터리 수명을 늘리며 사용자 경험을 향상시킬 수 있으므로 로봇, 웨어러블, XR 기기, 드론 등에서 큰 이점을 얻을 수 있습니다. 본 연구에서는 현대의 많은 스마트폰과 XR 기기에 탑재되어 있는 상용 코프로세서인 Hexagon DSP를 활용하여 VIO 시스템의 효율성을 향상시키는 방안을 제안합니다. 제안하는 접근법은 백엔드는 메인 CPU에 유지하면서 스테레오-관성 주행 거리 측정 시스템의 시각 프론트엔드를 DSP로 오프로드(offload)합니다. DSP 아키텍처에 맞게 구현을 최적화함으로써 CPU 단독 실행 대비 전력 소비와 지연 시간(latency)을 크게 줄였습니다. 본 연구의 시스템인 HexVIO는 상용 스마트폰에서 전력 소비를 67% 절감하거나 처리량(throughput)을 86% 증가시킬 수 있음을 입증하였으며, 0.83 W의 전력으로 실시간 30 fps 트래킹을 장시간 유지할 수 있어 테스트 기기 기준으로 약 18시간 동안 트래킹이 가능합니다. 이러한 결과는 로보틱스 및 모바일 기기에서 하루 종일 지속 가능한 시각-관성 트래킹을 구현하는 데 있어 상용 DSP의 잠재력을 잘 보여줍니다.
자율주행 환경에서 배포 비용, 검출 정확도, 오픈셋 적응성을 동시에 충족하기 위해 이중 디코더 구조의 스테레오 트랜스포머인 DDStereo를 제안하며, 스테레오 시차(disparity) 특징을 활용해 3D 객체 검출과 분포 외(Out-of-Distribution) 도로 이상 검출을 단일 파이프라인에서 24ms 실시간 추론으로 통합한다. 공유 객체 쿼리 메커니즘으로 복잡한 특징 수준 융합 없이 크로스 태스크 정렬을 유지하며, AR-OoD 및 KITTI 벤치마크에서 오픈셋·클로즈드셋 프로토콜 모두 최고 수준의 정확도를 달성했다.
비디오 코덱으로 압축된 영상에서 발생하는 시각적 아티팩트가 기존 비주얼 오도메트리(VO) 시스템의 추적 성능을 저하시키는 문제를 해결하기 위해, H.264 등 코덱의 모션 벡터 정보를 KLT 추적의 초기값으로 활용하는 인과적 스테레오 VO 방법 VOCA를 제안한다. VOCA는 EuRoC, TUM-VI, Monado SLAM Dataset에서 약 100배 압축된 스트림에 대해 상대 및 절대 궤적 오차 기준 최첨단 성능을 달성한다.
배경 및 목적: 노인의 낙상은 심각한 부상을 유발하고 삶의 질을 저하시킬 수 있다. 해를 예방하고 웰빙을 지원하기 위해 적시의 예측과 탐지가 필수적이다. 본 연구에서는 AMD Kria K26 SOM(System-on-Module)에서 HPE(인체 자세 추정)를 활용한 휴대 가능하고 저전력이며 배터리 구동식 스테레오 비전 기반 낙상 예측 및 탐지 시스템을 제안한다. 목표는 실시간 낙상 탐지를 위한 비침습적이고 프라이버시를 보호하는 시스템을 구축하는 것이다.
방법: 시스템은 USB를 통해 K26 SOM에 연결된 Intel RealSense D455 거리 센싱 카메라를 사용한다. 60 FPS로 동기화된 RGB(640 x 480 x 3) 및 깊이 프레임(640 x 480 픽셀)을 캡처한다. SOM은 양자화된 YOLOX, Anchor-to-Joint(A2J), 낙상 탐지 모델로 구성된 3단계 파이프라인을 실행한다. YOLOX는 RGB 프레임에서 사람 경계 상자(bounding box)를 식별한 후 프라이버시 보호를 위해 RGB 프레임을 폐기한다. A2J는 깊이 프레임을 사용하여 사람당 15개의 관절 키포인트를 추정한다. CNN은 선택된 관절 좌표(x, y, z)를 사용하여 낙상 활동을 분류한다. YOLOX는 CrowdHuman에서, A2J는 ITOP, MP-3DHP, UR Fall Detection 및 사용자 정의 SDSU PSG 데이터셋에서, CNN은 UR Fall Detection과 SDSU PSG에서 학습되었다. 설계에는 단일 코어 DPU를 사용한 직렬 파이프라인과 YOLOX와 A2J를 다중 스레드로 실행하는 듀얼 코어 DPU를 사용했다.
결과: 양자화 정확도는 YOLOX에 대해 IoU >= 50%, A2J에 대해 10cm 규칙을 적용한 mAP, CNN에 대해 분류 정확도((TP + TN)/(TP + TN + FP + FN))로 평가하였다. 정확도는 각각 74%, 84.13%, 75.85%였다. 처리량은 단일 스레드 파이프라인의 2.5 FPS에서 다중 스레드 버전의 4.5 FPS로 향상되었다.
결론: 결과는 AMD Kria K26 엣지 디바이스에서 프라이버시 보호 낙상 탐지의 실현 가능성을 보여준다. 온디바이스 HPE 및 낙상 분류는 클라우드 의존 없이 실행되어 노인 모니터링 및 보조 의료를 지원한다. 향후 연구에서는 모델 정확도와 속도를 개선할 것이다.