HexVIO: 상용 DSP를 활용한 하루 종일 지속 가능한 스테레오-관성 트래킹을 향하여
HexVIO: Towards All-Day Stereo-Inertial Tracking Through Commodity DSPs
한국어 초록
기기가 주변 환경 내에서 스스로의 위치를 파악(localize)하는 능력은 공간 컴퓨팅(spatial computing)을 위한 필수적인 전제 조건입니다. 시각-관성 주행 거리 측정(VIO, Visual-inertial odometry)은 이 작업에 있어 비용 효율적이면서도 정확한 해결책임이 입증되었습니다. 효율적인 VIO 구현은 발열이 적고 더 가벼우며 저렴한 기기를 가능하게 하고 배터리 수명을 늘리며 사용자 경험을 향상시킬 수 있으므로 로봇, 웨어러블, XR 기기, 드론 등에서 큰 이점을 얻을 수 있습니다. 본 연구에서는 현대의 많은 스마트폰과 XR 기기에 탑재되어 있는 상용 코프로세서인 Hexagon DSP를 활용하여 VIO 시스템의 효율성을 향상시키는 방안을 제안합니다. 제안하는 접근법은 백엔드는 메인 CPU에 유지하면서 스테레오-관성 주행 거리 측정 시스템의 시각 프론트엔드를 DSP로 오프로드(offload)합니다. DSP 아키텍처에 맞게 구현을 최적화함으로써 CPU 단독 실행 대비 전력 소비와 지연 시간(latency)을 크게 줄였습니다. 본 연구의 시스템인 HexVIO는 상용 스마트폰에서 전력 소비를 67% 절감하거나 처리량(throughput)을 86% 증가시킬 수 있음을 입증하였으며, 0.83 W의 전력으로 실시간 30 fps 트래킹을 장시간 유지할 수 있어 테스트 기기 기준으로 약 18시간 동안 트래킹이 가능합니다. 이러한 결과는 로보틱스 및 모바일 기기에서 하루 종일 지속 가능한 시각-관성 트래킹을 구현하는 데 있어 상용 DSP의 잠재력을 잘 보여줍니다.
원문 초록
The ability of a device to localize itself within its surroundings is a fundamental prerequisite for spatial computing. Visual-inertial odometry (VIO) has proven to be a cost-effective and accurate solution for this task. Robots, wearables, XR devices, and drones can benefit significantly from efficient implementations of VIO since they allow for cooler, lighter, and cheaper devices with longer battery life and a better user experience. In this work, we propose to enhance the efficiency of a VIO system by leveraging the Hexagon DSP, a commodity co-processor present in many modern smartphones and XR devices. Our approach offloads the visual frontend of a stereo-inertial odometry system to the DSP while keeping the backend on the main CPU. By optimizing the implementation for the DSP architecture, we achieve significant reductions in power consumption and latency compared to CPU-only execution. Our system, HexVIO, demonstrates a 67% reduction in power consumption or an 86% increase in throughput on a commodity smartphone, with the ability to sustain long-term real-time 30 fps tracking for 0.83 W, corresponding to ~18 hours of tracking on the testing device. These results highlight the potential of commodity DSPs for enabling all-day visual-inertial tracking in robotics and mobile devices.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
KDFP: 대규모 언어 모델의 지식 증류를 위한 제1원리적 접근법
KDFP: A first-principles approach to knowledge distillation in large language models
지식 증류(knowledge distillation)는 더 크고 성능이 뛰어난 교사 모델의 표현(representation)을 활용해 작고 효율적인 학생 모델을 학습(training)시킴으로써 그 역량을 향상시키는 잘 정립된 기법입니다. 대규모 언어 모델(LLM) 증류에 관한 최근 연구의 상당수는 지시사항 준수(instruction following), 사고의 연쇄(Chain-of-Thought) 추론, 도구 사용 등 사후 학습(post-training) 과정에서 습득된 능력을 증류하는 데 집중되어 왔습니다. 이로 인해 엣지 기기 배포에 적합한 효율적이고 프라이버시가 보장되는 시스템을 개발하는 데 필수적인 LLM의 일반 지식 증류 연구에는 큰 공백이 남게 되었습니다. 본 연구에서는 이전 연구들의 교훈을 평가하고 새로운 탐색을 수행하는 제1원리적(first-principles) 접근법을 취하여 현대 LLM에 적합한 증류 방법론을 개발합니다. 본 논문에서는 LLM의 화이트박스 일반 지식 증류를 위한 새로운 방법론인 KDFP를 제시합니다. 실험을 통해 KDFP가 임시 매개변수(parameter) 감축을 통해 학습 효율성을 최대 99.1%까지 향상시키면서, 9개 벤치마크 전반에서 기존 기법들을 1.6% $-$ 4.9% 능가함을 입증합니다.
하드웨어 효율적인 대규모 언어 모델을 위한 자원 제약 조건 하의 이종 구조적 가지치기
Heterogeneous Structured Pruning Under Resource Constraints for Hardware-Efficient Large Language Models
학습이 필요 없는(training-free) 가지치기는 사전학습된 대규모 언어 모델(LLM)에서 가중치를 제거하여 배포 비용을 줄입니다. 그러나 기존 접근 방식들은 일반적으로 유지되는 가중치의 총 개수만을 고려합니다. 결과적으로 이러한 방식의 가지치기 결정은 대상 하드웨어가 해당 가중치를 어떻게 저장하고 처리하는지를 반영하지 못합니다. 또한 서브레이어 전반에서 각 구조가 가지치기 오차와 지연 시간 및 메모리 간의 트레이드오프를 어떻게 형성하는지 고려하지 않고, 희소성(sparsity) 구조를 사전에 선택하여 모든 프로젝션에 일률적으로 적용합니다. 본 논문에서는 두 가지 구성요소를 결합한 하드웨어 인식 가지치기 프레임워크인 이종 구조적 가지치기(HSP, Heterogeneous Structured Pruning)를 제안합니다: (i) 밀집(dense), 비구조적(unstructured), 2:4, 블록 희소(block-sparse), 헤드/채널(H/C) 가지치기 옵션으로 이루어진 이종 탐색 공간, (ii) 지연 시간 및 메모리 모델에 기반한 구조 정규화 제약 조건. 본 연구의 기여는 기존의 중요도 기반 방법들을 일반화한 것으로, 글로벌 솔버가 자원 예산 하에서 대리 가지치기 손실(proxy pruning loss)을 최소화하도록 서브레이어당 하나의 옵션을 선택함으로써 각 프로젝션에 구조와 밀도를 할당합니다. NVIDIA Jetson Orin Nano Super 엣지 디바이스를 대상으로 OPT 및 LLaMA 모델에서 HSP를 평가하였으며, 학습이 필요 없는 베이스라인 대비 품질-자원 프론티어를 개선함을 확인했습니다. 프로젝트 페이지 및 관련 코드의 업데이트된 링크는 cameronbarker.me/publications/hsp 에서 관리됩니다.
3D 모델링을 위한 측지선 그로모프-바서슈타인 거리의 활용
Unlocking Geodesic Gromov-Wasserstein Distances for 3D Modeling
그로모프-바서슈타인 거리(Gromov-Wasserstein Distances, GWD)는 최적 수송(optimal transport) 이론의 기법을 적용하여 서로 다른 거리 공간(metric space)에 정의된 확률 분포를 비교하는 정량적 방법을 제공합니다. 이에 따라 GWD는 그래프 매칭 문제부터 3D 객체 검출(object detection)에 이르기까지 매우 다양한 응용 분야에서 잠재적으로 유용할 수 있습니다. 그러나 대규모 환경에서의 실제 사용은 조밀한 공간 내 거리 행렬을 포함하는 삼차 시간 복잡도(cubic time complexity) 연산으로 인해 크게 제한됩니다. 유클리드 거리 공간에서는 이를 해결하기 위해 확장 가능한 커널(kernel) 방법 등을 포함한 여러 기법이 제안되었으나, 우리가 아는 한 다양체(manifold) 상의 일반적인 측지선 거리(geodesic distance)나 이산화된 형태의 그래프 상 최단 경로 거리에 대한 유사한 기법은 개발되지 않았습니다. 본 논문에서는 최근 도입된 GenusSink 기법과 랜덤 피처(random feature) 이론을 활용하여 엔트로피 싱크혼(Sinkhorn) 유사 접근법으로 측지선 그로모프-바서슈타인 거리를 계산하도록 설계된 새로운 효율적 알고리즘 군인 EGGroW(Efficient Geodesic Gromov-Wasserstein methods)를 제시합니다. 우리는 중요한 다운스트림 응용 분야로서 3D 자세 추정(pose estimation)과 3D 템플릿 검출을 제시합니다. 후자의 설정에서는 부분적인 3D 템플릿 복원을 단계별 문제로 정식화하여, 용량 제한적 장면 선택 후 템플릿 가시성 및 대응 관계의 준이완(semi-relaxed) 복원이 이어지도록 합니다. 실증적 결과는 표준 유클리드 기반 기법이 실패하는 경우에도 EGGroW가 정확한 해를 제공하며, 이론적 분석이 예측하듯이 가벼운 계산량 발자국(computational footprint)을 특징으로 함을 보여줍니다.
온보드 데이터 감축을 위한 임베디드 양방향 시계열 건물 피해 평가
Embedded Bi-Temporal Building Damage Assessment for On-Board Data Reduction
자연재해 발생 후 신속한 건물 피해 평가는 비상 대응을 지원하는 데 필수적입니다. 지구 관측(Earth Observation) 위성은 재해 직후 관련 영상을 획득할 수 있으나, 업링크 및 다운링크 용량과 지상 처리 지연 시간으로 인해 활용에 한계가 있습니다. 본 연구에서는 지상/우주 링크의 양단에서 정보를 압축하도록 설계된, YOLOX 기반의 샴 탐지기(siamese detector)로 구축된 양방향 시계열(bi-temporal) 건물 피해 평가 파이프라인을 통해 이 문제를 해결합니다. 지상에서는 재해 전 참조 이미지를 최대 64배까지 압축된 컴팩트한 잠재 공간(latent space)으로 인코딩하여 위성으로 업링크합니다. 온보드(on-board) 환경에서는 이 참조 이미지를 새로 획득한 재해 후 영상과 비교하여 다운링크가 전체 장면 대신 실행 가능한 객체 수준 결과물인 바운딩 박스와 피해 클래스만을 전송하도록 합니다. 이를 통해 양방향으로 교환되는 데이터가 절감되며, xBD 데이터셋에서 강력하게 압축된 참조 이미지를 사용하더라도 대부분의 탐지 성능을 유지합니다. 또한 온보드 획득 영상은 재해 전/후 간 잔차 동시 정합(co-registration) 오류가 발생하기 쉬우므로, 거친 특징 수준에서 전역 오프셋을 회귀하고 융합 전에 재해 후 특징을 재정렬하는 잠재 공간 이동 추정 및 보정 모듈을 도입합니다. 이 모듈은 특히 융합 전용 변형 모델들이 붕괴하는 큰 이동 상황에서 비정합에 대한 강건성을 크게 향상시키는 동시에 공칭 정확도를 높이고 가장 강력한 압축과도 호환성을 유지합니다. 마지막으로 이 파이프라인을 두 가지 임베디드 타깃인 Xilinx Versal VCK190과 NVIDIA Jetson AGX Orin에 포팅하고 하드웨어 성능(지연 시간, 처리량, 전력 효율성)을 보고합니다. 핵심 탐지기 및 압축 모듈은 두 타깃 모두에 깔끔하게 포팅되지만, 장거리 강건성에 필요한 연산자는 Jetson GPU에서만 실행 가능하며 Versal DPU에서는 지원되지 않습니다.
GeoScaffold: 효율적인 비전-언어 내비게이션을 위해 재구성을 통한 컴팩트 기하학적 잠재 표현 학습
GeoScaffold: Learning Compact Geometric Latents via Reconstruction for Efficient Vision-Language Navigation
최근 비전-언어 내비게이션(VLN) 시스템은 1인칭 시점 RGB 관측값과 지시문을 저수준 행동으로 직접 매핑하는 스트리밍 Video-LLM 정책을 점점 더 많이 채택하고 있습니다. 그러나 이러한 정책들은 2D 사전학습(pre-training)으로부터 취약한 3D 기하학적 사전 지식(prior)을 물려받습니다. 기존의 기하학 인지형 확장 기법들은 깊이(depth) 센서, 3D 인코더, 스텝별 인식 도구 호출 등 지속적인 추론(inference) 시간 비용을 초래합니다. 본 논문에서는 기하학적 정보를 정책 자체에 내재화함으로써 이러한 비용을 학습(training) 시점에 단 한 번만 치르는 기하학적 지도 프레임워크인 GeoScaffold를 제안합니다. GeoScaffold는 먼저 학습 궤적의 깊이 맵에서 컴팩트한 깊이 토크나이저를 학습한 뒤 이를 동결합니다. 그런 다음 소수의 학습 가능한 기하학 쿼리 토큰으로 정책을 파인튜닝(fine-tuning)하며, 해당 은닉 상태가 깊이, 연결성, 주행 가능성(traversability)과 같이 내비게이션에 중요한 기하학적 정보를 재구성하도록 학습시킵니다. 이러한 지도 학습은 쿼리 상태를 행동 디코딩을 위한 컴팩트한 기하학적 잠재 표현으로 변환하며, 공유 가중치를 통해 백본 자체의 표현에도 기하학적 정보를 내재화합니다. 비계(scaffold)처럼 토크나이저, 타깃 생성기, 재구성 헤드는 학습 후 폐기되어 백본과 행동 인터페이스를 그대로 유지합니다. 광범위한 실험을 통해 GeoScaffold가 연속적인 VLN 벤치마크(benchmark)에서 주요 비전 전용 내비게이터들을 지속적으로 능가함을 보였으며, 공간을 인지하는 임바디드(embodied) 내비게이션 모델의 경량 엣지 배포(edge deployment)를 위한 실용적인 패러다임을 제공합니다.
PocketSplat: 월드 공간 잠재 할당을 통한 모바일 가우시안 재구성
PocketSplat: Mobile Gaussian Reconstruction via World-Space Latent Allocatio
모바일 가우시안 재구성(Gaussian reconstruction)은 두 가지 요구사항을 만족해야 합니다. 재구성 모델(model)이 기기의 자원 제약 범위 내에서 실행되어야 하며, 생성된 가우시안 에셋이 다운스트림 모바일 활용에 적합한 표현 크기를 가져야 한다는 점입니다. 기존의 피드포워드(feed-forward) 가우시안 재구성 기법들은 흔히 입력 해상도와 뷰(view) 수에 의해 최종 개수가 암묵적으로 결정되는 조밀한 이미지 정렬 후보군을 디코딩합니다. 본 논문에서는 정해진 예산 내에서 모바일 가우시안 에셋을 구축하기 위한 피드포워드 프레임워크인 PocketSplat을 제안합니다. 정해진 출력 예산이 주어지면, PocketSplat은 예측된 월드 공간(world space)에서 기하학을 인식하는 조밀한 잠재 후보들을 구성하고, 국소 잠재 셀 전반에 정확한 정수 용량을 할당하며, 유지된 후보에 대해서만 완전한 가우시안 속성을 디코딩합니다. 셀 조건부 잠재 융합(cell-conditioned latent fusion)은 디코딩 전에 반복되는 다중 뷰 증거를 집약하고, 공간적 책임 디코딩(spatial responsibility decoding)은 국소 희소화(sparsification) 이후 가우시안 지지 영역(support)을 적응시킵니다. DL3DV 및 분포 외(OOD) 벤치마크 실험을 통해 피드포워드 가우시안 재구성 베이스라인 대비 강력한 품질-예산 간의 트레이드오프를 입증했습니다. Mip-NeRF 360에서 PocketSplat은 타깃 iPhone에서 직접 실행되어 배포 가능한 스트리밍 MVSplat 변형 모델보다 훨씬 빠르게 컴팩트하면서도 더 높은 품질의 가우시안 에셋을 구축합니다. 반면 네이티브 MVSplat 및 DepthSplat은 기기 메모리 예산을 초과합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.