arXiv:2606.12849v1 cs.DC

SemanticXR: 객체 수준 기기-클라우드 아키텍처 기반 저전력 실시간 쿼리형 시맨틱 맵핑

SemanticXR: Low Power and Real-time Queryable Semantic Mapping with an Object-Level Device-Cloud Architecture

Rahul Singh, Devdeep Ray, Connor Smith, Sarita Adve

제출 2026-06-11

한국어 초록

시맨틱 맵핑은 AI 어시스턴트 및 공간 객체 검색과 같은 새로운 확장 현실(XR) 애플리케이션에서 그라운딩된 상호작용을 가능하게 하는 핵심 서비스이다. 모바일 XR 기기에 이 기능을 배포하려면 오픈 보캐뷸러리(open-vocabulary), 실시간, 저전력 시스템이 필요하다. 기존 접근 방식은 연산 집약적이며 서버급 자원을 전제로 한다. 클라우드 오프로딩(cloud offloading)은 실용적인 경로를 제공하지만, 기존 시스템은 시맨틱 맵핑을 기기-클라우드 경계에서 분할하거나 통신, 실행, 메모리 푸트프린트를 관리하지 않는다. 우리는 XR 전력, 대역폭, 메모리 제약 하에서 실시간 오픈 보캐뷸러리 시맨틱 맵핑 및 쿼리를 위한 최초의 기기-클라우드 시스템인 SemanticXR를 제시한다. 핵심 통찰은 의미론적으로 식별 가능한 객체를 기기와 서버 간 통신, 실행, 메모리의 일급(first-class) 단위로 격상하는 것이다. 서버 측에서는 객체 수준 병렬성과 기하 다운샘플링이 맵핑 지연 시간을 개선하고, 객체 수준 깊이 맵핑 공동 설계가 업스트림 대역폭을 줄인다. 기기 측에서는 증분 업데이트와 업데이트 우선순위 지정이 포함된 객체 수준 희소 로컬 맵을 통해 제한된 메모리와 다운스트림 대역폭으로 네트워크 회복력 있는 쿼리가 가능하다. 객체 수준에서 구성 가능한 자원 사용량 대 품질 트레이드오프를 통해 애플리케이션과 시스템은 각각 애플리케이션 요구 사항과 운영 조건에 맞게 맵핑을 적응시킬 수 있다. 동일한 인식 모델을 사용하는 기기-클라우드 기준선과 비교할 때, 객체 수준 구성은 동일한 시맨틱 품질에서 서버 측 맵핑 지연 시간을 2.2배 개선한다. 깊이 맵핑 공동 설계는 업스트림 대역폭을 2.5 Mbps 미만으로 유지한다. 기기 측에서 SemanticXR는 네트워크 단절 시에도 최대 10,000개의 객체에 대해 100ms 미만의 쿼리 지연 시간을 유지하고, 500 MB 이내에 수만 개의 객체를 지원하며, 전체 장면 크기가 아닌 맵 변경에 따라 다운스트림 대역폭을 조정한다. 시스템은 정상 작동 중 기기 전력을 단 2%만 추가로 소모한다.

원문 초록

Semantic mapping is a core service that enables grounded interactions in emerging Extended Reality (XR) applications such as AI assistants and spatial object search. Deploying this capability on mobile XR devices requires a system that is open-vocabulary, real-time, and low-power. Existing approaches are compute-intensive and assume server-class resources. Cloud offloading offers a practical path, but no existing system splits semantic mapping across the device-cloud boundary or manages its communication, execution, and memory footprint. We present SemanticXR, the first device-cloud system for real-time, open-vocabulary semantic mapping and querying under XR power, bandwidth, and memory constraints. Our key insight is to elevate semantically identifiable objects to first-class units of communication, execution, and memory across the device and server. On the server, object-level parallelism and geometry downsampling improve mapping latency, while object-level depth-mapping co-design reduces upstream bandwidth. On the device, an object-level sparse local map with incremental updates and update prioritization enables network-robust querying with bounded memory and downstream bandwidth. Object-level configurable resource usage vs. quality trade-offs let applications and the system adapt mapping to application requirements and operating conditions, respectively. Against a device-cloud baseline with the same perception models, object-level organization improves server-side mapping latency by 2.2X at equal semantic quality. Depth-mapping co-design maintains upstream bandwidth under 2.5 Mbps. On the device, SemanticXR sustains sub-100 ms query latency for up to 10,000 objects even under network drops, supports tens of thousands of objects within 500 MB, and scales downstream bandwidth with map changes, not total scene size. The system adds only 2% device power during normal operation.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.12849v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.