PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.31144v1cs.RO

A Modular Vision-Language-Action Robotics Framework for Indoor Environments

CMU Vision-Language-Action(VLA) 챌린지를 위한 모듈형 로봇 프레임워크로, OwlViT 임베딩 기반의 의미론적 복셀 맵(semantic voxel map)을 실시간으로 구축하는 인식 파이프라인과 Gemini VLM을 활용한 자연어 명령 분류 파이프라인을 병렬로 운용한다. 시간 제한(500초) 내에 자율 탐색으로 부분 맵을 구성하고, 이를 기반으로 사용자 질의를 공간·의미 컨텍스트에 그라운딩하여 수치 응답, 객체 탐색, 경유지 기반 내비게이션 등 복합 실내 작업을 수행한다.

arXiv:2606.12849v1cs.DC

SemanticXR: 객체 수준 기기-클라우드 아키텍처 기반 저전력 실시간 쿼리형 시맨틱 맵핑

SemanticXR: Low Power and Real-time Queryable Semantic Mapping with an Object-Level Device-Cloud Architecture

시맨틱 맵핑은 AI 어시스턴트 및 공간 객체 검색과 같은 새로운 확장 현실(XR) 애플리케이션에서 그라운딩된 상호작용을 가능하게 하는 핵심 서비스이다. 모바일 XR 기기에 이 기능을 배포하려면 오픈 보캐뷸러리(open-vocabulary), 실시간, 저전력 시스템이 필요하다. 기존 접근 방식은 연산 집약적이며 서버급 자원을 전제로 한다. 클라우드 오프로딩(cloud offloading)은 실용적인 경로를 제공하지만, 기존 시스템은 시맨틱 맵핑을 기기-클라우드 경계에서 분할하거나 통신, 실행, 메모리 푸트프린트를 관리하지 않는다. 우리는 XR 전력, 대역폭, 메모리 제약 하에서 실시간 오픈 보캐뷸러리 시맨틱 맵핑 및 쿼리를 위한 최초의 기기-클라우드 시스템인 SemanticXR를 제시한다. 핵심 통찰은 의미론적으로 식별 가능한 객체를 기기와 서버 간 통신, 실행, 메모리의 일급(first-class) 단위로 격상하는 것이다. 서버 측에서는 객체 수준 병렬성과 기하 다운샘플링이 맵핑 지연 시간을 개선하고, 객체 수준 깊이 맵핑 공동 설계가 업스트림 대역폭을 줄인다. 기기 측에서는 증분 업데이트와 업데이트 우선순위 지정이 포함된 객체 수준 희소 로컬 맵을 통해 제한된 메모리와 다운스트림 대역폭으로 네트워크 회복력 있는 쿼리가 가능하다. 객체 수준에서 구성 가능한 자원 사용량 대 품질 트레이드오프를 통해 애플리케이션과 시스템은 각각 애플리케이션 요구 사항과 운영 조건에 맞게 맵핑을 적응시킬 수 있다. 동일한 인식 모델을 사용하는 기기-클라우드 기준선과 비교할 때, 객체 수준 구성은 동일한 시맨틱 품질에서 서버 측 맵핑 지연 시간을 2.2배 개선한다. 깊이 맵핑 공동 설계는 업스트림 대역폭을 2.5 Mbps 미만으로 유지한다. 기기 측에서 SemanticXR는 네트워크 단절 시에도 최대 10,000개의 객체에 대해 100ms 미만의 쿼리 지연 시간을 유지하고, 500 MB 이내에 수만 개의 객체를 지원하며, 전체 장면 크기가 아닌 맵 변경에 따라 다운스트림 대역폭을 조정한다. 시스템은 정상 작동 중 기기 전력을 단 2%만 추가로 소모한다.