arXiv:2606.25162v1 cs.RO

fARfetch: 비전-언어 모델 기반 AR 콘텐츠 적응을 통한 대규모 시각적 다양성 환경에서의 동일 공간 AR 인간-로봇 협업 지원

fARfetch: Enabling Collocated AR-HRC in Large Visually Diverse Environments with VLM-Driven AR Content Adaptation

Christian Fronk, Hanting Ye, David Hunt, Miroslav Pajic, Maria Gorlatova

제출 2026-06-23

한국어 초록

증강현실(AR)은 로봇의 상태와 의도를 가시화하고 직관적인 제어를 가능하게 함으로써 동일 공간 내 인간-로봇 협업을 향상시킬 수 있지만, 야외와 같이 규모가 크고 시각적으로 다양한 환경은 특히 장거리 및 시각적 가시선 밖에서 상호작용과 콘텐츠 가독성 모두에 어려움을 초래한다. 우리는 fARfetch를 제안한다. 이는 AR 인간-로봇 협업(AR-HRC) 시스템으로, (i) 랜드마크 기반 이동 명령을 지원하기 위해 탐지된 랜드마크를 AR로 시각화하는 AR 헤드셋과 로봇 간 공유 의미론적 환경 매핑, (ii) 세밀한 경로 저작을 위한 공유 환경의 문맥 인식 미니어처 세계(world-in-miniature) 표현, (iii) 대규모 시각적 다양성 환경에서 가독성을 유지하기 위해 가상 콘텐츠의 색상, 크기, 방향을 함께 적응시키는 비전-언어 모델(VLM) 기반 AR 뷰 관리를 통합한다. 우리는 Meta Quest 3 헤드셋과 Unitree Go2 사족보행 로봇으로 fARfetch를 구현하고, 실제 대규모(30.5m) 야외 점검 작업에서 피험자 내 사용자 연구(N=13)를 수행하였다. fARfetch는 AR을 사용하지 않는 기준선 대비 작업 완료 시간이 유의미하게 빨랐으며(66%), 정신적 요구(-43%), 시간적 요구(-34%), 좌절감(-66%)에서 유의미하게 낮은 작업 부하를 보였다. 맞춤형 가독성 설문 결과, fARfetch가 대규모 야외 환경에서 가상 콘텐츠의 가독성을 효과적으로 유지함을 확인하였다.

원문 초록

Augmented Reality (AR) can improve collocated human-robot collaboration by making robot state and intent visible and enabling intuitive control, yet large, visually diverse environments like the outdoors challenge both interaction and content legibility, especially at long distances and beyond visual line of sight. We present fARfetch, an AR-HRC system that integrates (i) shared semantic environment mapping across an AR headset and robot that visualizes detected landmarks in AR to support landmark-grounded go-to commands, (ii) a context-aware world-in-miniature representation of the shared environment for fine-grained path authoring, and (iii) vision-language-model driven AR view management that jointly adapts virtual content color, size, and orientation to maintain legibility in large visually diverse environments. We implement fARfetch with a Meta Quest 3 headset and Unitree Go2 quadruped robot, and conduct a within-subjects user study (N=13) on a real-world large-scale (30.5m) outdoor inspection task. fARfetch yielded significantly faster completion times than a non-AR baseline (66%) and significantly lower workload in mental demand (-43%), temporal demand (-34%), and frustration (-66%). A custom legibility survey indicated fARfetch effectively maintained virtual content legibility in the large outdoor environment.

요약

fARfetch는 AR 헤드셋과 로봇 간 공유 의미론적 환경 매핑, 문맥 인식 미니어처 세계(WIM) 기반 경로 저작, 비전-언어 모델(VLM) 기반 가상 콘텐츠 적응을 통합하여 대규모 야외 환경에서의 인간-로봇 협업(AR-HRC)을 지원하는 시스템이다. Meta Quest 3와 Unitree Go2로 구현된 실사용자 연구(N=13, 30.5m 야외)에서 비AR 기준선 대비 작업 완료 시간을 66% 단축하고 정신적 부하, 시간 압박, 좌절감을 각각 43%, 34%, 66% 감소시켰다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.25162v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.13790v1cs.CV공통 태그 Scene Understanding, Visual Question Answering

OccludeBench: VLM은 누락된 대상을 찾아낼 수 있는가?

OccludeBench: Can VLMs Find What's Missing?

비전-언어 모델(VLM)은 이미지에서 누락된 대상을 얼마나 잘 추론할 수 있을까? 본 연구에서는 남아 있는 시각적 증거로부터 완전히 가려진(occluded) 객체를 복원하기 위해 수작업으로 큐레이션된 벤치마크인 OccludeBench를 통해 이 질문을 살펴본다. OccludeBench는 그림자나 반사와 같은 특정한 물리적 단서로부터 숨겨진 객체를 복원해야 하는 직접적(direct) 사례와, 더 넓은 장면 문맥으로부터 추론할 수 있는 추론적(inferential) 사례를 구분한다. 5개 VLM을 대상으로 평가한 결과, 정확도는 직접적 사례에서 평균 42.7%, 추론적 사례에서 62.7%를 기록하여 20.0%p의 격차를 보였다. 반면 인간은 직접적 이미지와 추론적 이미지에서 각각 63.4%와 68.5%의 더 높은 정확도를 달성하며 유의미한 격차를 보이지 않았다. 이러한 실패 원인을 규명하기 위해, 시각적 추론 과정이 어디에서 무너지는지 분리해 내는 4단계 진단 기법인 OccludeTrace를 도입한다. 병목 현상은 모델이 전체 이미지 내의 투영(projection)으로부터 관련 객체를 복원해야 할 때 발생하는데, 실패한 예시 중에서는 50%만 성공한 반면 정답을 맞힌 예시 중에서는 91%에서 성공했다. 확장된 추론, 도구 사용, 퓨샷(few-shot) 프롬프팅은 일관되지 않은 개선을 보였으며 이러한 격차를 안정적으로 없애지 못했다. 반면, 모델이 숨겨진 후보 객체를 먼저 생성한 후 가시적인 물리적 단서와 대조하여 해당 가설을 평가하도록 유도하는 인페인트 후 대조(inpaint-then-confront) 개입은 이미지 생성 능력을 갖춘 두 모델 모두에서 해당 격차를 통계적으로 유의미하지 않은 수준으로 줄였다. 종합적으로, 본 결과는 VLM이 이미지에서 누락된 시각적 콘텐츠를 어떻게 추론하는지 분리해 파악할 수 있는 다루기 쉽고 제어된 진단 체계를 확립한다.

arXiv:2610.00330v2cs.RO공통 태그 Object Detection, Scene Understanding

장기 객체 탐색을 위한 회고적 개방형 어휘 메모리

Retrospective Open-Vocabulary Memory for Long-Term Object Search

장기 객체 탐색(long-term object search)은 변화하는 환경을 반복적이지만 불균일하게 관측하면서 객체가 주로 어디에 나타나는지 학습해야 합니다. 본 논문에서는 회고적 개방형 어휘 메모리(retrospective open-vocabulary memory)를 중도 절단된 관측값(censored observations)으로부터의 확률적 추론(probabilistic inference) 문제로 정의하며, 핵심 아이디어는 기회당 증거(evidence per opportunity)를 바탕으로 추론하는 것입니다. 즉, 탐지 여부는 로봇이 해당 위치를 관측할 기회에 비례해서만 신념(belief)에 영향을 주어야 합니다. 본 연구에서는 이 원리를 활용하여 질의 시점에만 지정되는 개념에 대한 장기 유병률(long-term prevalence)을 추정하고, 도출된 신념을 능동적 탐색 사전 확률(active-search prior)로 직접 변환하는 ECROM을 제안합니다. 이 문제를 평가하기 위해 반복적인 탐색 경로 전반에 걸쳐 객체 배치와 관측 기회를 독립적으로 변화시키는 10개 HM3D 주택 환경 기반의 통제된 장기 벤치마크(benchmark)를 도입합니다. ECROM은 보류된(held-out) 질의에 대해 각 지표별 가장 강력한 경쟁 메모리 대비 지지 수준 AP(support-level AP)를 4.5점, 탐색 SPL을 4.2점 향상시킵니다. 벤치마크, 데이터셋, 코드는 오픈소스로 공개될 예정입니다. 프로젝트 페이지: https://jiaming.im/ecrom/

arXiv:2610.03015v1cs.CV공통 태그 Object Detection, Scene Understanding

OmniAct3D: 파노라마 3D 검출을 위한 기초 기하학 및 증거 기반 그라운딩 추론 활용

OmniAct3D: Leveraging Foundation Geometry and Evidence-Grounded Reasoning for Panoramic 3D Detection

정확한 3D 검출은 이동형 체화 에이전트(embodied agent)에게 필수적이며, 비전 파운데이션 모델(VFM)은 전이 가능한 시각적 및 기하학적 사전 지식(prior)을 제공합니다. 그러나 기존의 VFM 기반 3D 검출기는 좁은 시야의 단안 영상이나 불연속적인 원근 뷰에 의존하므로 일관된 전방위 인식이 제한됩니다. 반면 정거원통도법(ERP)은 단일 이미지에 연속적인 360도 장면을 인코딩합니다. 하지만 ERP는 기하학 및 시각 정보를 다르게 구성하여 객체 관련 단서를 모델링, 위치 파악 및 보존하기 어렵게 만들기 때문에 직접적인 전이는 여전히 어렵습니다. 본 논문에서는 전이 가능한 VFM 사전 지식을 보존하면서 원근 뷰로 학습된 VFM 검출기를 ERP에 적응시키는 프레임워크인 OmniAct3D를 제안합니다. 기하학적 불일치를 해결하기 위해 ERP-Ray 기하 어댑터(ERGA-Ray)는 구면 시선(viewing ray)과 주기적 공간 구조를 모델링합니다. 전체 장면 맥락에서 증거를 국소화하기 위해 시각-행동 추론 체인(VARC)은 각 가설을 관련 파노라마 증거에 그라운딩(grounding)하고 이를 구조화된 기하학적 행동으로 변환합니다. 고정된 토큰(token) 예산 하에서 손실된 국소 단서를 복구하기 위해 외형 유도 방위 전문가(AGHE)는 방위각 추정을 위해 객체 영역을 더 높은 해상도로 재인코딩합니다. 실험 결과, OmniAct3D는 Spheriverse에서 이전 최고 3D 검출기 대비 2.96 NDS 포인트, PanoMMOcc에서 적응되지 않은 VFM 기준선(baseline) 대비 24.87 mAP 포인트 향상된 성능을 보였습니다. 타깃별 기하 적응을 통해 VARC는 동일 구성 mAP의 95~98%를 유지하여 센싱 구성 전반에서 재사용 가능한 객체 수준 3D 추론 능력을 보여줍니다. 소스 코드는 https://github.com/FeiT-FeiTeng/OmniAct3D 에서 공개될 예정입니다.

arXiv:2609.24031v2cs.CV공통 태그 Object Detection, Scene Understanding

Video-STLayout 사전학습

Video-STLayout Pre-training

최근 몇 년간 사전학습(pre-training)은 효과적인 비디오 표현을 학습하는 데 핵심적인 요소로 자리 잡았으며, 이를 통해 다운스트림 과제로의 강력한 전이가 가능해졌다. 사전학습에서 널리 쓰이는 프레임워크는 비디오 인코더의 특징을 언어나 오디오와 같은 다른 모달리티의 특징과 정렬하는 방식이다. 우리는 객체 바운딩 박스의 시공간적 레이아웃(spatio-temporal layout) 정보를 활용하여 풍부한 비디오 표현을 얻기 위한 새로운 전략인 Video-STLayout 사전학습을 제안한다. 객체 레이아웃은 비디오 프레임에 기성(off-the-shelf) 객체 검출기를 적용하여 손쉽게 얻을 수 있다. 우리의 방법은 대조 손실(contrastive loss)을 사용하여 비디오 특징을 학습된 레이아웃 인코더의 레이아웃 특징과 정렬한다. 우리는 복잡한 장면에서의 행동 인식(activity recognition) 과제를 통해 본 접근법의 효과를 입증한다.

arXiv:2610.00677v1cs.CV공통 태그 Scene Understanding, augmented reality

증강현실에서의 지각 품질 평가 및 자율 콘텐츠 조정을 위한 비전-언어 모델 활용

Harnessing Vision-Language Models for Perceptual Quality Assessment and Autonomous Content Adjustment in Augmented Reality

증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.

arXiv:2609.27076v1cs.CV공통 태그 Object Detection, Scene Understanding

Pro-Bench: 실세계 이종 환경 전반의 프롬프트 강건 오픈어휘 시각적 그라운딩

Pro-Bench: Prompt-Robust Open-Vocabulary Visual Grounding Across Real-World Heterogeneous Environments

오픈어휘 시각적 그라운딩(visual grounding)은 사전 정의된 지각 분류체계(taxonomy)에 의존하지 않고 자연어 쿼리로부터 과제 관련 개체의 위치를 특정함으로써 로봇이 작업할 수 있게 한다. 그러나 기존 벤치마크는 대부분 짧은 카테고리 라벨과 웹에서 수집한 이미지에 의존하여, 오픈어휘 모델이 실제 배포 환경에서 다양한 쿼리와 시각적 조건 하에 견고하게 그라운딩할 수 있는지는 불분명하다. 본 논문은 이종의 실세계 환경에서 오픈어휘 시각적 그라운딩을 위한 프롬프트 조건 벤치마크인 Pro-Bench를 제안한다. Pro-Bench는 독립적인 로봇 도메인(지하, 산업, 실내, 실외, 도시)의 $13k+$ RGB 프레임, $74.5k$ 수동 인스턴스 어노테이션, 범주적·속성·관계·affordance·상태·부분-전체·부정·합성 의미를 아우르는 $515$개 타깃 쿼리를 포함한다. $16$개 오픈어휘 모델 구성을 엄격한 제로샷 추론으로 벤치마킹하여 IoU 임곗값별 위치 특정 정확도, end-to-end 추론 지연, 프롬프트에 따른 성능 변동, 타깃 복구 일관성을 측정했다. 결과에 따르면 프롬프트 강건성은 아키텍처에 강하게 의존한다. 대부분의 모델 구성($10/16$)은 짧은 카테고리 라벨에서 최고 성능을 보이는 반면, 자유 형식 쿼리가 최고 정확도를 내는 경우는 하나뿐이다. 또한 유사한 집계 mAP가 쿼리 재표현에 따른 일관된 타깃 복구의 상당한 차이를 가릴 수 있다. Pro-Bench는 이러한 격차를 체계적으로 평가할 수 있게 하며 프롬프트 강건 시각적 그라운딩을 지원한다. Pro-Bench: https://pro-bench.github.io/.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.