혼합현실 헤드셋에서 물리적 조작 교구의 온디바이스 마커리스 6DoF 추적을 향하여: 예비 연구
Toward On-Device Markerless 6DoF Tracking of a Physical Manipulative on a Mixed-Reality Headset: A Preliminary Study
한국어 초록
AR-Classroom은 물리적 모델과 가상 오버레이를 사용하여 학습자가 공간 변환을 탐구하도록 돕는다. 독립형 헤드셋에서 이러한 오버레이를 정렬하기 위해 Meta Quest 3에서 레고 비행기를 위한 마커리스 6자유도(6DoF) 추적기를 개발하였다. Unity 합성 렌더링으로 학습한 소형 YOLO 모델이 128×128 픽셀로 크기를 조정한 동적 RGB 크롭에서 20개의 키포인트를 예측한다. 원근 n점(PnP) 해법은 이러한 예측과 대응하는 3D 랜드마크로부터 비행기의 자세를 추정한다. 합성 검증 이미지 1,000장에 대한 쌍체 평가에서, 실제 정답 박스로 유도한 크롭은 주석이 달린 이미지의 검출률을 32.5%에서 46.2%로 높였다. 평균 키포인트 F1은 42.9%에서 44.6%로 증가하였으나, 크롭된 뷰에서는 키포인트 정밀도가 더 낮았다. 예비 헤드셋 테스트에서 애플리케이션이 초당 약 72프레임을 유지한 최고 추적 목표는 2 Hz였다. 헤드셋 시연은 수동 회전 전후에 가상 오버레이가 물리적 비행기와 정렬되는 모습을 보여 준다. 실제 헤드셋 영상에 대한 정량적 6DoF 자세 정확도는 향후 연구에서 측정할 예정이다.
원문 초록
AR-Classroom uses physical models and virtual overlays to help learners explore spatial transformations. To align these overlays on a standalone headset, we developed a markerless six-degree-of-freedom(6DoF) tracker for a LEGO airplane on the Meta Quest 3. A compact YOLO model trained on synthetic Unity renders predicts 20 keypoints from dynamic RGB crops resized to 128 by 128 pixels. A perspective-n-point solver estimates the airplane's pose from these predictions and the corresponding 3D landmarks. In a paired evaluation on 1,000 synthetic validation images, cropping guided by ground-truth boxes increased the detection rate on annotated images from 32.5 to 46.2 percent. Mean keypoint F1 increased from 42.9 to 44.6 percent, with lower keypoint precision in the cropped view. In preliminary headset tests, 2 Hz was the highest tested tracking target at which the application maintained approximately 72 frames per second. A headset demonstration illustrates virtual overlay alignment with the physical airplane before and after a manual rotation. Quantitative 6DoF pose accuracy on real headset footage will be measured in future work.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.