증강현실(AR, augmented reality)의 발전은 계속해서 혁신적인 솔루션을 촉진하며, 교육 시스템, 의료 서비스, 위험 완화 프로토콜 내에서 새로운 방법론을 가능하게 하고 있다. 그러나 AR 헤드마운트 디스플레이(head-mounted display)가 제한된 장면 기하 구조, 공간적 지터(jitter), 시간적 불안정성과 씨름하는 탓에, 최종 사용자의 몰입감과 편안함을 최적화하는 것은 여전히 어려운 과제로 남아 있다. 사용자 연구(user study)는 시각적 품질에 대한 표준적인 AR 평가 방법이지만, 그 비용과 확장성 저하, 경직성은 반복적인 애플리케이션 설계 과정에서 병목으로 작용한다. 이 문제를 해결하기 위해, 우리는 비전-언어 모델(VLM, vision-language model)을 기반으로 하여 사용자가 지각하는 AR 장면의 시각적 충실도를 평가하고 예측하는, AR 콘텐츠 평가 및 개선을 위한 자동화된 프레임워크를 제시한다. 먼저, 우리는 다양한 장면과 환경 조건에서 수집된 AR 이미지 및 비디오 벤치마크(benchmark)인 RateAR을 소개하며, 이는 객체 배치, 크기(scale), 그림자 일관성을 포함한 지각적 요인들에서 양호~우수한 신뢰도(ICC(2,5) >= .90)를 보인다. 이어서, 우리는 구축한 벤치마크에서 11개의 상용 VLM을 평가한다. 결과는 VLM 기반 품질 예측이 인간의 주관적 판단과 강한 상관관계를 가지며, 최대 0.8695의 스피어만 순위 상관계수(Spearman's rank-order correlation)를 달성함을 뒷받침한다. 추가적인 제거 연구(ablation study)는 다른 프롬프팅 전략들과 비교할 때, 우리의 맥락적 프롬프팅(contextual prompting)이 도입된 복잡성 단서를 균형 있게 조절하면서도 인간 평가와 더 나은 정합성을 보임을 시사한다. 이러한 결과를 바탕으로, 우리는 자동화된 AR 콘텐츠 조정 시스템을 구축하고 21명의 참가자를 대상으로 사용자 연구를 수행한다. 참가자의 90% 이상이 이 시스템이 가상 콘텐츠의 배치 및 크기 일관성을 개선했다고 평가했다.
본 논문은 기억, 장소, 정체성의 교차점을 탐구하며, 특히 Apple Vision Pro와 같은 신기술이 이 연결고리를 어떻게 조명할 수 있는지 검토한다. 디지털 트윈(digital twin)과 가상 현실(VR)을 활용하여, 기억이 문화적·역사적 의미를 지닌 경관과 도시 환경에 어떻게 짜여 있는지 조사하고, 기억과 유산을 불러일으키는 시각적 요소를 식별한다. Apple Vision Pro와 같은 애플리케이션은 이미지 확장(image extension)을 통해 장소 정체성을 정의하는 데 기여할 수 있으며, 시간대를 넘어 문화적·정치적 실체에 대한 정보를 시청자에게 제공한다. 시각적 스토리텔링은 경관의 변화와 문화유산 보존을 보여줄 수 있으며, 가상 현실(VR)은 역사적 경관과 도시 경관의 재현을 가능하게 한다. 이 몰입형 접근은 사용자가 시간적 경계를 넘어 과거를 역동적으로 경험하도록 한다. 의미론적 이미지 검색(Semantic Image Search)은 기념물, 전통, 또는 문화적 정체성과 관련된 이미지를 발굴함으로써 연구를 지원할 수 있다. 본 연구는 디지털 트윈과 가상 환경을 도시 및 비도시 경관과 연결하여 문화적, 역사적, 환경적 지속가능성을 보여주는 방법론을 제시한다. 이 접근의 핵심은 현재 상태의 회복력, 그 미래적 진화, 그리고 과거의 중요성을 정의하는 것이다. 이러한 기술은 역사적·문화적 포용을 촉진하면서, 수년 후 특정 장소로 돌아온 듯한 감각을 불러일으킨다. 해당 방법론은 문화적·정치적 기억을 통해 공공 도시 공간을 재활성화하는 데 필요한 기술 통합을 개략적으로 설명한다. 이러한 애플리케이션을 통해 본 논문은 공간의 디지털 트윈, 도시 변화, 문화유산 보존에 관한 연구에 기여한다. 디지털 시대의 기억, 장소, 정체성 간 관계에 대한 통찰을 제공함으로써, 공동의 과거와 그것이 현재에 미치는 영향에 대한 더 깊은 이해를 지원한다.
두경부 종양 수술에서 양성 마진은 검체 측 병리 소견을 환자의 절제면에 매핑해야 한다. 이는 절제되어 변형된 검체의 슬라이스에서 병리의가 양성 마진을 확인하는 반면, 외과의는 해당 위치를 절제면에서 시각적 안내 없이 구두 설명만으로 재현해야 하기 때문에 어렵다. 우리는 3차원 검체 스캔의 마진 라벨을 절제면에 매핑하기 위한 마커 없는 증강 현실(AR) 워크플로우를 제안한다. 이 방법은 윤곽 제약 변형, 깊이 스캔에 대한 잔차 정렬, 헤드마운트 디스플레이(head-mounted display)를 위한 표면 기반 융합, 재구성된 절제면에 대한 타깃 투영을 결합한다. 비드(bead)-봉합(suture) 대응 관계로 검체 변형을 추정하며, 환자-디스플레이 융합에는 외부 기준점(fiducial) 마커가 필요하지 않다. 형성 실험(formative experiments) 이후, 5명의 전공의 및 외과의가 시체(cadaver) 볼과 두피 재절제 과제를 구두 안내, 검체 검사를 동반한 구두 안내, AR 안내 조건에서 수행했다. 변형 타깃 오차는 볼에서 $7.63 \pm 3.74$ mm, 두피에서 $3.72 \pm 1.02$ mm였다. 잔차 검체-절제면 거리는 각각 $2.43 \pm 2.15$ mm 및 $2.19 \pm 1.06$ mm였다. 융합 오차는 두 시체 모두에서 마커 없는 방식과 마커 기반 방식 간에 유의한 차이가 없었으며, 전체 마커 없는 융합 오차는 $2.15 \pm 0.87$ mm였다. 종단(end-to-end) 마진 국소화 오차는 구두 안내 시 $21.40 \pm 3.84$ mm, 검체 검사 시 $16.09 \pm 4.30$ mm에서 AR 안내 시 $6.19 \pm 1.79$ mm로 감소했다 ($p < 0.001$). 온라인 융합에는 $5.23 \pm 0.34$ s가 소요되었다. 이러한 결과는 양성 마진 국소화를 위한 마커 없는 AR 안내의 효과를 보여주며, 더 정밀한 종양 절제를 뒷받침한다.
정형외과 수술에서 최적의 나사 배치를 달성하려면 X선 하에서 빈번한 정렬 확인과 다양한 해부학적 뷰 촬영이 필요한데, 이는 "플루로 헌팅(fluoro-hunting)"으로 알려진 과정으로 환자와 수술팀의 방사선 노출을 증가시킨다. 본 연구에서는 최적의 X선 뷰를 식별하기 위한 증강 현실(AR) 프레임워크인 X-GuideAR을 소개하며, 이는 정확한 나사 배치를 보장하면서 방사선 노출을 줄이는 것을 목표로 한다. X-GuideAR의 이점을 예시하기 위해 S2 장골익(S2AI) 나사 배치에 초점을 맞췄다. 본 시스템은 합성 X선 미리보기를 생성하여 플루로 헌팅을 가속화함으로써 뷰 획득 및 드릴링에 대한 방사선 없는 유도를 제공한다. 이러한 미리보기를 사용하여 필요한 해부학적 뷰가 식별되면 실제 X선을 촬영하고, 드릴링 궤적의 미리보기를 X선 위에 증강하여 추가적인 방사선을 최소화하면서 정밀한 나사 배치를 가능하게 한다. 전문 척추 외과의가 수행한 8개의 S2AI 궤적을 포함한 예비 연구에서 X선 촬영 횟수가 62.3% 감소하였다. 시술 후 평가에서 X-GuideAR을 사용한 궤적은 기존 워크플로우의 5.9mm에 비해 평균 안전 나사 직경 12.95mm를 지원하는 것으로 나타났으며, 이는 개선된 골 내 포함 및 잠재적인 생체역학적 이점을 시사한다. X-GuideAR은 방사선 노출을 줄이고 S2AI 나사 배치를 간소화할 큰 잠재력을 보여주며, 보다 안전하고 효율적인 수술을 향한 유망한 방향을 제시한다.
fARfetch는 AR 헤드셋과 로봇 간 공유 의미론적 환경 매핑, 문맥 인식 미니어처 세계(WIM) 기반 경로 저작, 비전-언어 모델(VLM) 기반 가상 콘텐츠 적응을 통합하여 대규모 야외 환경에서의 인간-로봇 협업(AR-HRC)을 지원하는 시스템이다. Meta Quest 3와 Unitree Go2로 구현된 실사용자 연구(N=13, 30.5m 야외)에서 비AR 기준선 대비 작업 완료 시간을 66% 단축하고 정신적 부하, 시간 압박, 좌절감을 각각 43%, 34%, 66% 감소시켰다.
혼합 현실(mixed reality) 애플리케이션은 손 재활을 위해 설계될 수 있습니다. 특히 증강 현실(AR) 헤드 마운티드 디스플레이(HMD)는 개인이 실제 환경을 보고 실제 물체와 상호작용하는 동안 HMD에서 추가적인 단서를 받을 수 있기 때문에 생태학적으로 타당한 과제를 수행할 수 있게 합니다. 이러한 애플리케이션은 정확한 손 자세 추정(hand pose estimation)에 의존하지만, 손 기능 장애나 실제 물체와의 상호작용으로 인한 가려짐(occlusion)이 자세 추정 정확도에 미치는 영향을 조사하는 연구는 부족합니다. 또한, AR HMD 예측과 최신(SOTA) 자세 추정 방법 간의 비교도 아직 확립되지 않았습니다. 본 연구에서는 경추 척수 손상(cSCI; n=13, 신경학적 손상 수준: C3-C6; 미국 척수 손상 협회 장애 척도: A-D)을 가진 개인과 15명의 건강한 대조군이 투명하고 불투명한 물체와 상호작용하는 동안 HoloLens 2 HMD와 최신 자세 추정 알고리즘(WiLoR, HaMeR, WildHands, MediaPipe)의 정확도를 평가했습니다. 3D 관절 위치에 대한 정답(ground truth) 추정치는 다중 카메라 설정을 통한 삼각측량을 통해 생성되었습니다. 자세 추정 정확도는 cSCI 그룹과 건강한 대조군 간에 차이가 없었으며, 이는 HoloLens 2와 자세 추정 알고리즘의 3D 관절 예측이 손 기능 장애가 있는 집단으로 일반화될 수 있음을 시사합니다. 또한, 투명한 물체는 불투명한 물체보다 약간의 정확도 이점(0.1 mm)을 제공했으며, WiLoR와 HaMeR의 예측은 HoloLens 2보다 약간 더 정확했습니다(2 mm). 전반적으로, 이러한 결과는 HoloLens 2가 손 재활 애플리케이션에 사용될 수 있으며, 생성된 데이터셋(dataset)이 손 기능 장애가 있는 집단을 위한 자세 추정 방법을 정교화하는 데 사용될 수 있음을 시사합니다.