몰입형 VR180 비디오는 전문가용 스테레오 어안(fisheye) 카메라로 제작되는 경우가 점점 늘고 있으나, 공개된 VR180 연구 자원은 대부분 YouTube와 같은 온라인 플랫폼에서 수집된 것입니다. 이러한 데이터는 알려지지 않은 파이프라인을 통해 이미 스티칭, 투영 및 압축되어 있으며 렌즈 캘리브레이션 정보도 부재합니다. 본 논문에서는 두 대의 Blackmagic URSA Cine Immersive 카메라로 직접 촬영한 스테레오 VR180 데이터셋을 제시합니다. 이 데이터셋은 1,211개의 샘플(스테레오 비디오 클립 636개(2,220.8초, 대부분 90fps) 및 스테레오 정지 영상 575개)을 포함하며, 각각 카메라 네이티브 Blackmagic RAW, 양안 분리 네이티브 어안 HEVC(눈당 8160x7200), 하프 등지사각(half-equirectangular) HEVC(눈당 7200x7200) 형식으로 공장 렌즈 캘리브레이션 정보, 이식 가능한 어안/하프 등지사각 변환 도구, AI 생성 장면 및 시각적 난제 어노테이션과 함께 공개됩니다. 공개된 어안 및 하프 등지사각 렌더링 영상을 24개 클립, 양안, 4개 전송률 지점 및 9개 시야 방향에 걸쳐 x265로 재인코딩한 결과, 24개 클립 전체에서 동일한 뷰포트 화질 기준 네이티브 어안 코딩이 하프 등지사각 코딩보다 시야각(field of view)의 모든 영역에서 더 높은 비트레이트를 필요로 했습니다(중앙값 +38%). 데이터: https://huggingface.co/datasets/lulinxuan/VR180 ; 코드: https://github.com/lulinxuan/vr180-dataset-tools
미세수술 기술 숙련도에 대한 객관적 평가는 역량 기반 훈련과 품질 보증에 필수적이지만, 기존의 비디오 기반 접근 방식은 주로 RGB 이미지에 의존하므로 기구와 해부학적 구조 간의 상호작용을 특징짓는 3D 공간적 관계를 간과합니다. 비록 입체 수술 현미경이 상호보완적인 깊이(depth) 정보를 제공하지만, 기존의 스테레오 매칭 알고리즘은 고배율 이미징 환경에서 희소하고 신뢰할 수 없는 깊이 추정치를 생성할 수 있어 자동 숙련도 평가에 활용하는 데 한계가 있습니다. 본 연구에서는 현미경 스테레오 비디오로부터 수술 숙련도를 평가하기 위한 의미론적(semantic) RGB-깊이 프레임워크를 제시합니다. 회귀 기반 깊이 융합 방법은 희소한 미터법 스테레오 깊이와 조밀한 단안 깊이 추정치를 결합하여 수술 장면의 조밀한 기하학적 표현을 생성합니다. 이 표현은 개별 수술 기구 및 주변 해부학적 구조에 해당하는 의미론적으로 분해된 RGB 스트림과 통합됩니다. 계층적 어텐션(attention) 아키텍처는 이러한 스트림들을 공동 인코딩하여 서로 다른 수련 수준의 외과의 전반에 걸친 기구 사용 및 기구-해부학적 구조 상호작용의 변별력 있는 패턴을 포착합니다. 제안된 프레임워크는 전임의(attending surgeons)와 레지던트로 구성된 6명의 외과의가 수행한 33건의 생체 외(ex vivo) 경구강 미세후두 수술을 대상으로 외과의 1인 제외 교차 검증(leave-one-surgeon-out cross-validation)을 통해 평가되었습니다. 제안된 의미론적 RGB-깊이 모델은 숙련도 수준 분류에서 F1 점수 0.938을 달성하여, 의미론적 RGB의 0.696 및 의미론적 깊이의 0.929와 비교되었습니다. 이러한 결과는 기하학적 정보가 현미경 스테레오 비디오 기반의 자동 수술 숙련도 평가를 향상시킬 수 있음을 시사합니다. 또한 학습된 공간, 시간 및 의미론적 어텐션 패턴은 모델이 강조한 장면 영역, 비디오 세그먼트 및 의미론적 스트림에 대한 정성적 분석을 뒷받침합니다.
몰입형 3D 콘텐츠에 대한 수요가 증가함에 따라 단안(monocular) 영상을 스테레오 비디오로 자동 변환하는 기술이 필요해지고 있다. 본 논문에서는 일반 비디오를 양안(binocular) 비디오로 업그레이드하는 제어 가능한 직접 엔드-투-엔드 방법인 Elastic3D를 제안한다. 조건부 잠재 확산(conditional latent diffusion)에 기반한 우리의 접근법은 명시적인 깊이 추정 및 워핑(warping)으로 인한 아티팩트를 방지한다. 고품질 스테레오 비디오 출력의 핵심은 선명하고 에피폴라(epipolar) 일관성을 갖춘 스테레오 비디오 출력을 보장하는 새로운 가이드 VAE 디코더이다. 또한, 우리의 방법은 직관적인 스칼라 조절 노브를 통해 추론 시 사용자가 스테레오 효과의 강도(더 정확히는 시차(disparity) 범위)를 제어할 수 있도록 한다. 실제 스테레오 비디오의 세 가지 서로 다른 데이터셋에 대한 실험 결과, 우리의 방법은 전통적인 워핑 기반 및 최근의 워핑 없는(warping-free) 기준 방법들을 모두 능가하며 신뢰할 수 있는 제어 가능한 스테레오 비디오 변환의 새로운 기준을 제시한다. 비디오 샘플은 프로젝트 페이지(https://elastic3d.github.io)에서 확인할 수 있다.