arXiv:2611.23347v1 eess.IV

SurgCBVR: 콘텐츠 기반 수술 영상 간 검색을 위한 다중 도메인 벤치마크

SurgCBVR: A Multi-Domain Benchmark for Content-Based Surgical Video-to-Video Retrieval

Mohammad Eslami, Mousa Moradi, Negin Ghamsarian, Nazlee Zebardast, Jennifer L Lindsey, Sophia Y. Wang, Lucia Sobrin, Rishi P Singh, Tobias Elze

제출 2026-11-19

한국어 초록

병원은 매년 수천 시간의 수술 영상을 기록하지만, 이러한 아카이브는 내용으로 검색하기가 여전히 어렵다. 외과의는 유사한 수술, 합병증, 워크플로 이벤트를 쉽게 검색할 수 없다. 기존 수술 컴퓨터 비전은 주로 관련 영상을 검색하기보다 라벨을 생성한다. 본 논문은 수술 분야 최초의 콘텐츠 기반 영상 간 검색 벤치마크인 SurgCBVR를 소개한다. 이 벤치마크는 안과, 복강경, 로봇 보조, 대장내시경의 네 도메인에 걸친 여덟 개의 공개 데이터셋을 통합하며, 여섯 가지 수술 유형, 679건의 사례, 76,489개의 클립(106시간)을 포괄한다. SurgCBVR는 두 단계로 구성된다. 장면(Scene) 단계는 사례와 기관을 넘어 동일한 수술 상태를 검색하고, 워크플로(Workflow) 단계는 단계 전환과 이탈을 검색하고 위치를 특정한다. 장면 단계는 40개 클래스, 세 가지 시간적 세분도, 세 가지 재생 속도에 걸친 74,765개 클립을 포함하며, 워크플로 단계는 1,724개의 전환 클립을 포함한다. 고정된 클립 길이와 프레임 수, 그리고 단계 분류기 오라클 및 지속 시간 전용 기준선은 라벨 및 타이밍 지름길을 평가하는 데 도움이 된다. 동일 수술 유형으로 제한한 데이터셋 내, 데이터셋 간, 통합 갤러리 검색을 사용하여 여섯 개의 범용 및 수술 파운데이션 모델, 두 가지 영상 검색 방법, SurgCBVR로 학습된 대조 헤드를 평가한다. 고정된 표현은 타이밍 전용 기준선을 간신히 넘어서고, 전환 검색은 우연 수준에 근접하며, 학습된 헤드는 데이터셋 간에 정확도의 최대 절반을 잃는다. 이러한 결과는 현재 영상 표현의 상당한 한계를 드러내며, SurgCBVR를 수술 인식 검색을 발전시키기 위한 벤치마크로 확립한다.

원문 초록

Hospitals record thousands of hours of surgical video annually, yet these archives remain difficult to search by content. Surgeons cannot readily retrieve similar operations, complications, or workflow events. Existing surgical computer vision primarily produces labels rather than retrieving relevant videos. We introduce SurgCBVR, the first benchmark for content-based video-to-video retrieval in surgery. It integrates eight public datasets across four domains-ophthalmic, laparoscopic, robotic-assisted, and colonoscopy-covering six procedure types, 679 cases, and 76,489 clips (106 hours). SurgCBVR comprises two tiers: Scene, retrieving the same operative state across cases and sites, and Workflow, retrieving and localizing phase transitions and deviations. Scene includes 74,765 clips spanning 40 classes, three temporal granularities, and three playback speeds; Workflow contains 1,724 transition clips. Fixed clip lengths and frame counts, together with phase-classifier oracle and duration-only baselines, help assess label and timing shortcuts. We evaluate six generic and surgical foundation models, two video retrieval methods, and contrastive heads trained on SurgCBVR, using within-dataset, cross-dataset, and pooled-gallery retrieval restricted to the same procedure type. Frozen representations barely outperform a timing-only baseline, transition retrieval approaches chance, and trained heads lose up to half their accuracy across datasets. These findings expose substantial limitations in current video representations and establish SurgCBVR as a benchmark for advancing surgery-aware retrieval.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23347v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.