도구-조직 간 상호작용을 인식하는 것은 맥락 인식 수술 AI에 필수적입니다. 비전-언어(vision-language) 모델은 비디오 특징(feature)을 텍스트 기반 행동 설명과 정렬함으로써 수술 표현에 의미적 구조를 주입하는 자연스러운 방법을 제공합니다. 그러나 사전학습(pre-training)된 인코더는 공간적 일관성이 부족할 수 있으며, 전역적 의미 정렬이 정밀한 시공간적 표현을 보장하지는 않습니다. 프레임 간 특징 변화를 분석한 결과, 의미 정렬이 차원성을 증가시키지만 차원이 더 크게 증가한다고 해서 인식이 반드시 향상되는 것은 아니며, 지배적인 변화가 상호작용 영역에 얼마나 강하게 국소화되는지에서도 인코더마다 차이가 있음을 발견했습니다. 이러한 발견에 착안하여, 프레임 간 변화를 잠재 행동으로 압축하고 엔드투엔드 비디오-언어 정렬 과정에서 다음 프레임 특징을 예측하는 \ours{}를 제안합니다. 추가적인 공간 또는 모션 어노테이션 없이도, \ours{}는 평가 환경에서 주요 특징 변화의 상호작용 그라운딩(grounding)과 시간 방향 민감도를 향상시킵니다. 나아가 행동 용량과 예측 강도가 인코더 및 삼중항(triplet) 구성요소 전반의 인식에 미치는 영향을 규명합니다. 대규모 비디오 사전학습이 없는 이미지 인코더를 사용하여, \ours{}는 V-JEPA2/2.1 대비 더 빠른 추론(inference)과 더 적은 INT4 정확도 저하를 보이면서 경쟁력 있는 인식 성능을 달성합니다.
수술 절차는 페이즈-투-스텝(phase-to-step) 계층 구조를 따르지만, 이를 인식하는 데 사용되는 비디오-언어 모델(video-language model)들은 레벨 간 일관성과 오류 구조를 무시한 채 레벨별 단일 평면 메트릭(flat per-level metrics)으로 평가됩니다. 본 논문에서는 이러한 문제를 해결하기 위해 두 가지 기여를 합니다. (i) 세분화 수준 전반에 걸쳐 인식, 일관성, 심각도를 측정하는 세 가지 과제를 갖추고 수술 비디오 이해를 위한 최초의 계층 인식 평가 스위트인 SurgHiBench를 소개합니다. 범용 CLIP 모델, 유클리드 수술 모델, 그리고 두 번째 기여로서 (ii) 세 가지 수술 유형에 걸친 4개의 (기존) 데이터셋에서 함의 원뿔(entailment cones)을 통해 페이즈-스텝 포함 관계를 강제하는 새로운 쌍곡선 모델인 HyperSurg를 평가합니다. 이 스위트는 동일한 정확도를 가진 두 모델이라도 올바른 페이즈 내의 형제 노드 혼동부터 무관한 페이즈 간 예측에 이르기까지 매우 상이한 오류 심각도의 예측을 생성할 수 있음을 보여줍니다. 쌍곡선 기하학(hyperbolic geometry)은 예측을 올바른 절차적 이웃 영역으로 유도하며, 이러한 성능 향상은 각 데이터셋 주석 계층의 트리 유사성(tree-likeness)에 비례하여 확장되므로 계층 인식 기하학이 언제 도움이 되는지에 대한 원칙적인 지표를 제공합니다.
수술 중 부작용(Intraoperative Adverse Events, IAE) 감지는 수술 안전성 개선에 핵심적이며, 출혈은 많은 수술 유형에서 가장 빈번한 사건 중 하나이다. 기존 방법은 시간적 추론(temporal reasoning)의 한계로 인해 출혈 IAE를 시각적으로 유사한 잔여 혈액과 구별하기 어렵다. 또한 긴 수술 영상을 모델링하면서 세밀한 시간적 역학을 보존하는 것은 여전히 계산적으로 어려운 과제이다. 우리는 DBT-Bleed를 제안한다. 이는 단기 및 장기 출혈 진행을 위해 층별(layer-wise) 시간적 어댑터를 사용하여 출혈과 정상 표현을 분리하는 이중 분기 다중 스케일 시간적 모델링 프레임워크이다. 세밀한 시간적 정보를 희생하지 않고 긴 수술 영상을 효율적으로 처리하기 위해, 시간적으로 유익한 구간은 유지하고 중복은 제거하는 계층적 엔트로피 기반(Hierarchical Entropy-Driven, HiRED) 프레임 선택 전략을 도입한다. MultiBypass 데이터셋에서의 실험은 출혈 IAE 감지에서 F1 6.53%, 재현율 5.62%, MCC 9%의 향상을 보여주며, 영상 수준 베이스라인을 일관되게 능가한다. 또한 다른 수술 절차 유형에서 새로 구축한 데이터셋에 대해 교차 절차 일반화를 평가했으며, DBT-Bleed는 제로샷(zero-shot) 설정에서 F1 6%, MCC 8%의 향상을 달성하며 견고한 전이 가능성을 보였다. 이 평가를 지원하기 위해 IAE로 주석이 달린 신경외과 분야 최초의 IAE 주석 데이터셋인 Endonasal Pituitary Surgery 데이터셋 EndoPit-IAE를 소개한다. 코드는 논문 수락 후 공개될 예정이다.