로봇 수술의 객관적 평가는 기구 운동학을 사용하며, 영상만 이용 가능한 경우 이를 재구성해야 한다. 우리는 단안 영상으로부터 기구의 위치, 방향 및 jaw 각도를 추정하는 운동학 재구성 네트워크를 제안한다. 시각 표현은 고정(frozen) DINOv3 특징에 대한 전역 어텐션 풀링과 파인튜닝된 SAM 3.1 마스크로 얻은 기구 랜드마크에서의 국소 풀링을 결합한다. 공유 트랜스포머 인코더와 시간적 합성곱 헤드는 이 표현을 마스크 기하, 단안 깊이, 및 팔(arm)별 다층 회귀 네트워크의 시각 상태 추정치와 통합한다. 위치 분기는 이동 거리를 보존하기 위해 변위 크기와 방향을 각각 예측한다. 예측된 상태 관측 및 운동 증분에 대해 미분 가능 가중 최소자승법으로 궤적을 맞추며, 누적 예측 회전에 상대적인 쿼터니언 관측을 표현하여 이차 방향 목적함수를 얻는다. 2,802개의 Open-H 에피소드에서 재구성을 평가한다. 주 Open-H 벤치마크에서 LiveMAE와 비교할 때, 본 방법은 경로 길이 평균 절대 오차를 0.45cm에서 0.34cm로 줄이고, 동작 분할을 위한 시간적 평균 평균 정밀도를 44.54%에서 54.44%로 높인다.
디지털 지능의 혁신은 더욱 정보에 기반한 의사결정으로 로봇 수술을 변화시키고 있다. 수술 기구의 존재와 행동(예: 조직 절개)에 대한 실시간 인식은 이러한 시스템에 필수적이다. 그러나 수십 년간의 연구에도 불구하고, 이 작업을 위한 대부분의 머신러닝 모델은 소규모 데이터셋으로 학습되며 여전히 일반화에 어려움을 겪는다. 최근 비전-언어 모델(VLM)은 시각 및 텍스트 모달리티 전반에 걸친 추론에서 혁신적인 발전을 가져왔다. 이들의 전례 없는 일반화 능력은 지능형 로봇 수술을 발전시킬 큰 잠재력을 시사한다. 그러나 수술용 VLM은 여전히 탐구가 부족하며, 기존 모델은 제한된 성능을 보여 이들의 역량과 한계를 평가하고 향후 개발을 안내할 벤치마크 연구의 필요성을 부각한다. 이를 위해 우리는 기구 및 행동 분류를 위해 두 개의 공개 로봇 보조 복강경 데이터셋에서 여러 최신 VLM의 제로샷 성능을 벤치마크한다. 표준 평가를 넘어, 설명 가능한 AI를 통합하여 VLM 어텐션을 시각화하고 예측 이면의 인과적 설명을 밝힌다. 이는 모델 예측의 신뢰성을 평가하는 데 있어 이 분야에서 이전에 충분히 탐구되지 않았던 관점을 제공한다. 또한 표준 평가를 보완하기 위해 설명 가능성 분석 기반의 여러 지표를 제안한다. 우리의 분석은 수술용 VLM이 도메인 특화 학습에도 불구하고 임상적으로 관련 있는 시각적 증거보다 약한 맥락 단서에 의존하는 경우가 많음을 밝혀내어, 수술 응용에서 더 강력한 시각 및 추론 감독의 필요성을 강조한다.