궤적 유사도를 넘어: 프로토콜 준수 여부로 수술 계획 평가하기
Beyond Trajectory Similarity: Evaluating Surgical Planning by Protocol Adherence
한국어 초록
수술 계획은 흔히 관찰된 단일 수행과의 궤적 유사도로 평가되는데, 이는 Ego4D와 같은 활동 예측 벤치마크에서 차용한 패러다임이다. 이는 과제 완료와 프로토콜 준수라는 서로 다른 두 개념을 혼동하며, 완료된 수술 궤적과 유사하면 유효한 계획이라고 가정한다. 수술에서 이 가정은 잘못되었다. 임상적으로 관련된 목표는 단순한 완료가 아니라 프로토콜 준수이며, 기준 궤적은 그 자체로 프로토콜에서 벗어났을 수도 있는 하나의 관찰된 수행일 뿐이다. 따라서 본 논문은 전문가가 정의한 프로토콜 규칙에 기반하여 프로토콜 준수를 직접 측정하는 평가 프레임워크를 제안한다. 이 프레임워크에서 유사도 기반 지표는 체계적으로 실패한다. 즉, 기준 궤적에서 벗어나더라도 프로토콜을 준수하는 계획에는 불이익을 주고, 겉보기에 기준과 유사하지만 프로토콜을 위반하는 계획에는 보상을 준다. Video-LLM을 평가한 결과, 신뢰할 수 없는 비디오-상태 기반 이해와 제약이 부족한 계획이라는 분리 가능한 두 가지 실패 양상이 추가로 드러났다. 어느 것도 모델 규모 확대만으로는 해결되지 않는 반면, 구조적 지식 주입은 일관된 향상을 제공한다. 본 연구 결과는 수술 계획의 평가 기준을 궤적 유사도에서 프로토콜 준수로 전환해야 함을 시사한다.
원문 초록
Surgical planning is commonly evaluated by trajectory similarity to a single observed execution, a paradigm borrowed from activity anticipation benchmarks such as Ego4D. This conflates two distinct concepts: task completion and protocol adherence and assumes similarity to a completed surgical trajectory implies a valid plan. In surgery, this assumption is flawed: the clinically relevant target is protocol adherence rather than mere completion, and the reference trajectory is only one observed execution that may itself deviate from the protocol. We therefore introduce an evaluation framework grounded in expert-defined protocol rules that directly measures protocol adherence. Under this framework, similarity-based metrics systematically fail: they penalize protocol-adherent plans that deviate from the reference trajectory, while rewarding protocol-violating plans that remain superficially similar to it. Evaluating Video-LLMs further reveals two separable failure modes: unreliable video-to-state grounding and under-constrained planning. Neither is resolved by model scaling alone, whereas structural knowledge injection provides consistent gains. Our results motivate a shift from trajectory similarity toward protocol adherence as the evaluation standard for surgical planning.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2601.10455v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.