EndoComparer: 의사 샴 시각 적응과 인식 후 비교 추론을 활용한 수술 영상 비교 질의응답
EndoComparer: Comparative Surgical Video Question Answering with Pseudo-Siamese Visual Adaptation and Perceive-then-Compare Reasoning
한국어 초록
목적. 수술 교육에서는 환자 상태, 시술 기법, 숙련도 등에서 사례를 명시적으로 비교하면 도움이 된다. 수술용 비전-언어 모델(VLM)은 이 비교를 위한 유연한 인터페이스가 될 수 있다. 그러나 현재 VLM은 대체로 한 번에 영상 하나만 처리하며, 영상 두 개를 비교하라는 요청에는 부족한 성능을 보이는 경우가 많다. 방법. 수술 영상을 비교해 답하는 VLM EndoComparer를 제안한다. 두 요소를 사용한다. 첫째, 의사 샴 시각 LoRA(PSVL)는 가중치가 고정된 비전 인코더를 공유하면서 각 영상 입력 슬롯에 별도의 저랭크 어댑터를 둔다. 인코더를 한 번 실행하는 비용으로 시각 처리 경로에서 영상 두 개를 구분한다. 둘째, 인식 후 비교 사고 과정(PtC-CoT)은 모델이 먼저 각 영상에 무엇이 나타나는지 설명하고, 그 설명에서 답을 도출하도록 학습시킨다. 담낭절제술 및 위우회술 영상 쌍을 바탕으로 해부학, 도구, 행동, 숙련도를 다루는 객관식 질문 약 1만 1천 개의 벤치마크 EndoDiffVQA도 구축했다. 결과. EndoComparer는 영상 사이의 차이를 찾고 구체적으로 설명하는 데서 높은 성능의 범용 및 수술 특화 VLM을 앞섰다. 구성 요소 제거 실험을 통해 두 요소가 상호 보완적으로 기여함을 확인했다. 또한 영상 두 개의 순서를 바꿔 모델이 혼동하는지 드러내는 통제 실험에서도 더 강건했다. 결론. PSVL과 PtC-CoT로 전용 시각 추론 경로를 마련하면 VLM으로 수술 사례 영상을 비교할 때 강건성이 높아진다. EndoDiffVQA와 EndoComparer는 이 과제를 위한 벤치마크와 강력한 기준선을 제공한다. 프로젝트 페이지는 https://camma-public.github.io/endocomparer 에서 확인할 수 있다.
원문 초록
Purpose: Surgical training benefits from explicit comparison between cases: in patient condition, in technique and in skill proficiency. Surgical vision-language models (VLMs) offer a promising and flexible interface for this purpose. Yet current VLMs typically see one video at a time, and they often fall short when asked to compare videos. Methods: We propose EndoComparer, a VLM for comparative surgical video question answering with two components. (a) A Pseudo-Siamese Visual LoRA (PSVL) gives each video slot its own low-rank adapter over a shared frozen vision encoder, separating the two videos in the visual pathway at the cost of a single encoder pass. (b) A Perceive-then-Compare chain of thought (PtC-CoT) trains the model to first state what each video shows, then derive the answer from these statements. We further curate EndoDiffVQA, a benchmark of nearly 11K multiple-choice questions on video-pair over cholecystectomy and gastric bypass procedures, covering anatomy, tool, action and skill. Results: EndoComparer outperforms strong generalist and surgical VLMs on detecting and specifying difference between videos. Ablations show that two proposed components contribute complimentarily, and the model remains more robust under a video-swap control that exposes confusion between the two videos. Conclusion: Providing a dedicated visual reasoning path through PSVL and PtC-CoT makes cross-case comparison of surgical videos more robust for VLMs. EndoDiffVQA and EndoComparer provide a benchmark and a strong baseline for this task. Project page: https://camma-public.github.io/endocomparer
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19578v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.