SUREON: 수술 추론을 위한 벤치마크 및 비전-언어 모델
SUREON: A Benchmark and Vision-Language Model for Surgical Reasoning
한국어 초록
유능한 수술 AI 모델은 시각적 근거에 기반하여 추론해야 한다. 그러나 기존의 많은 수술 벤치마크는 시각 입력 없이도 부분적으로 해결될 수 있는데, 모델이 절차적 사전 지식이나 흔한 해부학 구조-기구 상호작용을 활용하여 언어만으로 답을 추론할 수 있기 때문이다. 이를 해결하기 위해 우리는 시각적으로 근거가 있는 수술 추론을 평가하도록 설계된 비디오 질의응답(QA) 데이터셋 및 벤치마크인 SUREON을 소개한다. 우리의 파이프라인은 해설이 포함된 수술 학술 영상으로부터 QA 쌍을 생성하고, 여러 모델을 사용하여 오답 선택지를 정제함으로써 언어적 편향을 줄이며, 학습된 적대적 추측 모델을 사용하여 시각적 근거 없이도 답할 수 있는 질문을 걸러낸다. 그 결과 데이터셋은 168개 수술 절차와 10개 전문 분야를 포괄하는 76K개의 학습 쌍과, 전문 외과의가 검증한 10개 범주의 340개 문항으로 구성된 벤치마크를 포함한다. 주요 상용 및 오픈소스 모델을 벤치마킹한 결과, 수술 시각 추론은 여전히 대체로 해결되지 않은 상태이며, 어떤 모델도 정확도 53%를 넘지 못하고 전문 외과의조차 64.9%에 그친다. 또한 우리는 선별된 데이터로 학습되어 언어 지름길을 피하고, SUREON에서 기존 오픈소스 모델을 능가하며, 여러 표준 수술 벤치마크에서 더 큰 전문 모델과 대등한 성능을 보이는 기준 모델 SUREON-VLM을 소개한다. 학습 절제 실험 결과, 오답 선택지 정제와 블라인드 선별은 시각적 근거화를 강화하여, 학습 세트를 176.6K개에서 필터링된 76K개 샘플로 줄이면서도 멀티모달 이득을 8.7%p에서 29.1%p로 높인다. 따라서 SUREON은 수술 시각 추론을 위한 검증된 테스트베드와 시각적 근거화를 강화하는 학습 데이터를 모두 제공한다.
원문 초록
A capable surgical AI model should reason from visual evidence; yet, many existing surgical benchmarks can be partially solved without visual input, as models may exploit procedural priors or common anatomy-instrument interactions to infer answers from language alone. To address this, we introduce SUREON, a video question-answering (QA) dataset and benchmark designed to evaluate visually grounded surgical reasoning. Our pipeline generates QA pairs from narrated surgical academic videos, refines incorrect options using multiple models to reduce linguistic biases, and uses trained adversarial guessers to filter out questions answerable without visual evidence. The resulting dataset contains 76K training pairs covering 168 procedures and 10 specialties, alongside a benchmark of 340 questions across 10 categories verified by expert surgeons. Benchmarking leading commercial and open-source models shows that surgical visual reasoning remains largely unsolved--no model exceeds 53% accuracy and even expert surgeons reach only 64.9%. We also introduce SUREON-VLM, a baseline trained on our curated data that avoids language shortcuts, outperforms existing open-source models on SUREON, and matches larger specialist models on multiple standard surgical benchmarks. Our training ablations show that distractor refinement and blind curation strengthen visual grounding, increasing the multimodal gain from 8.7 to 29.1 percentage points while reducing the training set from 176.6K to 76K filtered samples. SUREON thus offers both a verified testbed for surgical visual reasoning and training data that strengthens visual grounding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.06570v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.