SurgQ-VLM: 수술 비디오 질의응답을 위한 질문 조건부 이중 스트림 압축과 답변 유형 인지 강화학습
SurgQ-VLM: Question-Conditioned Dual-Stream Compression and Answer-Type-Aware Reinforcement for Surgical Video Question Answering
한국어 초록
수술 비디오에 대한 추론, 즉 어떤 단계가 진행 중인지, 어떤 기구가 작동하는지, 사건이 언제 발생하는지를 파악하는 일은 수술 기록, 워크플로 분석, 기술 평가의 기반이 된다. 그러나 수술 시각 질의응답은 여전히 대체로 단일 프레임과, 지속 시간, 순서, 개수를 표현할 수 없는 닫힌 레이블에 기반하고 있으며, 프레임 제한을 해소한 비디오 모델은 대개 질문과 무관하게 모든 클립을 동일하게 압축하여 답에 필요한 시간적 근거를 버린다. 더욱이 답변은 이진, 분류, 다중 레이블, 개수 세기, 문장-시간형의 다섯 가지 서로 양립하지 않는 구조에 걸쳐 이질적이어서, 어떤 단일 학습 신호도 이를 모두 고르게 잘 평가하지 못한다. 우리는 수술 비디오 질의응답을 위한 2단계 모델인 SurgQ-VLM을 제안한다. 1단계에서는 LoRA를 적용한 Qwen2.5-VL-7B를 위해 질문 조건부 이중 스트림(느린/빠른) 압축기를 학습하며, 교차 어텐션이 두 스트림을 질문에 조건화하고 각 클립의 시각 토큰은 원본 ViT 패치 대비 49배(병합 후 백본 토큰 대비 11배) 줄어든다. 2단계에서는 각 질문을 답변 구조에 맞는 지표(레이블 집합은 micro-F1, 개수는 정규화 오차, 시간 구간은 내용-시점 혼합)로 평가하는 답변 유형 인지 보상 하에서 GRPO로 사후 학습한다. Cholec80과 CholecT50 기반의 봉인된 21,840개 질문 테스트 분할에서 SurgQ-VLM은 키워드 정확도 0.779를 달성하고 제로샷 대비 BLEU-4가 10배 향상된다. GRPO는 K-Acc를 2.5 pp 높이며(이 중 2.0 pp는 답변 유형 인지 보상에 기인), 이는 구조적으로 어려운 유형에 집중되고 답변 형식(ROUGE-L)은 변하지 않는다. 코드는 https://github.com/DhruvMakwana/SurgQ-VLM 에서 이용할 수 있다.
원문 초록
Reasoning about surgical video -- which phase is underway, which instruments act, and when events occur -- underpins operative documentation, workflow analysis, and skill assessment. Yet surgical visual question answering is still largely built on single frames and closed labels that cannot express a duration, an ordering, or a count, and the video models that lift the frame limit typically compress every clip the same way regardless of the question, discarding the temporal evidence the answer needs. Worse, the answers are structurally heterogeneous, spanning five incompatible structures -- binary, classification, multi-label, counting, and sentence-temporal -- that no single training signal scores uniformly well. We propose SurgQ-VLM, a two-stage model for surgical video question answering. Stage 1 trains a question-conditioned dual-stream (slow/fast) compressor for a LoRA-adapted Qwen2.5-VL-7B: cross-attention conditions both streams on the question, and each clip's visual tokens shrink 49x from the raw ViT patches (11x vs. post-merge backbone tokens). Stage 2 post-trains with GRPO under an answer-type-aware reward that scores each question on the metric matching its answer structure (micro-F1 for label sets, normalised error for counts, a content-timing blend for temporal windows). On a sealed 21,840-question test split over Cholec80 and CholecT50, SurgQ-VLM reaches 0.779 keyword accuracy and a 10x BLEU-4 gain over zero-shot; GRPO adds 2.5 pp K-Acc (2.0 pp attributable to the answer-type-aware reward), concentrated in the structurally hard types, with answer format unchanged (ROUGE-L). Code is available at https://github.com/DhruvMakwana/SurgQ-VLM.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.01913v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.