MedHorizon: 야생 환경에서의 장기 문맥 의료 비디오 이해를 향하여
MedHorizon: Towards Long-context Medical Video Understanding in the Wild
한국어 초록
의료 멀티모달 대규모 언어 모델(MLLM)은 이미지 이해와 숏폼 비디오 분석을 발전시켰지만, 실제 임상 검토는 전체 시술 과정 비디오의 이해를 요구하는 경우가 많습니다. 일반적인 롱 비디오와 달리 의료 시술은 매우 중복된 해부학적 뷰를 포함하는 반면, 결정적인 증거는 시간적으로 희소하고 공간적으로 미세하며 문맥에 의존적입니다. 기존 벤치마크는 이러한 증거가 이미지, 짧은 클립 또는 사전 분할된 비디오를 통해 이미 국소화되어 있다고 가정하는 경우가 많아, 추론 이전의 검색(retrieval-before-reasoning) 문제를 충분히 검증하지 못하고 있습니다. 본 논문에서는 야생(in-the-wild) 환경에서의 롱 컨텍스트 의료 비디오 이해를 위한 벤치마크인 MedHorizon을 소개합니다. MedHorizon은 759시간 분량의 전체 임상 시술 과정을 보존하며, 희소한 증거 이해와 다단계(multi-hop) 임상 추론을 함께 평가하는 1,253개의 증거 기반 객관식 질문을 제공합니다. 증거는 평균 0.166%의 증거 프레임에 불과할 정도로 극도로 희소하여, 모델이 소견을 해석하고 종합하기 전에 노이즈가 많은 시술 스트림을 먼저 탐색해야 합니다. 우리는 대표적인 범용 도메인, 의료 도메인 및 롱 비디오 MLLM을 평가했습니다. 최고 성능의 모델도 41.1%의 정확도에 그쳐, 현재 시스템이 견고한 전체 시술 이해와는 여전히 거리가 멀다는 것을 보여줍니다. 추가 분석을 통해 네 가지 주요 발견을 도출했습니다: 프레임 수가 증가해도 성능이 안정적으로 스케일링되지 않으며, 증거 검색 및 임상적 해석이 여전히 주요 병목 현상으로 남아 있고, 이러한 병목은 취약한 절차적 추론과 중복성 하에서의 어텐션 표류(attention drift)에 기인하며, 일반적인 샘플링 방법은 국소적 세부 정보와 전역적 커버리지의 균형을 부분적으로만 맞출 수 있습니다. MedHorizon은 희소한 증거를 검색하고 완전한 임상 워크플로우에 걸쳐 추론하는 MLLM을 위한 엄격한 테스트베드를 제공합니다.
원문 초록
Medical multimodal large language models (MLLMs) have advanced image understanding and short-video analysis, but real clinical review often requires full-procedure video understanding. Unlike general long videos, medical procedures contain highly redundant anatomical views, while decisive evidence is temporally sparse, spatially subtle, and context dependent. Existing benchmarks often assume this evidence has already been localized through images, short clips, or pre-segmented videos, leaving the retrieval-before-reasoning problem under-tested. We introduce MedHorizon, an in-the-wild benchmark for long-context medical video understanding. MedHorizon preserves 759 hours of full-length clinical procedures and provides 1,253 evidence-grounded multiple-choice questionsthat jointly evaluate sparse evidence understanding and multi-hop clinical reasoning. Its evidence is extremely sparse, with only 0.166% evidence frames on average, requiring models to search noisy procedural streams before interpreting and aggregating findings. We evaluate representative general-domain, medical-domain, and long-video MLLMs. The best model reaches only 41.1% accuracy, showing that current systems remain far from robust full-procedure understanding. Further analysis yields four key findings: performance does not scale reliably with more frames, evidence retrieval and clinical interpretation remain primary bottlenecks; these bottlenecks are rooted in weak procedural reasoning and attention drift under redundancy, and generic sampling methods only partially balances local detail with global coverage. MedHorizon provides a rigorous testbed for MLLMs that retrieve sparse evidence and reason over complete clinical workflows.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
PhySimCode: 물리 비디오-코드 생성을 위한 벤치마크 및 평가 방법
PhySimCode: A Benchmark and Evaluation Method for Physics Video to Code Generation
멀티모달 대규모 언어 모델(MLLM)은 비디오 이해와 코드 생성에 뛰어나지만, 비디오에 내재된 물리 법칙을 복원할 수 있는지는 명확하지 않다. 이는 비디오를 실행 가능한 시뮬레이션으로 변환하고 로보틱스에서 구조화된 물리적 감독(supervision)을 제공하는 데 필수적인 능력이다. 모션 비디오에 대한 캡션 생성이 모델이 그 지배 역학(governing dynamics)을 추론했거나, 정량적 매개변수를 추정했거나, 코드로부터 관찰된 장면을 재생성할 수 있음을 의미하지는 않는다. 기존 비디오-물리 벤치마크는 타당성(plausibility), 속성 추정, 미래 상태 예측을 평가하지만, 모델이 시각적 역학을 실행 가능한 시뮬레이션 코드로 변환할 수 있는지에 대해서는 제한적인 통찰만 제공한다. 우리는 물리 비디오-코드 생성을 위한 벤치마크인 PhySimCode를 소개한다: 원본 비디오만 주어졌을 때, 모델은 관련 물리를 추론하고, 매개변수 값을 복원하며, 입력 비디오를 재현하는 실행 가능한 Python 코드를 생성해야 한다. 이 데이터셋은 해석적(analytic) SciPy 시뮬레이션과 PyBullet으로 렌더링된 강체(rigid-body), 관절체(articulated), 유체(fluid), 접촉이 많은(contact-rich) 장면에 걸친 162개의 물리 현상을 다루는 160.6K개의 절차적으로 생성된 샘플을 포함한다. 각 샘플은 시뮬레이션 코드, 물리적 매개변수, 렌더링된 비디오, 그리고 관찰(observations), 법칙(laws), 상미분방정식(ODE), 수치 방법(numerical methods), 검증(validation) 검사를 다루는 구조화된 사고의 연쇄(chain-of-thought)를 함께 제공한다. 우리는 물리 법칙의 정확성, 시뮬레이션 동등성, 코드 실행 가능성, 매개변수 복원 측면에서 10개의 최신 비공개 및 공개 소스 MLLM을 평가한다. 모델들은 물리 법칙을 안정적으로 서술하지만(5점 만점에 4.27-4.93점), 비디오로부터 이를 추론하는 데에는 5점 만점에 1.51-2.47점만을 기록했으며, 최고 성능 시스템(Claude Sonnet 4.6)도 실제값(ground-truth) 매개변수의 ±20% 이내로 복원한 비율은 7.7%에 불과해, 비디오-시뮬레이션 간의 상당한 격차를 드러냈다. 2,430개 비디오로 구성된 평가 세트는 https://huggingface.co/datasets/SourajaKundu123/PhySimCode 에서, 평가 코드는 https://github.com/SourajaKundu/PhySimCode 에서 확인할 수 있다.
멀티모달 의사결정 모델이 유방 초음파 이미지를 분류할 수 있는가? 프롬프트와 데이터셋 전반에 걸친 CLEF 및 CLEF-Flash 벤치마킹
Can Multimodal Decision Models Classify Breast Ultrasound Images? Benchmarking CLEF and CLEF-Flash Across Prompts and Datasets
멀티모달 의사결정 모델은 사전에 정의된 대안들에 대한 확률을 반환하여 이미지 분류를 위한 구조화된 인터페이스를 제공한다. 본 연구는 Dataset B, BUSI, BUS-BRA에서 수집한 2818개의 유방 초음파 이미지에 대해 CLEF 및 CLEF-Flash를 사용한 추론을 벤치마킹한다. Dataset B와 BUS-BRA는 이진 양성-악성 분류를 사용하는 반면, BUSI는 정상, 양성, 악성 범주를 포함한다. 모델 파라미터는 변경하지 않은 채 유지되며, 원본 이미지는 사용자 정의 전처리 없이 입력된다. 세 가지 프롬프트는 최소한의 라벨, 명시적인 분류 태스크, 또는 초음파 검사 기준을 제공한다. 본 연구에서는 정확도, 매크로 F1, 균형 정확도, 매크로 정밀도, 처리량, 지연 시간을 보고한다. 임상 프롬프트를 적용한 CLEF-Flash는 세 데이터셋 모두에서 가장 높은 정확도를 달성하여 Dataset B에서 74.85%, BUSI에서 66.28%, BUS-BRA에서 51.63%를 기록했다. 그러나 BUSI에서는 태스크 유도 프롬프트를 적용한 CLEF가 가장 높은 매크로 F1(64.51%)과 균형 정확도(68.72%)를 달성했다. CLEF-Flash는 일치 조건으로 비교한 모든 경우에서 더 낮은 지연 시간을 보였다. 임상 지침 프롬프트는 최소 프롬프트 대비 CLEF-Flash의 정확도를 향상시켰으나, 모든 데이터셋에서 CLEF의 정확도는 감소시켰다. 혼동 행렬을 통해 양성을 악성으로 오분류하는 오류가 빈번함을 확인했으며, 특히 BUS-BRA에서는 모든 구성이 다수 클래스 예측기의 정확도인 67.63%에 미치지 못했다. 이러한 결과는 성능이 데이터셋과 프롬프트에 따라 달라짐을 보여주며, 유방 초음파 분석에 멀티모달 의사결정 모델을 적용하기 전에 클래스별 평가가 선행되어야 함을 시사한다.
RSNA 뇌동맥류(RSNA-ICA) 데이터셋
The RSNA Intracranial Aneurysm (RSNA-ICA) Dataset
뇌동맥류 파열은 상당한 이환율 및 사망률과 관련이 있지만, 특히 작은 병변이거나 비혈관조영 일반 영상 검사에서는 동맥류 탐지가 여전히 까난한 과제로 남아 있습니다. 뇌동맥류 탐지 및 위치 식별을 위한 인공지능(AI) 알고리즘의 개발과 평가를 지원하고자 북미영상의학회(RSNA)는 미국신경영상의학회(ASNR), 신경중재수술학회(SNIS), 유럽신경영상의학회(ESNR)와의 협력을 통해 RSNA 뇌동맥류(RSNA-ICA) 데이터셋을 구축했습니다. 2025 RSNA 뇌동맥류 탐지 챌린지(RSNA Intracranial Aneurysm Detection Challenge)를 위해 개발된 RSNA-ICA는 5개 대륙 12개국 21개 기관에서 수집한 4,278명의 성인 환자로부터 얻은 7,202건의 CTA, MRA 및 MRI 시리즈로 구성된 대규모의 공개 전문가 주석 데이터셋입니다. 이 데이터셋은 낭상 뇌동맥류가 있거나 없는 환자들의 CTA 2,566건, MRA 2,166건, MRI 2,470건 시리즈를 포함하여 상당한 지리적 및 영상학적 다양성을 제공합니다. 전문가 주석에는 동맥류의 유무와 위치가 모두 표시되어 있으며, 178건의 시리즈에는 챌린지에서 정의한 혈관 위치에 대한 3차원 분할(segmentation)이 추가로 포함되어 있습니다. RSNA-ICA는 2025 RSNA 뇌동맥류 탐지 챌린지에서 알고리즘을 개발하고 평가하는 데 사용되었습니다. 7,202건의 영상 시리즈 중 5,041건은 MIRA를 통해 공개되어 있으며, 나머지는 챌린지의 공개 및 비공개 테스트 세트로 사용되었습니다. 이 데이터셋은 비상업적 용도에 한해 연구 커뮤니티에 무료로 제공되며, 혈관조영 검사와 일반 신경영상 검사 전반에서 AI 기반 동맥류 탐지를 발전시키기 위한 종합적인 리소스를 제공합니다.
흉부 X선 비전-언어 모델을 위한 신뢰성 스트레스 테스트 및 결정 시점 라우팅
Reliability Stress Tests and Decision-Time Routing for Chest X-ray Vision-Language Models
의료 비전-언어 모델(VLM) 평가는 워크플로 설계, 프롬프트 전략, 벤치마크 구성에 민감하지만, 대부분의 연구는 이러한 요인들을 개별적으로 다룹니다. 본 연구에서는 두 개의 균형 잡힌 데이터셋(비공개 보고서 기반 데이터셋 및 선별된 MIMIC 서브셋)을 기반으로 구축된 흉부 X선 판독을 위한 신뢰성 스트레스 테스트를 소개합니다. 세 가지 의료 VLM(CheXagent, MedGemma-4B, MedGemma-27B)을 세 가지 프롬프트 스타일과 두 가지 워크플로(단일 VLM 및 멀티 에이전트)에 걸쳐 평가하여 총 36개의 구성을 생성했습니다. 본 연구는 정확 일치(exact-match) 정확도만으로는 기본적으로 "정상(Normal)" 예측을 내놓는 보수적인 모델의 유효성이 과장될 수 있음을 보여줍니다. 진단 신뢰성 또한 모델 계열과 규모에 크게 의존하는데, 멀티 에이전트 추론은 일부 구성에는 도움이 되지만 다른 구성에는 오히려 해가 됩니다. 이러한 관찰을 바탕으로, 유익한 경우에만 멀티 에이전트 추론으로 선택적으로 이관하여 고정된 워크플로 대비 비용-품질 트레이드오프를 개선하는 결정 시점 라우팅(decision-time routing) 프레임워크를 제안합니다. 본 연구 결과는 임상 배포 전에 프롬프트 민감도, 실패 모드의 다양성, 워크플로 선택을 종합적으로 고려하는 평가 프로토콜의 필요성을 강조합니다.
단일 비디오를 넘어서: 전자상거래 교차 비디오 추론을 위한 벤치마킹 및 능동적 증거 탐색
Beyond Single Videos: Benchmarking and Active Evidence Seeking for E-Commerce Cross-Video Reasoning
전자상거래 비디오는 정보 밀도가 높으며, 제품을 평가하는 소비자와 마케팅 전략을 평가하는 판매자에 의해 빈번하게 비교됩니다. 그러나 기존의 멀티모달 모델은 주로 단일 비디오 이해에 초점을 맞추고 있어 비디오 전반에 걸친 정보를 비교하는 능력이 제한적입니다. 본 논문에서는 6가지 추론 차원에 걸쳐 2,483개의 비디오와 6,110개의 질문-답변 쌍을 포함하는 최초의 전자상거래 교차 비디오 추론(cross-video reasoning) 벤치마크인 AdsCVR을 소개합니다. 교차 비디오 추론을 수행하려면 모델이 수많은 중복 프레임 사이에서 세밀한 증거를 찾아내고 시각적 세부 사항, 음성, 화면 텍스트를 통합해야 합니다. 이에 따라 저자들은 정적 균일 샘플링을 능동적 증거 수집으로 대체하여 다중 턴 탐험(exploration) 과정에서 시각 및 음향 도구를 동적으로 선택하는 에이전트 프레임워크인 AdSeek을 제안합니다. 강화학습(reinforcement learning, RL)의 희소한 신용 할당(sparse credit assignment) 문제를 해결하기 위해, RL로 생성된 궤적에서 추론 오류와 누락된 멀티모달 증거를 식별하는 오프라인 궤적 교정 메커니즘을 개발했습니다. 교정된 궤적은 RL 과정에서 학습된 편향을 줄이는 지도 미세조정(supervised fine-tuning) 신호를 제공합니다. 이 메커니즘은 초기 RL이 추론 병목을 드러내고, 지도 미세조정이 이를 수정하며, 최종 RL 단계가 정책을 더욱 향상시키는 교정 기반 부트스트래핑 파이프라인을 지원합니다. AdSeek은 AdsCVR 테스트 분할에서 74.30%의 정확도를 달성하여 백본인 Qwen3-VL-8B-Instruct 대비 27.90%p 뛰어난 성능을 보였습니다. 또한 오픈 도메인 CrossVid 벤치마크에도 일반화되어 효과적인 능동적 증거 수집 능력을 입증했습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
NeurIPS 2026