의료 멀티모달 대규모 언어 모델(MLLM)은 이미지 이해와 숏폼 비디오 분석을 발전시켰지만, 실제 임상 검토는 전체 시술 과정 비디오의 이해를 요구하는 경우가 많습니다. 일반적인 롱 비디오와 달리 의료 시술은 매우 중복된 해부학적 뷰를 포함하는 반면, 결정적인 증거는 시간적으로 희소하고 공간적으로 미세하며 문맥에 의존적입니다. 기존 벤치마크는 이러한 증거가 이미지, 짧은 클립 또는 사전 분할된 비디오를 통해 이미 국소화되어 있다고 가정하는 경우가 많아, 추론 이전의 검색(retrieval-before-reasoning) 문제를 충분히 검증하지 못하고 있습니다. 본 논문에서는 야생(in-the-wild) 환경에서의 롱 컨텍스트 의료 비디오 이해를 위한 벤치마크인 MedHorizon을 소개합니다. MedHorizon은 759시간 분량의 전체 임상 시술 과정을 보존하며, 희소한 증거 이해와 다단계(multi-hop) 임상 추론을 함께 평가하는 1,253개의 증거 기반 객관식 질문을 제공합니다. 증거는 평균 0.166%의 증거 프레임에 불과할 정도로 극도로 희소하여, 모델이 소견을 해석하고 종합하기 전에 노이즈가 많은 시술 스트림을 먼저 탐색해야 합니다. 우리는 대표적인 범용 도메인, 의료 도메인 및 롱 비디오 MLLM을 평가했습니다. 최고 성능의 모델도 41.1%의 정확도에 그쳐, 현재 시스템이 견고한 전체 시술 이해와는 여전히 거리가 멀다는 것을 보여줍니다. 추가 분석을 통해 네 가지 주요 발견을 도출했습니다: 프레임 수가 증가해도 성능이 안정적으로 스케일링되지 않으며, 증거 검색 및 임상적 해석이 여전히 주요 병목 현상으로 남아 있고, 이러한 병목은 취약한 절차적 추론과 중복성 하에서의 어텐션 표류(attention drift)에 기인하며, 일반적인 샘플링 방법은 국소적 세부 정보와 전역적 커버리지의 균형을 부분적으로만 맞출 수 있습니다. MedHorizon은 희소한 증거를 검색하고 완전한 임상 워크플로우에 걸쳐 추론하는 MLLM을 위한 엄격한 테스트베드를 제공합니다.
검색-증강 생성(RAG)은 텍스트를 넘어 질의와 관련된 청크가 여러 모달리티와 시간적 세분성에 걸쳐 표현될 수 있는 긴 비디오로 확장되고 있습니다. 이러한 설정인 VideoRAG의 발전은 두 가지 한계로 인해 제약을 받습니다. 즉, 기존 벤치마크에서는 비디오 없이도 질의에 답할 수 있어 검색 오류가 가려진다는 점과, 기존 방법들이 청크 수준의 가변성을 무시한 채 질의당 단일 모달리티-세분성 구성만을 적용한다는 점입니다. 본 논문에서는 두 문제를 모두 해결하기 위해 시간 단위 길이의 비디오에 대한 $\langle$질의, 근거 청크, 답변$\rangle$ 트리플릿으로 구성되어 각 답변이 고유한 근거 청크에 의존함으로써 검색과 생성의 분리된 평가를 가능하게 하는 벤치마크인 V-RAGBench와, 여러 구성에 걸쳐 병렬 검색기를 실행하고 청크 적응형 재순위화를 사용하여 각 청크에 대한 최적 구성을 선택한 후 이를 생성 단계로 전달하는 학습(training) 불필요 방식인 CARVE를 제안합니다. V-RAGBench에서 CARVE는 두 단계 모두에서 8개의 최신 VideoRAG 베이스라인보다 뛰어난 성능을 보였으며, 생성기에 제공하는 근거는 단일 구성을 공유하는 대신 여러 구성을 인터리빙합니다. 이러한 성능 향상은 1인칭 시점 및 3인칭 시점의 긴 비디오 전반에서 유지되며 확장된 구성 공간으로도 이어집니다.
스트리밍 비전-언어(vision-language) 모델은 제한된 연산 예산 내에서 지속적으로 증가하는 비디오 스트림을 처리해야 하므로, 실시간 인지와 장기 기억 사이에 지속적인 긴장 관계가 발생합니다. 과거 정보를 검색하는 것은 자연스러운 해결책을 제공하지만, 과거 정보를 회상(recall)하는 것이 항상 유익한 것은 아닙니다. 불필요한 과거 정보는 현재의 추론(inference)에 무관한 문맥을 유입시키고 고유한 실시간 인지를 방해할 수 있습니다. 따라서 효과적인 스트리밍 메모리는 무엇을 기억할지뿐만 아니라 언제, 어떻게 접근할지도 다루어야 합니다. 이를 위해 본 연구에서는 스트리밍 비전-언어 모델을 위한 선택적 다수준(multi-level) 메모리 기반의 학습(training) 불필요 프레임워크인 FlashBack을 소개합니다. 과거 정보를 검색하기 전에, FlashBack은 동결된 스트리밍 VLM의 의미론적 이해를 활용하여 쿼리가 과거의 근거를 필요로 하는지 추론합니다. 이 평가는 추론이 기본(Native) 궤적을 유지할지, 아니면 격리된 회상(Recall) 궤적을 호출할지를 결정합니다. Recall 궤적은 쿼리 로컬 Side-KV 경로를 통해 최근 문맥과 검색된 장기 메모리를 결합하여 영구적인 Native 상태를 수정하지 않고도 국소적인 시간적 연속성을 보존합니다. 우리는 StreamingVLM 및 Mage-VL-4B에 FlashBack을 구현하고 OVO-Bench 및 StreamingBench에서 이를 평가합니다. 실험 결과, 실시간 인지 능력을 대체로 보존하면서도 여러 장기(long-horizon) 및 메모리 의존적 작업에서 성능 향상을 보였으며, 추가 학습이 전혀 필요하지 않음에도 강력한 학습 기반 스트리밍 방식들과 경쟁력 있는 성능을 달성했습니다. 코드는 추후 공개될 예정입니다.
장기 비디오 이해는 세밀한 지각과 복잡한 장거리 시공간 역학에 대한 다단계 고차 추론을 필요로 한다. 비전-언어 모델(VLM)은 비디오 프레임을 시각 토큰으로 인코딩하고, 단일 순전파 내에서 지각과 다단계 계획을 잠재적으로 모두 수행하려 한다. 그러나 이러한 결합형 공식화는 대규모 언어 모델(LLM)의 잠재 표현에서 다단계 전략을 발견하고 실행하는 능력이 제한되어 병목이 발생한다. 이 병목을 해결하기 위해, 우리는 장기 비디오 이해를 계층적으로 분할된 비디오에 대한 반복적 프로그램적 탐험으로 재공식화함으로써 의미적 지각과 고차 시간적 추론을 분리하는 프레임워크인 계층적 프로그램적 프로빙(HPP)을 제안한다. 구체적으로, 코딩이 가능한 LLM이 대화형 코딩 환경에서 다단계 전략을 계획하고 실행하며, 비디오를 프로빙하여 정보를 탐색하고 필요 시 VLM을 호출하여 국소적 지각을 수행한다. 장기 비디오에서 프로빙을 실행 가능하게 하기 위해, 우리는 정보 밀도 인지 계층적 분할, late-interaction 의미 검색, 거친 단계에서 세밀한 단계로의 시간적 국소화를 위한 구조화된 프로빙 함수, 세 가지 구성 요소를 도입한다. 우리는 세밀한 지각과 장거리 관계 추론을 모두 요구하는 LongVideoBench에서 HPP를 검증하고, 반복적 프로그램적 프로빙을 통해 두 과정을 분리하면 상당한 성능 향상을 얻음을 보인다. EgoSchema, VideoMME, MLVU에 대한 추가 결과는 다양한 장기 비디오 벤치마크에서 우리 접근법의 효과를 입증한다.
장기 비디오 이해에서 프레임 예산 B와 시간적 거리 D의 함수로서 답변 정확도가 어떻게 저하되는지를 정량화하는 간결한 경험적 모델을 제안한다. 전체 프레임의 일부 B를 사용하여 D초 전의 내용을 회상할 때의 성능을 분석한다. 장편 모델은 엄격한 예산 하에서 동작하지만, B가 줄어들고 사건이 멀어질수록 정확도가 어떻게 저하되는지 예측하는 기존 프레임워크는 없었다. 10개 모델과 3가지 샘플링 전략에 걸친 약 155,000건의 이진 예측에 가중 최소제곱 모델을 적합시켜, 로짓-정확도가 로그 예산에 대해 선형적으로 스케일링되고 거리에 따라 로그-선형적으로 감쇠하는 거리 의존 지수를 갖는 법칙을 도출한다. 이 예산 지수 α(D)는 거리 D에서 추가 프레임의 한계 가치를 포착한다. 이 법칙은 모델 전반에서 셀 수준 가중 R^2 = 0.05-0.75를 달성한다. 주목할 점은, D = 1000초에서의 예산 효과가 최고의 스트리밍 모델과 베이스 모델 사이에서 약 7.4배 차이 난다는 것이다. STREAMINGVLM은 α(1000) = 1.26 (95% CI: [1.06, 1.58])을 달성하여, 예산이 10배 증가하면 장거리 정확도가 실질적으로 향상됨을 의미하는 반면, 최고의 Qwen3-VL 베이스 모델은 α(1000) = 0.17 (CI: [0.04, 0.34])에 그친다. 정확도 공간에서, D = 1000초에서 예산이 10배 증가하면 STREAMINGVLM은 +29 percentage points, 베이스 모델은 +4 pp를 각각 얻는다. 샘플링 전략은 모델에 따라 달라지는 트레이드오프를 보여준다. 무작위 샘플링은 더 높은 베이스 민감도를 제공하지만 거리 감쇠가 더 가파르다. α(D)가 장거리에서의 모델 순위 역전을 포함한 원칙적 예산 할당을 어떻게 가능하게 하는지 보여주고, 이를 스트리밍 비디오 모델의 진단 지표로 제안한다.