arXiv:2610.03123v1 cs.CV

Foresight: 재학습 없이 스트리밍 VLM에서 미래 지각을 계획하기

Foresight: planning future perception in streaming VLMs without retraining

Ashok Prasad Neupane, Dipan Bartaula, Ankit Belbase, Saugat Adhikari, Samip Ghimire, Saroj Poudel, Binod Bhattarai, Danda Pani Paudel

제출 2026-10-02

한국어 초록

기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.

원문 초록

Existing streaming vision-language models (VLMs) continuously perceive and reason over visual streams, but their computational pathways remain fixed throughout inference. Consequently, they cannot adapt computation to evolving scene dynamics, where different future events demand different levels and forms of perception. We show that streaming VLMs inherently possess the ability to anticipate the immediate future, and leverage this capability to dynamically configure future computation in a training-free manner. Realizing such anticipatory computation, however, is very challenging: future anticipation must be sufficiently reliable to guide computation, planning must run concurrently with streaming inference, and online reconfiguration must incur negligible overhead. To address these challenges, we introduce FORESIGHT, a dual-stream architecture comprising two Siamese LLMs with shared weights, input encoders, and KV cache. The first LLM continuously processes incoming tokens, while the second runs ahead of the stream to anticipate future context, plan future computation, and generate task responses without interrupting streaming inference. Each plan decides when to reason next, what to check then, and how densely to sample, keeping transient evidence separate from persistent control. The resulting computation plan is executed online through an efficient reconfiguration protocol with schemaguided decoding and lightweight diff-based updates, enabling dynamic adaptation with low overhead. With a frozen Qwen3-VL-8B backbone, FORESIGHT achieves 23.0 mean joint F1 on OmniPro Online evaluation beating strongest trained baseline by 9.5%, while improving the backbone by 6.7 on StreamingBench and 15.4 on OVO-Bench, with the largest gain of 18.7 when evidence arrives later in the video stream. Our source code will be made publicly available.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.03123v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02181v3cs.CV공통 태그 Video Understanding, Large Language Model

OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합

OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning

본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.

arXiv:2610.11019v1cs.CV공통 태그 Video Understanding, Large Language Model

원시 비디오를 활용한 언어 모델의 중간 학습

Mid-Training Language Models on Raw Video

다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.

arXiv:2609.34060v2cs.LG공통 태그 Large Language Model, kv cache

KVCMAS: 멀티 에이전트 시스템의 공유 컨텍스트를 위한 효율적인 KV 캐시 보정

KVCMAS: Efficient KV cache Correction for Shared Context in Multi-Agent Systems

프롬프트(prompt) 특화 멀티 에이전트(agent) 시스템은 여러 에이전트가 단일 모델(model)을 공유하면서 상호 보완적인 역할을 수행하여 복잡한 작업을 해결할 수 있도록 돕습니다. 그러나 에이전트별 프리픽스(prefix)로 인해 동일한 공유 컨텍스트에 대해 생성되는 KV 캐시(KV cache)가 달라지며, 이로 인해 각 에이전트가 점차 증가하는 컨텍스트를 반복적으로 프리필(prefill)하고 높은 연산 및 메모리 오버헤드를 유발하는 별도의 캐시를 구축하게 됩니다. 선택적 재계산(selective recomputation)은 이러한 중복을 줄이지만 여전히 상당한 모델 실행을 필요로 하며, 기존의 델타 보정 방식들은 반복되는 컨텍스트 관계만을 지원하거나 동적으로 변화하는 컨텍스트에 대해 메모리 집약적인 온라인 보정 상태를 유지해야 합니다. 또한 이러한 방식들은 처음 확인된 공유 컨텍스트에 대해 에이전트 워크플로 외부에서 참조 캐시를 구성하며, 첫 번째 에이전트에서의 근사 보정은 후속 에이전트로 전달되는 출력에 영향을 미칩니다. 본 논문에서는 에이전트 간 캐시 편차를 컴팩트한 로우랭크(low-rank) 상태로 표현하고, 추가적인 참조 프리필 없이 에이전트 워크플로를 따라 보정을 매끄럽게 연결하는 온라인 KV 캐시 보정 프레임워크인 KVCMAS를 제안합니다. 이 설계는 첫 번째 에이전트의 정확한 캐시를 보존하면서도 동적으로 변화하는 공유 컨텍스트를 지원합니다. 다양한 언어 및 비전-언어(vision-language) 워크로드에 걸쳐, KVCMAS는 이전의 KV 캐시 공유 방식들의 정확도와 일치하거나 이를 개선하는 동시에 높은 동시성 서빙 환경에서 가장 낮은 최초 토큰 생성 시간(TTFT)을 달성합니다. 제어된 서빙 트레이스 환경에서, KV 캐시 공유가 없는 추론(inference) 대비 2.0배의 TTFT 속도 향상을 제공하며 이전 KV 캐시 보정 방식 대비 최대 3.7배 피크 GPU 메모리를 절감합니다. 이러한 결과는 KVCMAS가 프롬프트 특화 멀티 에이전트 서빙을 위한 정확하고 확장 가능한 KV 캐시 공유 접근 방식임을 입증합니다.

arXiv:2610.02235v1cs.AR공통 태그 Large Language Model, kv cache

CORE: KV 캐시를 위한 커버리지 캘리브레이션 및 제거 질량 재분배

CORE: COverage CAlibration and Evicted-Mass REdistribution for KV Cache

긴 문맥(long-context) 디코딩은 키-값(KV) 캐시 메모리와 대역폭에 의해 점점 더 제한받고 있습니다. 기존의 고정 예산 압축 방법들은 대개 보존과 보상을 분리하는 반면, 보존 순위 지정 방식은 버려지는 어텐션(attention) 질량이나 유도된 출력 오차의 방향을 명시하지 못합니다. 본 연구는 정확한 분해로부터 출발합니다. 즉, 제거 오차는 제거된 어텐션 질량과 제거된 중심점(centroid) 및 보존된 출력 간의 방향 차이의 곱과 같으며, 이는 보존에서의 집합 수준 커버리지와 질량 보존 메모리 기록의 중요성을 강조합니다. 본 논문에서는 쿼리 효용성과 로그 행렬식 커버리지를 결합한 오프라인 할당을 경량 캐시 인식 인덱서로 증류하는 KV 캐시용 커버리지 캘리브레이션 및 제거 질량 재분배 기법인 CORE(COverage CAlibration and Evicted-Mass REdistribution for KV Cache)를 소개합니다. 추론(inference) 시 단 하나의 캘리브레이션된 분포가 두 경로를 모두 구동합니다. 이 분포의 상위 $B$개(Top-$B$) 순서는 상호보완적인 KV 상태들을 보존하는 한편, 제외된 할당 질량과 조건부 가중치(weight)는 별도의 기록 가중치 예측기나 온라인 로그 행렬식 계산 없이도 잠재 메모리 기록을 매개변수화합니다. 본 분석은 4개 항으로 구성된 사전 보상 오차 보증을 제공하고, 비가산적 커버리지 상호작용을 특성화하며, 순환 및 쿼리 적응형 정규화(normalization)를 통해 계층적 한계를 지닌 질량 독립적 기록 안정성을 확립합니다. 3가지 백본 전반에 걸쳐 CORE는 90% 압축률에서 가장 강력한 RULER 기준선(baseline) 대비 최대 3.78점 앞섰으며, LongBench 및 반복 제거 평가를 통해서도 강력한 유효성과 디코딩 효율성을 추가로 입증합니다.

arXiv:2610.00825v1cs.CV공통 태그 Video Understanding, Large Language Model

정렬 후 추론: 더빙을 위한 멀티모달 립싱크 판별 모델

Align Then Reason: A Multimodal Lip-Sync Judge for Dubbing

더빙 품질 관리는 더빙된 오디오가 아직 존재하지 않을 수 있기 때문에 무음 비디오와 텍스트만을 사용하여, 후보 대사 텍스트가 발화자의 가시적인 조음 동작과 내용 및 타이밍 측면 모두에서 일치하는지 판단할 수 있는 무참조(reference-free) 판별 모델을 필요로 합니다. 기존의 시각적 음성 인식기 및 비디오-언어 모델은 이러한 환경에 잘 맞지 않습니다. 입술 움직임에서 발화 내용을 복원하도록 파인튜닝(fine-tuning)되더라도 시간적 오류에는 여전히 둔감하기 때문입니다. 본 논문에서는 프레임 단위 입술 표현과 후보 대사의 음소 단위 간 단조 정렬(monotonic alignment)을 먼저 구축한 다음, 이 정렬을 바탕으로 추론하여 최종 판단을 내리는 다국어 립싱크 판별 모델인 Align Then Reason(ATR)을 소개합니다. 정렬 스코어러는 대규모 언어 모델(LLM)에 각 음소 단위에 대한 로컬 증거와 보정된 글로벌 정렬 점수를 모두 제공하여, 모델이 내용과 타이밍에 대해 함께 추론할 수 있도록 합니다. 7개 언어 벤치마크에서 본 연구의 방식은 2B, 4B, 9B 추론 모델을 사용했을 때 대응하는 Qwen3.5 SFT 기준선(baseline) 대비 평균 AUC를 각각 59.4%, 50.2%, 50.8% 향상시킵니다. 이러한 성능 향상은 LLM 패밀리 전반에 걸쳐 일반화되어 LLaMA-3.1-8B 및 Mistral-7B에서 최고 성능의 기준선 대비 각각 45.9% 및 46.6%의 평균 AUC 향상을 달성합니다. 또한 학습에 사용되지 않은 3개의 MuAViC 언어로 데이터셋 간 전이도 가능함을 보여줍니다. 나아가 실제 더빙 대사로 구축된 두 가지 다운스트림 작업에서 평가를 수행했습니다. 더빙 대사 재순위화(reranking)에서 ATR-9B는 최고 성능의 립리딩 기준선 대비 52.0% 우수한 성능을 보였으며, 대본-클립 매칭(script-to-clip assignment)에서는 ATR-9B가 최고 성능의 립리딩 기준선 대비 17.7% 향상되었습니다.

arXiv:2610.01192v1cs.CV공통 태그 Video Understanding, kv cache

FlashBack: 스트리밍 비전-언어 모델에서 언제 기억해야 하는지 알기

FlashBack: Knowing When to Remember in Streaming Vision-Language Models

스트리밍 비전-언어(vision-language) 모델은 제한된 연산 예산 내에서 지속적으로 증가하는 비디오 스트림을 처리해야 하므로, 실시간 인지와 장기 기억 사이에 지속적인 긴장 관계가 발생합니다. 과거 정보를 검색하는 것은 자연스러운 해결책을 제공하지만, 과거 정보를 회상(recall)하는 것이 항상 유익한 것은 아닙니다. 불필요한 과거 정보는 현재의 추론(inference)에 무관한 문맥을 유입시키고 고유한 실시간 인지를 방해할 수 있습니다. 따라서 효과적인 스트리밍 메모리는 무엇을 기억할지뿐만 아니라 언제, 어떻게 접근할지도 다루어야 합니다. 이를 위해 본 연구에서는 스트리밍 비전-언어 모델을 위한 선택적 다수준(multi-level) 메모리 기반의 학습(training) 불필요 프레임워크인 FlashBack을 소개합니다. 과거 정보를 검색하기 전에, FlashBack은 동결된 스트리밍 VLM의 의미론적 이해를 활용하여 쿼리가 과거의 근거를 필요로 하는지 추론합니다. 이 평가는 추론이 기본(Native) 궤적을 유지할지, 아니면 격리된 회상(Recall) 궤적을 호출할지를 결정합니다. Recall 궤적은 쿼리 로컬 Side-KV 경로를 통해 최근 문맥과 검색된 장기 메모리를 결합하여 영구적인 Native 상태를 수정하지 않고도 국소적인 시간적 연속성을 보존합니다. 우리는 StreamingVLM 및 Mage-VL-4B에 FlashBack을 구현하고 OVO-Bench 및 StreamingBench에서 이를 평가합니다. 실험 결과, 실시간 인지 능력을 대체로 보존하면서도 여러 장기(long-horizon) 및 메모리 의존적 작업에서 성능 향상을 보였으며, 추가 학습이 전혀 필요하지 않음에도 강력한 학습 기반 스트리밍 방식들과 경쟁력 있는 성능을 달성했습니다. 코드는 추후 공개될 예정입니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.