Foresight: 재학습 없이 스트리밍 VLM에서 미래 지각을 계획하기
Foresight: planning future perception in streaming VLMs without retraining
기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.