arXiv:2610.01192v1 cs.CV

FlashBack: 스트리밍 비전-언어 모델에서 언제 기억해야 하는지 알기

FlashBack: Knowing When to Remember in Streaming Vision-Language Models

Yi Chen, MingMing Yu, Rui-Qi Wang, Boran Wang, Xiaohang Cao, Chu Tang, Jingmin Chen, Jie Gu

제출 2026-10-01

한국어 초록

스트리밍 비전-언어(vision-language) 모델은 제한된 연산 예산 내에서 지속적으로 증가하는 비디오 스트림을 처리해야 하므로, 실시간 인지와 장기 기억 사이에 지속적인 긴장 관계가 발생합니다. 과거 정보를 검색하는 것은 자연스러운 해결책을 제공하지만, 과거 정보를 회상(recall)하는 것이 항상 유익한 것은 아닙니다. 불필요한 과거 정보는 현재의 추론(inference)에 무관한 문맥을 유입시키고 고유한 실시간 인지를 방해할 수 있습니다. 따라서 효과적인 스트리밍 메모리는 무엇을 기억할지뿐만 아니라 언제, 어떻게 접근할지도 다루어야 합니다. 이를 위해 본 연구에서는 스트리밍 비전-언어 모델을 위한 선택적 다수준(multi-level) 메모리 기반의 학습(training) 불필요 프레임워크인 FlashBack을 소개합니다. 과거 정보를 검색하기 전에, FlashBack은 동결된 스트리밍 VLM의 의미론적 이해를 활용하여 쿼리가 과거의 근거를 필요로 하는지 추론합니다. 이 평가는 추론이 기본(Native) 궤적을 유지할지, 아니면 격리된 회상(Recall) 궤적을 호출할지를 결정합니다. Recall 궤적은 쿼리 로컬 Side-KV 경로를 통해 최근 문맥과 검색된 장기 메모리를 결합하여 영구적인 Native 상태를 수정하지 않고도 국소적인 시간적 연속성을 보존합니다. 우리는 StreamingVLM 및 Mage-VL-4B에 FlashBack을 구현하고 OVO-Bench 및 StreamingBench에서 이를 평가합니다. 실험 결과, 실시간 인지 능력을 대체로 보존하면서도 여러 장기(long-horizon) 및 메모리 의존적 작업에서 성능 향상을 보였으며, 추가 학습이 전혀 필요하지 않음에도 강력한 학습 기반 스트리밍 방식들과 경쟁력 있는 성능을 달성했습니다. 코드는 추후 공개될 예정입니다.

원문 초록

Streaming vision-language models must process continuously growing video streams under a bounded compute budget, creating a persistent tension between real-time perception and long-term memory. Retrieving historical information provides a natural remedy, yet historical recall is not uniformly beneficial: unnecessary history may introduce irrelevant context into current reasoning and interfere with native real-time perception. Effective streaming memory should therefore address not only what to remember, but also when and how to access it. To this end, we introduce FlashBack, a training-free framework for selective, multi-level memory in streaming vision-language models. Before retrieving history, FlashBack draws on the semantic understanding of the frozen streaming VLM to infer whether a query calls for historical evidence. This assessment determines whether inference remains on the Native trajectory or invokes an isolated Recall trajectory. The Recall trajectory combines recent context with retrieved long-term memory through a query-local Side-KV pathway, preserving local temporal continuity without modifying the persistent Native state. We instantiate FlashBack on StreamingVLM and Mage-VL-4B and evaluate it on OVO-Bench and StreamingBench. The results show improvements on several long-horizon and memory-dependent tasks while largely preserving real-time perception, with performance competitive with strong training-based streaming methods despite requiring no additional training. Our code will be announced later.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.01192v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.24743v4cs.CV공통 태그 Visual Question Answering, Retrieval-augmented Generation

ClinFusion: 포괄적 의료 이해를 위한 비전 중심 다중모달 LLM 시스템

ClinFusion: A Vision-Centric Multimodal LLM System for Holistic Medical Understanding

다중모달 대규모 언어 모델(MLLM)은 임상 실무를 혁신할 막대한 잠재력을 지니고 있으나, 의료 분야에 이를 배포하는 것은 근본적으로 비전 중심의 과제이다. 모델은 이질적인 2D 및 3D 의료 영상으로부터 지식을 흡수해야 하며, 평가 프로토콜은 방사선 전문의의 임상 실무와 부합해야 하고 정확하고 세밀하며 사실성 중심의 평가를 제공해야 한다. 본 논문에서는 이러한 한계를 체계적으로 해결하기 위해 포괄적 의료 이해를 위해 설계된 비전 중심 MLLM인 ClinFusion을 소개한다. 우리는 Cascade Spatial-Aware Locality Fusion 연산자를 특징으로 하는 구성적·계단식 비전 인코더 아키텍처를 제안하며, 이는 융합 인코더 내에서 다양한 2D 및 네이티브 3D 의료 영상 이해를 통합한다. 또한 지시 따르기(instruction following) 평가를 위한 MedIF-Bench와, 임상적으로 정렬되고 사실성 중심의 보고서 생성 평가를 위한 관심 영역(RoI) 기반 방법을 포함하는 비전 그라운딩(vision-grounded) 평가 프레임워크를 추가로 도입한다. ClinFusion이 시각적 질의응답, 보고서 생성, 지시 따르기에 이르는 2D 및 3D 다중모달 의료 벤치마크와 텍스트 의료 과제를 아우르는 포괄적 벤치마크 모음 전반에서 새로운 최첨단(state-of-the-art) 성능을 달성함을 보인다. 24개 벤치마크 중 20개에서 Hulu-Med, Lingshu 등 선도적인 오픈소스 의료 MLLM을 능가했으며, 16개 벤치마크 중 13개에서 GPT-5.2, Gemini-3-Flash와 같은 강력한 독점 모델보다 우수한 다중모달 능력을 보였고, 검색-증강 생성(RAG) 및 도구 지원 임상 워크플로를 위한 에이전트(agent) 도구 사용으로 더욱 확장할 수 있다. 방사선 전문의 자격을 갖춘 전문의들의 단맹 평가는 ClinFusion이 최상위 순위의 보고서를 생성함을 확인했으며, 우리의 RoI 기반 지표가 검토된 모든 자동 평가 지표 중 전문가 판단과 가장 강한 상관관계를 달성함을 검증했다.

arXiv:2607.28263v2cs.CL공통 태그 Retrieval-augmented Generation, kv cache

CoMem: 지속적 중간 잔차를 통해 여러 쿼리에 걸쳐 트랜스포머 깊이를 재사용하기

CoMem: Reusing Transformer Depth across Queries with Persistent Intermediate Residuals

공유 문서에 대한 반복적인 쿼리는 동일한 하위 트랜스포머(transformer) 층(layer)들을 반복해서 실행합니다. 본 논문에서는 분할 깊이 j를 명시적인 재사용 가능 문맥 축으로 만드는 CoMem을 소개합니다. CoMem은 토큰(token)당 하나의 깊이 j 잔차를 기록하고, 유계 청크 집합을 선택하며, [j:L) 층만 재개합니다. 우리가 알고 있는 문서 재사용 시스템 중 CoMem은 분할 깊이를 조정 가능한 서빙 축으로 만들고 이를 일치하는 j=0 엔드포인트로 격리합니다. Qwen3-8B에서 j=12는 선택된 팩 Read를 931.9ms에서 664.4ms로 줄이며(1.403배), 3.12포인트의 RULER 비용(95% CI [2.36, 3.93])을 수반하지만, 연속 접두 문맥(continuous-prefix) 오라클은 전체 격차를 회복합니다. 그 결과로 생성된 깊이 축은 품질-지연 시간-스토리지 간의 트레이드오프를 정량화하며, 동일 어댑터를 사용하는 별도의 Write 포함 파이프라인은 2.74배 더 빠릅니다. 동일 지연 시간 기준 원시 재생(raw replay)은 BM25에서 11.56포인트 앞서며, 이는 선지불된 깊이의 적용 가능성 한계를 숨기지 않고 직접 측정합니다. CoMem은 토큰당 8KiB를 저장하는 반면, 프로토콜 정렬된 동일 Qwen3 CacheBlend 스타일 진단 방식은 토큰당 144KiB를 저장합니다(집단 및 적응 예산은 일치하지 않음). 문맥-위치 인수분해는 누락된 하위 층 문서 문맥을 테스트된 주요 멀티키 오류로 식별하며, 32토큰 오버랩은 지속 바이트나 쿼리당 Read를 늘리지 않고도 92.5에서 98.5로 점수를 높입니다. CoMem은 반복 쿼리 긴 문맥 서빙을 위해 트랜스포머 깊이를 측정 및 조정 가능한 차원으로 개방합니다.

arXiv:2607.28627v2cs.CV공통 태그 Video Understanding, kv cache

ReToken: 시각 검색 토큰을 활용한 긴 문맥 VLM 성능 향상

ReToken: Improving Long-Context VLMs with Visual Retrieval Token

긴 시각적 문맥(long visual context)은 비전-언어 모델(VLM)에 큰 도전 과제가 됩니다. 방해 요소(distractor)의 수가 증가함에 따라 성능이 저하되고, 모든 토큰을 한 번에 처리하면 GPU 메모리 한계를 초과할 수 있기 때문입니다. 본 논문에서는 사전 채워진(pre-filled) KV 캐시에서 질의 관련 시각 토큰을 선택하기 위해 VLM의 내부 표현에서 검색 신호를 추출하는 단일 학습 가능 임베딩인 RETOKEN을 제시합니다. 이를 통해 별도의 검색기(retriever)나 재인코딩 없이도 답변을 생성하는 VLM 내부에서 검색이 가능해집니다. 소규모 이미지-QA 데이터셋만을 기반으로 학습되었음에도 불구하고, RETOKEN은 이미지 및 비디오 벤치마크 전반에 걸쳐 뛰어난 일반화 성능을 보입니다. Visual Haystacks에서 Qwen3VL-8B의 성능을 13.4점, InternVL3.5의 성능을 12.4점(상대적 20% 이상) 향상시켰습니다. LVBench에서는 긴 비디오에 제로샷(zero-shot)으로 전이되어 Qwen3VL-8B의 성능을 8.0점 향상시켰습니다. 경량화된 설계 덕분에 학습과 긴 비디오 추론이 모두 단일 H100에서 수행 가능합니다. 코드는 https://github.com/avaxiao/ReToken 에서 이용할 수 있습니다.

arXiv:2609.39378v2cs.CV공통 태그 Visual Question Answering, Video Understanding

EgoTools: 실세계 1인칭 시점 비디오에서의 도구 중심 추론을 향하여

EgoTools: Towards Tool-Centric Reasoning in Real-World Egocentric Videos

일상적인 활동부터 전문적인 절차에 이르기까지 실세계의 체화된(embodied) 과제는 에이전트(agent)가 물리적 제약 조건 하에서 행동하는 동시에 변화하는 객체 및 작업 상태를 추적할 것을 요구합니다. 많은 일상 및 전문 활동이 도구를 매개로 이루어지므로, 도구 사용은 이러한 과제의 핵심에 위치합니다. 이를 이해하기 위해서는 어포던스(affordance), 손-도구-객체 간의 기하학적 구조, 절차적 진행 상황, 대상 객체에 미치는 인과적 영향에 대한 추론이 필요합니다. 그러나 캡셔닝 및 일반적인 비디오 QA와 같이 인식 지향적인 비디오 과제에서의 우수한 성능에도 불구하고, 현재의 멀티모달 비디오 모델들은 이러한 형태의 도구 중심 체화 추론에서 여전히 한계를 보입니다. 이러한 방향의 발전은 실세계 1인칭 시점(egocentric) 데이터와 진단용 벤치마크(benchmark)의 부재로 인해 제한되어 왔습니다. 이러한 공백을 해결하기 위해, 본 논문에서는 1인칭 시점 도구 사용 이해를 위한 최초의 종합적인 스위트인 EgoTools를 소개합니다. 이는 상호 보완적인 두 가지 구성 요소로 이루어져 있습니다. 동기화된 오디오, 조밀한 캡션, 추론 중심의 내레이션 및 보조 3D 정보를 포함하는 100시간 분량의 도구 중심 1인칭 시점 녹화 대규모 말뭉치인 EgoTools-Data와, 인식 및 기하학적 구조부터 절차 및 인과 추론에 이르는 도구 사용 이해를 다루는 4개 트랙 전반의 1,000개 QA 쌍으로 구성된 진단용 벤치마크인 EgoTools-Bench입니다. 실험 결과는 현재 모델들이 시각적 증거에 기반하여 도구 사용을 그라운딩(grounding)하는 데 여전히 어려움을 겪고 있음을 보여줍니다. Gemini-3.1-Pro는 전반적으로 66.9%의 정확도를 달성했으나 인식 및 그라운딩(Perception & Grounding)에서는 51.7%에 그쳤습니다. 평가를 넘어, 본 연구는 EgoTools-Data가 학습(training) 자원으로서 유효함을 검증합니다. 전체 1,000개 질문 벤치마크에서 엄격한 원본 비디오 분리 조건 하에 전체 지도 미세조정(supervised fine-tuning)을 적용했을 때 Qwen3-VL-8B-Instruct의 성능이 50.0%에서 60.9%로 향상되었습니다. 종합적으로 이러한 결과들은 EgoTools가 실세계 1인칭 시점 도구 사용 이해의 학습과 진단 평가 모두를 위한 통합 자원임을 입증합니다.

arXiv:2610.03123v1cs.CV공통 태그 Video Understanding, kv cache

Foresight: 재학습 없이 스트리밍 VLM에서 미래 지각을 계획하기

Foresight: planning future perception in streaming VLMs without retraining

기존의 스트리밍 비전-언어 모델(VLM)은 시각적 스트림을 지속적으로 지각하고 추론하지만, 추론 과정 전반에 걸쳐 연산 경로는 고정되어 있습니다. 결과적으로 서로 다른 미래 사건이 서로 다른 수준과 형태의 지각을 요구하는 동적인 장면 변화에 맞춰 연산을 적응시키지 못합니다. 본 논문에서는 스트리밍 VLM이 당장의 가까운 미래를 예측하는 능력을 본질적으로 지니고 있음을 보이고, 이 능력을 활용하여 학습 없이(training-free) 미래 연산을 동적으로 구성합니다. 그러나 이러한 예측적 연산을 구현하는 것은 매우 까다롭습니다. 미래 예측은 연산을 안내할 수 있을 만큼 충분히 신뢰할 수 있어야 하고, 계획(planning)은 스트리밍 추론과 동시에 실행되어야 하며, 온라인 재구성은 무시할 수 있을 정도의 오버헤드만 발생시켜야 합니다. 이러한 문제를 해결하기 위해 가중치, 입력 인코더, KV 캐시를 공유하는 두 개의 샴 LLM(Siamese LLM)으로 구성된 듀얼 스트림 아키텍처 FORESIGHT를 제안합니다. 첫 번째 LLM은 입력되는 토큰을 지속적으로 처리하며, 두 번째 LLM은 스트리밍 추론을 중단하지 않고 스트림보다 앞서 실행되어 미래 컨텍스트를 예측하고 미래 연산을 계획하며 작업 응답을 생성합니다. 각 계획은 일시적인 증거와 지속적인 제어를 분리하여 유지하면서, 다음에 언제 추론할지, 그때 무엇을 확인할지, 얼마나 조밀하게 샘플링할지를 결정합니다. 생성된 연산 계획은 스키마 유도 디코딩(schema-guided decoding)과 경량 diff 기반 업데이트를 활용한 효율적인 재구성 프로토콜을 통해 온라인으로 실행되어 낮은 오버헤드로 동적 적응을 가능하게 합니다. 동결된 Qwen3-VL-8B 백본을 사용하는 FORESIGHT는 OmniPro Online 평가에서 23.0 평균 결합 F1을 달성하여 가장 강력한 학습 기반 기준선(baseline)을 9.5% 차이로 제쳤으며, StreamingBench에서 백본 대비 6.7, OVO-Bench에서 15.4의 성능 향상을 보였고, 비디오 스트림에서 증거가 늦게 나타날 때 최대 18.7의 가장 큰 향상을 기록했습니다. 소스 코드는 공개될 예정입니다.

arXiv:2610.00573v1cs.CV공통 태그 Visual Question Answering, Video Understanding

FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택

FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.