FreshMem: 스트리밍 비디오 이해를 위한 뇌 영감 기반 주파수-공간 하이브리드 메모리
FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding
한국어 초록
연속적인 인식을 위해서는 멀티모달 대규모 언어 모델(MLLM)을 오프라인에서 온라인 스트리밍 비디오 이해로 전환하는 것이 필수적입니다. 그러나 기존 방식들은 유연한 적응성이 부족하여 비가역적인 세부정보 손실과 문맥 단편화를 초래합니다. 이를 해결하기 위해, 우리는 뇌의 로그 지각 및 기억 고정화에서 영감을 얻은 주파수-공간 하이브리드 메모리 네트워크인 FreshMem을 제안합니다. FreshMem은 두 가지 시너지 모듈을 통해 단기 충실도와 장기 일관성을 조화시킵니다. 첫째는 넘쳐나는 프레임을 대표 주파수 계수로 투영하고 잔차 세부정보로 보완하여 전역적인 과거 "요점(gist)"을 재구성하는 다중 스케일 주파수 메모리(MFM)이며, 둘째는 적응형 압축 전략을 사용하여 연속적인 스트림을 일화적 클러스터로 이산화하고 이를 고밀도 공간 썸네일로 증류하는 공간 썸네일 메모리(STM)입니다. 광범위한 실험을 통해 FreshMem이 Qwen2-VL 기준선(baseline) 성능을 크게 향상시켜 StreamingBench, OV-Bench, OVO-Bench에서 각각 5.20%, 4.52%, 2.34%의 성능 향상을 달성함을 입증했습니다. 별도의 학습(training)이 필요 없는 트레이닝-프리 솔루션으로서 FreshMem은 완전 파인튜닝된 여러 방식들을 능가하며, 장기 스트리밍 비디오 이해를 위한 고효율 패러다임을 제시합니다.
원문 초록
Transitioning Multimodal Large Language Models (MLLMs) from offline to online streaming video understanding is essential for continuous perception. However, existing methods lack flexible adaptivity, leading to irreversible detail loss and context fragmentation. To resolve this, we propose FreshMem, a Frequency-Space Hybrid Memory network inspired by the brain's logarithmic perception and memory consolidation. FreshMem reconciles short-term fidelity with long-term coherence through two synergistic modules: Multi-scale Frequency Memory (MFM), which projects overflowing frames into representative frequency coefficients, complemented by residual details to reconstruct a global historical "gist"; and Space Thumbnail Memory (STM), which discretizes the continuous stream into episodic clusters by employing an adaptive compression strategy to distill them into high-density space thumbnails. Extensive experiments show that FreshMem significantly boosts the Qwen2-VL baseline, yielding gains of 5.20%, 4.52%, and 2.34% on StreamingBench, OV-Bench, and OVO-Bench, respectively. As a training-free solution, FreshMem outperforms several fully fine-tuned methods, offering a highly efficient paradigm for long-horizon streaming video understanding.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
OneStreamer: 스트리밍 비디오 상호작용에서 인식, 메모리 및 능동적 응답의 통합
OneStreamer: Unifying Perception, Memory, and Proactive Response in Streaming Video Interaction
스트리밍 비디오 대규모 언어 모델(LLM)은 향후 태스크와의 연관성이 알려지기 전에 증거를 보존하고, 충분한 증거가 확보되었을 때 응답할 수 있어야 합니다. 여기서 당면 과제는 실시간 인식을 저해하지 않으면서 재사용 가능한 사실적 메모리를 형성하는 것입니다. 본 논문에서는 공유된 능동적 생성 과정을 통해 쿼리 무관한 증거 기록과 태스크 응답을 공동으로 학습하는 OneStreamer를 소개합니다. OneStreamer의 능동적 계층형 캡션 메모리(PHCM)는 시간에 기반한(time-grounded) 세부 로컬 캡션과 완료된 이벤트 요약을 생성합니다. 스트리밍 캡션 타깃은 학습(training) 중에 관찰된 비디오 접두부의 해석을 지도합니다. 추론(inference) 시에는 모델(model)이 생성한 기록이 최근의 시각적 윈도우를 보완하여, 과거 시각 특징을 다시 참조하지 않고도 재사용 가능한 사실적 컨텍스트를 제공합니다. 능동적 상태 전이 학습(PSTL)은 모든 출력 앵커에서 지도 신호를 보존하고 대표적인 상태 변화 및 상태 유지 토큰을 선택함으로써 반복되는 대기 상태의 지배적 영향을 줄입니다. 나아가 사용 가능한 증거에 맞춰 출력 내용과 타이밍을 정렬하는 스트리밍 데이터 합성 파이프라인을 개발했습니다. 이렇게 생성된 스트리밍 캡션 및 QA를 정제된 오픈소스 데이터와 결합하여, 다양한 태스크에 걸쳐 100만 개 이상의 레코드를 포괄하는 광범위한 스트리밍 비디오 상호작용 데이터셋(dataset)인 OneStreamer-1M을 구축했습니다. 본 연구의 4B 모델은 평가된 8개의 스트리밍 비디오 이해 벤치마크 전반에서 비교 방법들 중 최고의 결과를 달성했습니다. 절제 연구에 따르면, 생성된 캡션을 유지하는 것이 실시간 인식을 저하시키지 않으면서 과거 QA 성능을 향상시키는 것으로 나타났습니다. 또한 PSTL은 주석이 달린 상태 토큰의 27.5%만을 지도하면서도 밀집 상태 지도 방식을 능가했습니다. 종합적으로 이러한 결과들은 능동적 생성이 스트리밍 비디오 상호작용에서 인식, 메모리 형성, 그리고 적시 응답을 연결하는 공유 학습 인터페이스 역할을 할 수 있음을 뒷받침합니다.
Peak-End-Net: 피크-엔드 규칙(peak-end rule)에서 영감을 받은 일반화 가능한 비디오 미적 평가 프레임워크
Peak-End-Net: A Peak-End Rule Inspired Framework for Generalizable Video Aesthetic Assessment
비디오 미적 평가(VAA)는 비디오가 미적으로 얼마나 만족스러운지 예측하는 것을 목표로 하지만, 다른 시각 평가 작업에 비해 훨씬 덜 탐구되어 왔다. 그 발전은 대규모 벤치마크(benchmark)의 부족뿐 아니라, 인간 지각에 의해 형성되는 미적 판단의 내재적 주관성에 의해서도 저해된다. 본 논문에서는 심리학적 관점에서 VAA를 재검토하고, 사람들이 시간적 경험을 주로 두드러진 순간(salient moments)과 끝(end)에 따라 판단하는 경향이 있다고 제안하는 피크-엔드 규칙에서 영감을 받은 경량이며 해석 가능한 프레임워크인 Peak-End-Net을 제안한다. 이 직관에 기반하여, 먼저 사전학습된 IAA 헤드를 도입하여 프레임별 미적 사전 신호(aesthetic priors)를 생성함으로써 이미지 미적 평가(IAA)에서 VAA로 지식을 전이한다. 이는 미적으로 두드러진 순간을 식별하고 피크-엔드 규칙 기반 시간적 집계(temporal aggregation)를 안내하는 대리 신호(surrogate signals) 역할을 한다. 또한 비디오가 시간에 따라 미적으로 어떻게 변화하는지 더 포착하기 위해, 고립된 순간을 넘어 시간적 진행(temporal progression)을 모델링하는 미적 리듬 인코더(aesthetic rhythm encoder)를 설계한다. 또한 분포 이동(distribution shift) 하에서의 견고성(robustness)을 향상시키기 위해 동적 게이트 융합(dynamic gated fusion) 메커니즘을 통해 전체 평가를 정제한다. 우리 방법은 고정된 비전 트랜스포머(ViT) 위에 구축되며, 학습 가능한 매개변수가 소량만 필요하여 확장 가능하고 매개변수 효율적(parameter-efficient)이다. VADB에서의 도메인 내(in-domain) 평가와 DIVIDE-3K에서의 교차 도메인(cross-domain) 테스트를 포함한 두 기존 VAA 벤치마크에 대한 광범위한 실험은, 우리 접근법이 최신(state-of-the-art) 성능을 달성함을 보여주며, VAA를 위한 심리학적 기반(psychologically grounded) 모델링의 가치를 확인한다. 코드와 모델은 https://github.com/AMAP-ML/Peak-End-Net 에서 이용할 수 있다.
DispatchRAG: 교통사고 영상으로부터 실세계 프로토콜에 기반한 긴급 출동 결정의 그라운딩
DispatchRAG: Grounding Emergency Dispatch Decisions in Real-World Protocols from Traffic Accident Video
FOLIO: 스트리밍 비디오 이해를 위한 집중 의미 기억
FOLIO: Focused Semantic Memory for Streaming Video Understanding
온라인 스트리밍 비디오 이해에서는 비디오 스트림이 계속 도착하고 질의가 언제든지 발생할 수 있다. 스트리밍 프레임이 무한히 증가하기 때문에, 시스템은 미래 프레임과 미래 질의가 알려지지 않은 상태에서 관측된 비디오 접두 문맥의 정보를 지속적으로 압축하고 보존해야 한다. 핵심 과제는 어떤 정보를 보존하고 유지된 이력을 어떻게 구성할지 결정하는 것이다. 스트림에 따라 이력이 커질수록 메모리 비용이 증가하고 많은 중복 시각적 세부 사항이 보존되는 반면, 이후 질의는 종종 특정 개체, 행동 및 그들의 시간적 변화에 의존한다. 이 과제를 해결하기 위해, 우리는 스트림의 중요한 부분을 더 높은 상세도로 기록하면서 주변 컨텍스트는 압축적으로 유지하는 학습 불필요 집중 의미 기억 시스템인 FOLIO를 제안한다. 스트림이 도착함에 따라 FOLIO는 동적 초점 상태에 의해 안내되어 세그먼트 수준에서 메모리를 갱신하며, 단기 시각 버퍼와 관측된 개체를 중심으로 구성되고 시각적 증거 캐시에 연결된 장기 의미 기억을 결합한다. 질의 시점에는 경량 하이브리드 검색이 구조화된 메모리에 대한 직접 매칭과 의미적 질의 확장을 결합한다. FOLIO는 최첨단 성능을 달성하며, Qwen3-VL-8B로 OVO-Bench에서 인식/역방향 정확도 82.0/69.1을 기록하고 StreamingBench에서 전체 정확도 74.5를 달성하는 동시에, 초점 개체에 대해서만 상세 기록을 예약하고 주변 컨텍스트를 압축적으로 저장함으로써 스트리밍 메모리 유지 비용을 크게 줄인다.
아무것도 예측하지 않는 것이 SAM 3를 능가할 때: 비디오 객체 분할 평가의 재검토
When Predicting Nothing Beats SAM 3: Revisiting Evaluation in Video Object Segmentation
복잡하고 긴 비디오에서의 비디오 객체 분할(Video Object Segmentation, VOS)은 대상 객체가 긴 시간 지평 내에서 간헐적으로만 나타나는 경우가 많은 실제 응용 분야에서 점차 중요해지고 있습니다. 그러나 기존 벤치마크는 대부분 비디오의 대부분 동안 가시적으로 유지되는 시간적으로 두드러진 객체에 주로 초점을 맞추고 있습니다. 이러한 공백을 해결하기 위해 본 논문에서는 낮은 시간적 가시성 조건에서 VOS 방법을 평가하도록 설계된 벤치마크인 FaVOS(A Benchmark for Video Object Segmentation with Fractional Temporal Visibility)를 소개합니다. 우리는 이러한 조건에서 표준 J&F 지표가 대상이 존재하지 않는 프레임에 대한 빈 예측에 높은 보상을 부여하기 때문에 VOS 평가를 부재 분류(absence classification)로 전락시킬 수 있음을 보입니다. 그 결과, 자명한 빈 마스크 예측기조차 SAM 3와 같은 강력한 모델을 능가할 수 있으며, 이는 현재 지표와 실질적인 VOS 성능 간의 근본적인 불일치를 드러냅니다. 이 문제를 완화하기 위해 마스크 시퀀스를 시공간 볼륨으로 평가하고 분할 품질 및 시간적 구조에 대한 민감도를 유지하면서 대상 부재 보상의 지배력을 줄이는 Volumetric J&F를 제안합니다. 프로젝트 페이지: https://aidaslab.github.io/FaVOS.
롱샷 윈드서핑 영상의 동일성 일관 분석: 도메인 특화 오프라인 추적 시스템
Identity-Consistent Analysis of Long-Shot Windsurfing Video: A Domain-Specific Offline Tracking System
롱샷 윈드서핑 영상은 작은 표적, 큰 카메라 팬, 장시간 겹침, 빠르게 변하는 배경이 결합된다. 원하는 출력은 일반적인 MOT 궤적이 아니라 각 서퍼마다 분리되고 안정적인 라이더 기준 상대 영상이며, 한 번의 잘못된 동일성 병합만으로도 그 외에는 유용한 결과 전체를 무효화할 수 있다. 우리는 서퍼를 검출하고, 보수적인 로컬 tracklet을 구성하며, 카메라 보상 운동과 전경 마스크 기반 돛 색상 descriptor로 전역 연결하고, rig의 두 포즈 키포인트로 라이더 기준 가상 카메라를 구동하는 오프라인 분석 시스템을 제시한다. 추적 단계는 41,004개의 유지 관측을 포함하는 수동 재구성 개발 영상 21편에서 평가했다. 이 고정 관측 프로토콜에서 프로덕션 시스템은 쌍별 정밀도 0.957, 재현율 0.918, F1 0.937을 달성했으며, OC-SORT의 F1 0.792, BoT-SORT의 0.828과 비교된다. OC-SORT 대비 fragmentation excess는 845에서 42로 줄였지만, 95개 출력 트랙 중 9개가 라이더 동일성을 혼합했고 이 오류는 21편 중 7편에 영향을 준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Accepted by NeurIPS 2026