FreshMem: 스트리밍 비디오 이해를 위한 뇌 영감 기반 주파수-공간 하이브리드 메모리
FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding
연속적인 인식을 위해서는 멀티모달 대규모 언어 모델(MLLM)을 오프라인에서 온라인 스트리밍 비디오 이해로 전환하는 것이 필수적입니다. 그러나 기존 방식들은 유연한 적응성이 부족하여 비가역적인 세부정보 손실과 문맥 단편화를 초래합니다. 이를 해결하기 위해, 우리는 뇌의 로그 지각 및 기억 고정화에서 영감을 얻은 주파수-공간 하이브리드 메모리 네트워크인 FreshMem을 제안합니다. FreshMem은 두 가지 시너지 모듈을 통해 단기 충실도와 장기 일관성을 조화시킵니다. 첫째는 넘쳐나는 프레임을 대표 주파수 계수로 투영하고 잔차 세부정보로 보완하여 전역적인 과거 "요점(gist)"을 재구성하는 다중 스케일 주파수 메모리(MFM)이며, 둘째는 적응형 압축 전략을 사용하여 연속적인 스트림을 일화적 클러스터로 이산화하고 이를 고밀도 공간 썸네일로 증류하는 공간 썸네일 메모리(STM)입니다. 광범위한 실험을 통해 FreshMem이 Qwen2-VL 기준선(baseline) 성능을 크게 향상시켜 StreamingBench, OV-Bench, OVO-Bench에서 각각 5.20%, 4.52%, 2.34%의 성능 향상을 달성함을 입증했습니다. 별도의 학습(training)이 필요 없는 트레이닝-프리 솔루션으로서 FreshMem은 완전 파인튜닝된 여러 방식들을 능가하며, 장기 스트리밍 비디오 이해를 위한 고효율 패러다임을 제시합니다.