PREM: 장시간 비디오 이해를 위한 접두 문맥 기반 순환 메모리
PREM: Prefix-Steered Recurrent Memory for Long-Video Understanding
한국어 초록
장시간 비디오 이해(long-video understanding)는 엄격한 토큰(token) 예산 하에서 일시적인 시각적 증거를 포착해야 하지만, 기존 방법들은 프레임을 압축하거나, 메모리 토큰을 추가하거나, 내부 키-값(KV) 캐시를 변경한다. 본 논문에서는 고정된(frozen) 비전-언어 모델(VLM)을 위한 메모리 토큰이 필요 없는 프레임워크인 접두 문맥 기반 순환 메모리(Prefix-Steered Recurrent Memory, PREM)를 제안한다. PREM은 비디오 수집(ingestion)과 질의 응답을 분리한다: 순환 작성기(recurrent writer)가 시각적 스트림을 256 KiB 크기의 컴팩트한 다중 슬롯 연상 상태(multi-slot associative state)로 증류(distill)하는 동안, 질문 조건부 판독기(question-conditioned readout)는 프리필(prefill) 과정에서 메모리에서 유래한 키/값(K/V) 조향(steering) 변조를 기존의 비시각적 프롬프트 접두 문맥에 추가한다. 이를 통해 추가적인 프롬프트 토큰이나 디코딩 순환(recurrence) 없이 한 번 작성하고 여러 번 질의하는(write-once, query-many) 추론이 가능해진다. 오프라인 및 스트리밍 종료 시점(end-of-stream) 설정에서 6개의 장시간 비디오 벤치마크(benchmark)에 걸쳐, PREM은 평가된 모든 시각 예산 수준에서 고정(frozen) 베이스라인을 일관되게 능가한다. 16프레임으로 제한된 예산 하에서, PREM은 Qwen2.5-VL-3B에서 매크로 평균 정확도를 3.06% 향상시키며, 행동 반의어 식별(action antonym identification)에서 11.0%, 국소화된 니들 검색(localized needle retrieval)에서 9.9%의 향상을 보인다. 이러한 향상은 백본(backbone) 파라미터의 0.24%만을 튜닝하고, 최대 GPU 메모리 오버헤드 0.03 GiB만을 필요로 한다.
원문 초록
Long-video understanding must capture transient visual evidence under strict token budgets, yet existing methods compress frames, append memory tokens, or alter internal key-value (KV) caches. We introduce Prefix-Steered Recurrent Memory (PREM), a memory-token-free framework for frozen vision-language models (VLMs). PREM separates video ingestion from query answering: a recurrent writer distills visual streams into a compact 256 KiB multi-slot associative state, while a question-conditioned readout adds memory-derived key/value (K/V) steering modulations to existing non-visual prompt prefixes during prefill. This enables write-once, query-many inference without extra prompt tokens or decoding recurrence. Across six long-video benchmarks in offline and streaming end-of-stream settings, PREM consistently outperforms frozen baselines at every evaluated visual budget. Under a constrained budget of 16 frames, PREM improves macro-average accuracy by 3.06% on Qwen2.5-VL-3B, with gains of 11.0% on action antonym identification and 9.9% on localized needle retrieval. These gains require tuning 0.24% of backbone parameters at 0.03 GiB of peak GPU memory overhead.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.23601v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
시간적 분할과 의미론적 추상화를 통한 1인칭 및 3인칭 시점 절차적 이해 프레임워크
A Framework for Egocentric and Exocentric Procedural Understanding via Temporal Segmentation and Semantic Abstraction
장기(long-horizon) 1인칭/3인칭 데이터는 풍부한 절차적 증거를 포함하고 있지만, 중복되고 노이즈가 많으며 처리하거나 보관하는 데 많은 비용이 듭니다. 본 논문에서는 연속적인 멀티모달 작업장 비디오를 작업 환경 모델(WEM)로 구현된 구조화된 절차적 상태 메모리(Procedural State Memory)로 변환하는 컴팩트한 프레임워크를 제안합니다. 사건 분할 이론(event segmentation theory)에서 영감을 받아, 고정된 윈도우나 시각적 새로움에만 의존하는 대신 시각적 맥락, 위치, 동작, 내레이션, 시선/물체 상호작용 및 선택적인 3인칭 작업 공간 증거의 변화를 활용하여 경계를 감지합니다. 각 세그먼트는 행위자, 시간 구간, 위치, 행동, 물체/도구, 이전/이후 상태, 신뢰도 및 출처를 포함하는 증거 연계형 이벤트 카드로 추상화됩니다. 이러한 이벤트 카드는 WEM을 점진적으로 업데이트하여 온프레미스(on-premise) 프라이버시 제약 조건 하에서 컴팩트하고 감사 가능한 문서화 및 검색을 가능하게 합니다. 본 연구에서는 동결된 DINOv2 및 VJEPA-2 인코더와 로컬 언어 모델로 설계를 구현하고, 분할 품질, 메모리 압축률, 검색 충실도 및 장기 질의응답(QA)에 대한 평가 기준을 제시합니다.
OmniSeek: 다중 턴 시청각 추론을 위한 네이티브 도구 통합
OmniSeek: Native Tool Integration for Multi-turn Audio-Visual Reasoning
본 논문에서는 옴니 대규모 언어 모델(Omni-LLM)을 네이티브 도구 사용 능력을 갖춘 능동적인 다중 턴(multi-turn) 추론 에이전트로 변환하는 에이전트 프레임워크인 OmniSeek을 제시합니다. 전체 시청각 시퀀스를 단일 순전파(forward pass)로 수동 처리하는 대신, OmniSeek은 증거 획득을 추론 과정의 일부로 만듭니다. 즉, 긴 컨텍스트 내에서 서로 다른 모달리티 전반의 희소하지만 결정적인 증거를 검색하기 위해 보거나 들을지 여부와 그 시간 윈도우를 동적으로 결정합니다. 반복적인 다중 턴 프로토콜을 통해 검색된 원시 오디오 또는 시각 세그먼트는 후속 추론을 지원하기 위해 컨텍스트에 다시 추가됩니다. 이러한 능력을 콜드 스타트하기 위해, 오디오 및 시각 증거가 인터리빙된 다중 홉 사고의 연쇄(Chain-of-Thought) 궤적 말뭉치인 OmniTraj-170K를 합성하는 데이터 엔진을 구축합니다. 먼저 이러한 궤적을 기반으로 모델을 지도 학습하여 다중 턴 도구 사용 행동을 주입한 다음, 검증 가능한 보상을 활용한 2단계 강화학습을 통해 정책을 추가로 최적화합니다. 또한, 두 모달리티 모두에 의존하는 성공적인 추론 궤적에 명시적으로 보상을 제공하여 단일 모달리티 지름길을 억제하는 시청각 필수성(Audio-Visual Necessity) 목표를 도입합니다. 광범위한 벤치마크에 걸친 광범위한 실험을 통해 OmniSeek이 적응형 교차 모달 증거 탐색을 학습하고 시청각 추론 성능을 일관되게 향상시킴을 입증합니다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
테스트 시점 메모리 구축
Test-Time Memory Construction
대규모 언어 모델(LLM)은 관련 증거가 멀리 떨어진 세션에 걸쳐 흩어져 있을 수 있는 긴 상호작용 기록을 바탕으로 질문에 답하는 데 어려움을 겪습니다. 기존 메모리 시스템은 일반적으로 사용자 질의가 관찰되기 전에 오프라인에서 정교한 메모리 표현을 구축하고 유지하므로 상당한 오버헤드가 발생하고 질의별 정보 요구에 맞춰 메모리 구축을 적응시키는 능력이 제한됩니다. 본 논문에서는 메모리 구축을 추론(inference) 시점으로 미루고 추론 과정에 따라 메모리를 점진적으로 구축하는 테스트 시점 메모리(Test-Time Memory) 구축 프레임워크인 T$^2$Mem을 제안합니다. 구체적으로 T$^2$Mem은 주요 이벤트와 시간적 연관성을 검색 단서로 포착하기 위해 가벼운 에피소드 수준의 메타데이터를 오프라인에서 추출하는 동시에, 에피소드 간의 의존성 재구성을 용이하게 하도록 원본 상호작용에 대한 링크를 유지합니다. 테스트 시점에 LLM은 메타데이터와 원시 상호작용을 적응적으로 검색 및 구성하여 추론이 진행됨에 따라 질의 맞춤형 메모리를 점진적으로 구축합니다. LoCoMo 및 LongMemEval에 대한 실험을 통해 T$^2$Mem은 다양한 백본 LLM 전반에서 강력한 베이스라인을 일관되게 능가하는 동시에 메모리 구축 오버헤드를 대폭 줄임으로써 그 효과를 입증합니다. 추가 분석을 통해 메모리 구축을 추론 시점으로 미룸으로써 메모리 구축 프로세스가 개별 질의의 정보 요구에 동적으로 적응할 수 있음을 보여줍니다. 모든 코드는 https://github.com/OpenBMB/T2Mem 에서 이용 가능합니다.
READ: 충실한 비디오 기여도 분석을 위한 선택적 스캔 판독
READ: Reading the Selective Scan for Faithful Video Attribution
선택적 상태 공간 모델(selective state-space model)은 긴 시퀀스의 비디오 모델링을 위한 효율적인 접근 방식입니다. 그러나 이들의 순환적 계산(recurrent computation) 방식은 어떤 비디오 토큰이 예측을 유도하는지 파악하기 어렵게 만듭니다. 기존의 기여도 분석(attribution) 방법들은 종종 추가적인 역전파(backward pass)나 반복적인 모델 평가를 필요로 하므로, 설명하고자 하는 순방향 추론(forward inference)보다 훨씬 더 많은 비용이 소요됩니다. 본 연구에서는 분류기(classifier)가 읽어내는 위치에서 순환을 풀어내는 선택적 상태 공간 모델용 무매개변수(parameter-free) 기여도 분석 방법인 READ를 소개합니다. READ는 순환 상태에 누적된 기여도를 최종 예측에 기여한 비디오 토큰까지 역추적합니다. 분류기의 판독 위치에 기여도를 고정함으로써 단일 시공간 적합성 맵(spatiotemporal relevance map)을 생성하며, 이로부터 프레임 및 영역 수준의 적합성을 직접 도출할 수 있습니다. 단 한 번의 순전파(forward pass)만 필요로 함에도 불구하고, READ는 훨씬 더 비용이 많이 드는 기여도 분석 방법들과 비교하여 경쟁력 있는 충실도(faithfulness)와 위치 파악(localisation) 성능을 달성합니다. 실험 결과에 따르면 READ는 기존 방법들의 체계적인 적합성 편향을 방지하는 동시에 다양한 데이터셋과 백본에 걸쳐 유의미한 시간적 및 클래스별 구조를 복원합니다. 더 넓게 보면, 본 연구 결과는 선택적 상태 공간 모델의 기반이 되는 순환 구조가 추론을 위한 효율적인 메커니즘일 뿐만 아니라 예측에 대한 해석 가능한 증거의 직접적인 원천임을 보여줍니다.
검증 가능하고 피드백 기반 언어 모델을 활용하여 임상 시험 근거 표에 대한 임상의의 질문에 답하기
Answering clinicians' questions over trial evidence tables with verifiable, feedback-driven language models
체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.