PEARL: 런타임에 정의되는 개념을 이용한 개인화 스트리밍 비디오 이해
PEARL: Personalized Streaming Video Understanding with Runtime-Defined Concepts
한국어 초록
연속적인 시각 스트림으로부터 새로운 개념을 학습하는 인간과 달리, 기존의 개인화 비전-언어 모델(VLM)은 학습 중에 미리 정의된 개념 집합을 내재화하며 정적 이미지나 오프라인 비디오에서 동작한다. 이러한 모델은 사용자가 스트림 도중에 정의한 개념을 등록하지 못하며, 그 개념이 앞서 등장했던 순간을 상기하지도 못한다. 우리는 이 과제를 개인화 스트리밍 비디오 이해(Personalized Streaming Video Understanding, PSVU)로 정식화하고, 이 과제를 위한 최초의 벤치마크인 PSVU-Bench를 소개한다. PSVU-Bench는 132개 비디오에 타임스탬프가 있는 질문을 주석으로 달았다. 개념 정의(Concept-Definition), 실시간(Real-Time), 과거 시점(Past-Time) QA는 모델에게 임의의 타임스탬프에서 개념을 등록하고, 사용자 정의 행동을 포함한 개념의 현재 상태를 인식하며, 과거 증거를 검색하도록 요구한다. 우리는 사용자 정의 개념을 보관된 비디오 클립과 분리하여 저장하고, 각 질의를 개념 설명으로 재작성하여 관련 이력을 검색하는 강력한 플러그 앤 플레이 기준선인 PEARL을 제안한다. 비디오에서 명명된 개념을 접지(grounding)하는 것은 모든 개념이 공유하는 기술이다. 따라서 공개 인터넷 비디오에 대해 검증된 개념 질문으로 구성된 학습 세트 PSVU-10K를 구축하고, 이를 이용해 PEARL의 검색기와 응답 VLM을 한 번만 학습시킨다. 테스트 시점에 정의되는 개념은 여전히 별도의 학습이 필요 없다. 학습 없이 세 가지 아키텍처에 적용했을 때, PEARL은 대응하는 오프라인 모델 대비 평균적으로 Real-Time QA를 15.05%, Past-Time QA를 12.60% 향상시키며, 세 가지 모두 두 QA 유형에서 기존 온라인 비디오 모델을 능가한다. 추가 학습을 하면 Qwen3-VL-8B 기반 PEARL은 Real-Time QA에서 8.66%, Past-Time QA에서 9.39% 더 향상되며, 모든 범주에서 성능이 개선된다. 코드, 데이터 및 모델은 https://github.com/Yuanhong-Zheng/PEARL 에서 확인할 수 있다.
원문 초록
Unlike humans, who learn new concepts from a continuous visual stream, existing personalized vision-language models (VLMs) internalize a predefined concept set during training and operate on static images or offline videos. They cannot register a concept that a user defines in the middle of a stream, nor recall the earlier moments in which it appeared. We formalize this task as Personalized Streaming Video Understanding (PSVU) and introduce PSVU-Bench, the first benchmark for this task, which annotates 132 videos with timestamped questions. Its Concept-Definition, Real-Time and Past-Time QA ask a model to register concepts at arbitrary timestamps, recognize their current state, including user-defined actions, and retrieve their historical evidence. We propose PEARL, a strong plug-and-play baseline that stores user-defined concepts apart from archived video clips and rewrites each query with concept descriptions to retrieve the relevant history. Grounding a named concept in video is a skill shared by all concepts. We therefore construct PSVU-10K, a training set of verified concept questions on public internet videos, and train the retriever and answering VLM of PEARL on it once. Concepts defined at test time still require no training. Applied to three architectures without training, PEARL improves Real-Time QA by 15.05% and Past-Time QA by 12.60% on average over the corresponding offline models, and all three surpass existing online video models on both QA types. Training further improves PEARL on Qwen3-VL-8B by 8.66% on Real-Time QA and 9.39% on Past-Time QA, with gains in every category. Code, data and models are available at https://github.com/Yuanhong-Zheng/PEARL.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2603.20422v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.