PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.00573v1cs.CV

FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택

FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering

질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.

arXiv:2606.12195v1cs.CV

InternVideo3: 멀티모달 맥락적 추론으로 파운데이션 모델 에이전트화

InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning

최근 파운데이션 모델의 발전은 다단계 추론과 도구 사용을 수반하는 에이전트적 행동으로 전환하고 있다. 그러나 오픈소스 연구는 대체로 텍스트 중심 설정에 집중하여, 장기 지평 멀티모달 과제는 충분히 탐구되지 않은 상태로 남아 있다. 이 격차는 지속적인 시간적 이해와 반복적 상호작용을 요구하는 비디오 과제에서 분명히 드러난다. 본 논문은 Multimodal Contextual Reasoning(MCR)을 통해 이러한 역량을 강화하는 프레임워크인 InternVideo3를 제시한다. MCR은 관찰, 지시, 추론, 도구 행동, 메모리를 포함하는 공유되고 진화하는 컨텍스트 위에서 이해를 폐루프(closed-loop) 과정으로 다룬다. 이는 장영상 이해를 증거 축적과 검증으로 규정한다. 효율성을 확보하기 위해, KV-cache 상태를 압축하면서도 전체 토큰 스트림을 유지하는 토큰 보존 재매개변수화인 Multimodal Multi-head Latent Attention(M^2LA)을 도입한다. 단계적 학습에는 지속적 사전학습, 단기에서 장기로 이어지는 지도 미세조정, 규칙 기반 강화학습, 온-정책 지식 증류가 포함된다. 실험 결과 InternVideo3는 Video-MME, MLVU, EgoSchema 등 벤치마크에서 강력한 성능을 달성한다. 또한 검색 도구를 갖춘 비디오 에이전트로 모델을 구현하여, 견고한 증거 그라운딩 행동을 입증한다. 결과는 효율적인 컨텍스트 처리와 폐루프 추론이 오픈 멀티모달 모델을 장기 지평의 시각적 그라운딩 에이전시로 적응시키는 데 핵심적임을 시사한다.