Structured Two-stream Attention Network for Video Question Answering
원문 초록
To date, visual question answering (VQA) (i.e., image QA and video QA) is still a holy grail in vision and language understanding, especially for video QA. Compared with image QA that focuses primarily on understanding the associations between image region-level details and corresponding questions, video QA requires a model to jointly reason across both spatial and long-range temporal structures of a video as well as text to provide an accurate answer. In this paper, we specifically tackle the problem of video QA by proposing a Structured Two-stream Attention network, namely STA, to answer a free-form or open-ended natural language question about the content of a given video. First, we infer rich long-range temporal structures in videos using our structured segment component and encode text features. Then, our structured two-stream attention component simultaneously localizes important visual instance, reduces the influence of background video and focuses on the relevant text. Finally, the structured two-stream fusion component incorporates different segments of query and video aware context representation and infers the answers. Experiments on the large-scale video QA dataset \textit{TGIF-QA} show that our proposed method significantly surpasses the best counterpart (i.e., with one representation for the video input) by 13.0%, 13.5%, 11.0% and 0.3 for Action, Trans., TrameQA and Count tasks. It also outperforms the best competitor (i.e., with two representations) on the Action, Trans., TrameQA tasks by 4.1%, 4.7%, and 5.1%.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LININ: Logic Integrated Neural Inference Network for Explanatory Visual Question Answering
Few-Shot Multimodal Explanation for Visual Question Answering
OVQA: A Clinically Generated Visual Question Answering Dataset
Focal Visual-Text Attention for Memex Question Answering
FORTE: 장시간 비디오 질의응답을 위한 적응형 스코어링과 정확한 키프레임 선택
FORTE: Adaptive Scoring and Exact Keyframe Selection for Long-Video Question Answering
질의 인식(query-aware) 키프레임 선택은 멀티모달 대규모 언어 모델(MLLM)이 질문과 관련된 소수의 프레임만을 사용하여 긴 비디오를 처리할 수 있게 한다. 그러나 기존의 점수 기반 방법들은 일반적으로 고정된, 균일하게 샘플링된 후보 풀 내에서만 탐색하기 때문에, 이 풀 밖에 있는 증거는 결코 선택될 수 없다. 제한된 관련성 스코어링(relevance-scoring) 예산이 주어졌을 때, 핵심 과제는 유망한 프레임에 평가를 적응적으로 할당하면서도 저평가된 시간적 영역을 계속 탐색하는 것이다. 우리는 이러한 과제를 두 단계, 즉 적응형 관련성 스코어링과 전역 키프레임 최적화를 통해 해결하는 학습이 필요 없는(training-free) 프레임워크인 FORTE를 소개한다. 희소하고 균일하게 분포된 관측값에서 시작하여, 우리의 효율적인 가우시안 프로세스(Gaussian process) 관련성 예측기는 점수가 매겨지지 않은 프레임의 관련성을 추정하며, 시간적 지역성(temporal locality)과 대략적인 밴드 구조의 커널 구조를 활용하여 고정된 대역폭(bandwidth)에 대해 핵심 계산량을 프레임 수에 대해 3차(cubic)에서 선형(linear) 시간으로 줄인다. 이어서 스코어링 단계는 예측된 관련성과 시간적 커버리지(temporal coverage)의 균형을 맞춰 다음으로 점수를 매길 프레임을 선택하며, 유망한 영역을 우선시하면서도 비디오에서 상대적으로 덜 대표된 부분도 탐색한다. 최적화 단계는 측정된 관련성과 시간적 커버리지를 함께 포착하는 목적 함수를 최대화하여 최종 키프레임을 선택한다. 우리는 로그 커버리지 구조를 활용하여, 고정된 최종 프레임 예산에 대해 점수가 매겨진 후보 풀의 최적 부분집합을 풀 크기에 대해 선형 시간 내에 식별하는 정확한(exact) 알고리즘을 도출한다. 네 가지 장시간 비디오 질의응답(long-video question-answering) 벤치마크에 대한 실험 결과, FORTE는 테스트된 모든 스코어링 예산에서 비교 대상 선택기들 중 가장 높은 관측 평균 정확도를 달성하였다. 추가 평가는 서로 다른 관련성 스코어러(relevance scorer)와 다운스트림 MLLM 전반에서 FORTE의 일관된 효과를 보여준다.
Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템
Realtime-Venus: A full-duplex interaction system with asynchronous delegation
디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.