한 번 전송하고 기기에서 질문하기: 온디바이스 질의응답을 위한 간결한 시청각 메모리
Transfer Once, Ask Locally: Compact Audio-Visual Memory for On-Device Question Answering
한국어 초록
경량 사용자 기기에서 시청각 질의응답을 하려면 속도, 메모리 사용량, 개인정보 보호, 통신 비용 사이에서 균형을 잡아야 한다. 한 가지 방법은 서버에서 시청각 인코더를 실행하고 사용자 기기에서 경량 언어 디코더를 실행하는 것이다. 미디어 인코딩을 서버에 맡기면서 질문은 기기 안에 둘 수 있다. 그러나 전체 멀티모달 표현을 전송하고 처리하는 비용은 여전히 크다. 전송 전에 재사용 가능한 작은 메모리를 만드는 토큰 가지치기 프레임워크를 제안한다. 학습이 필요 없고 쿼리에 의존하지 않는다. 비디오의 시공간 블록과 그에 맞춰 정렬한 오디오 윈도를 참여자로 정의하고 몬테카를로 섀플리 값으로 중요도를 추정한다. 임베딩 포괄 범위를 평가하는 목적함수는 쿼리 독립적인 효용과 모달리티 간 중복 보정을 결합한다. 포괄 범위의 한계 증가량으로 개별 모달리티 안의 다양성에도 보상한다. 제한된 토큰 예산 안에서 점수가 높은 참여자의 원래 토큰 임베딩을 유지한다. 이렇게 만든 메모리를 한 번만 전송하고 이후 기기의 여러 질문에서 재사용한다. video-SALMONN 2+(30억 매개변수)와 video-SALMONN 2 Pro(40억 매개변수)를 사용해 Video-MME, Daily-Omni, Video-Holmes에서 실험한 결과, 평가한 모든 설정에서 비교 압축 방법 가운데 질의응답 정확도가 가장 높거나 공동으로 가장 높았다. Daily-Omni에서 video-SALMONN 2+(30억 매개변수)의 토큰을 80% 가지치기했을 때 비교 방법보다 정확도가 12.86~14.62%포인트 높았다. 기기에서 대규모 언어 모델의 프리필과 디코딩 지연 시간이 가장 낮았으며, 비슷한 임베딩 메모리 사용량에서 디코딩 속도가 최대 $1.92\times$ 빨라졌다.
원문 초록
Audio-visual question answering on lightweight user devices requires balancing speed, memory usage, privacy, and communication. One approach is to run audio-visual encoders on a server and a lightweight language decoder on the user device, keeping questions local while offloading media encoding. However, transferring and processing the full multimodal representation remains costly. We propose a training-free, query-agnostic token pruning framework that constructs a compact, reusable memory before transmission. We define video spatio-temporal blocks and aligned audio windows as players and estimate their importance through Monte Carlo Shapley valuation. We use an embedding coverage objective that combines query-independent utility with cross-modal redundancy calibration and rewards unimodal diversity through marginal coverage gains. We retain the original token embeddings of high-scoring players under a limited token budget and transfer the resulting memory once for reuse across subsequent local questions. Experiments on Video-MME, Daily-Omni, and Video-Holmes using video-SALMONN 2+ (3B) and video-SALMONN 2 Pro (4B) show that our method achieves the best or tied-best QA accuracy among the compared compression methods across all evaluated settings. On Daily-Omni with video-SALMONN 2+ (3B) at 80\% pruning, our method improves accuracy by 12.86--14.62 percentage points over these methods while achieving the lowest device-side LLM prefill and decoding latency, with up to $1.92\times$ decoding speedup at comparable embedding memory usage.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23085v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.