보기 전에 결정하기: 검색된 기억 중 어떤 것에 픽셀을 할당할 가치가 있는지 학습하기
Decide Before You Look: Learning Which Retrieved Memories Deserve Pixels
한국어 초록
멀티모달 어시스턴트는 이미지가 포함된 장기 기억(long-term memory)으로부터 질문에 답합니다. 검색 후, 검색된 각 이미지는 이미지당 약 1,000개의 시각적 토큰(visual token)을 사용하는 픽셀 형태로나, 질문이 요구하는 세부 정보를 종종 놓치는 저장된 텍스트 프록시 형태로 답변 모델(answering model)에 전달됩니다. 본 연구에서는 픽셀의 이점이 대개 한두 개의 검색된 기억에서 나오며, 답변 모델이 실행되기 전 전체 해상도 이미지를 전혀 읽지 않고도 이를 예측할 수 있음을 발견했습니다. 검색 단계 이후에 배치되는 플러그인인 PixelTriage에서는 텍스트를 생성하지 않는 소형 모델이 대화, 짧은 메모, 각 검색된 기억의 썸네일을 읽고 픽셀이 기여할 가치를 예측합니다. 이 모델은 각 기억의 픽셀 유무에 따라 각 질문에 답변하는 동결된 27B 모델로 레이블링된 합성 기억 에피소드에서 학습됩니다. 7B 답변 모델을 사용할 때 PixelTriage는 M$^3$Exam, DMV, MemEye의 정확도 대비 비용 프론티어에 위치하며, 유의미한 정확도 손실 없이 시각적 토큰의 11~23%만을 사용합니다. DMV에서는 모든 이미지를 여는 것보다 2.9배 빠르게 답변합니다. 동일한 예산 조건에서 검색 순서 기준 및 균일 축소 방식보다 우수한 성능을 보이며, 다른 메모리 시스템 및 397B 답변 모델로도 전이됩니다.
원문 초록
Multimodal assistants answer questions from long-term memories that contain images. After retrieval, each retrieved image reaches the answering model either as pixels, at about a thousand visual tokens per image, or as a stored text proxy that often misses the detail the question asks about. We find that the benefit of pixels usually comes from one or two retrieved memories, and that it can be predicted before the answering model runs, without reading any full-resolution image. In PixelTriage, a plug-in placed after retrieval, a small model that does not generate text reads the dialogue, a short note and a thumbnail of each retrieved memory and predicts how much its pixels would add. It is trained on synthetic memory episodes labeled by a frozen 27B model that answers each question with and without each memory's pixels. With a 7B answering model, PixelTriage lies on the accuracy--cost frontier of M$^3$Exam, DMV and MemEye and uses 11--23\% of the visual tokens without a significant loss of accuracy. On DMV it answers 2.9 times faster than opening all images. It outperforms retrieval order and uniform down-sizing at equal budgets and transfers to other memory systems and to a 397B answering model.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.