SpecLook: 빠르고 신뢰할 수 있는 에이전트형 MLLM을 위해 어디를 볼지 추측하기
SpecLook: Speculating Where to Look for Fast and Reliable Agentic MLLMs
한국어 초록
이미지를 활용해 사고하는 에이전트형 멀티모달 대규모 언어 모델(MLLM)은 추론과 확대(zoom-in) 도구 호출을 교대로 수행한다. 그러나 이 순차적 루프는 느리고, 그 답변에는 신뢰도 점수가 없다. 토큰, 추론 단계 또는 답변에 대한 기존의 추측 기법은 루프를 그대로 유지하며, 답변 추측은 확신에 찬 오류까지 수용한다. 우리는 이 루프가 대부분 확대 단계를 하나 추가할 뿐이며, 이 한 단계가 있으면 대부분의 분할에서 소형 모델이 에이전트를 앞선다는 점을 발견했다. 핵심 통찰은 에이전트의 다음 관측을 추측하는 것이며, 이는 초안 답변과 달리 검증과 수정이 가능하고 답변을 시험하는 데 사용할 수 있다. 우리는 세 단계로 구성된 학습 불필요 추측-검증 프레임워크 SpecLook을 제안한다. 소형 모델이 일별(glimpse)을 초안으로 작성하고 이를 바탕으로 다시 답하며, 답이 바뀌지 않고 확신이 있으면 질문은 종료된다. 그렇지 않으면 에이전트의 대형 모델이 도구 없이 일별을 검증하고 수정하며, 두 답변은 융합된다. 여전히 근거가 부족한 질문만 에이전트에 도달하며, 이는 SpecLook-Fast가 건너뛰는 한 번의 순전파로 이루어지므로 어떤 질문도 루프를 실행하지 않는다. 추적은 레이블 없이 모든 답변의 신뢰도를 점수화한다. V*, HR-Bench, POPE에 대한 광범위한 실험에서 두 방법 모두 모든 분할에서 모든 기준 방법보다 정확했다. SpecLook은 평균 정확도 87.2%와 86.2%에 도달하며 DeepEyes-7B와 Thyme-RL 에이전트 대비 각각 7.7배, 4.7배의 속도 향상을 달성하고, SpecLook-Fast는 9.9배와 6.3배에 도달한다.
원문 초록
Agentic multimodal large language models (MLLMs) that think with images interleave reasoning with zoom-in tool calls. However, this sequential loop is slow, and its answers carry no reliability score. Prior speculation of tokens, reasoning steps, or answers keeps the loop, and answer speculation also accepts confident errors. We find that the loop mostly adds one zoom-in step, with which a small model is ahead of the agent on most splits. Our key insight is to speculate the agent's next observation, which, unlike a drafted answer, can be verified, corrected, and used to test the answer. We propose SpecLook, a training-free speculate-and-verify framework with three levels. A small model drafts a glimpse and re-answers from it, and the question ends if the answer is unchanged and confident. Otherwise, the agent's large model verifies and corrects the glimpse without tools, and their answers are fused. Only questions that still lack evidence reach the agent, in one forward pass that SpecLook-Fast skips, so no question runs the loop. The trace scores every answer's reliability without labels. Extensive experiments on V*, HR-Bench, and POPE show that both are more accurate than every baseline on every split. SpecLook reaches 87.2% and 86.2% mean accuracy with 7.7x and 4.7x speedups over the DeepEyes-7B and Thyme-RL agents, and SpecLook-Fast reaches 9.9x and 6.3x.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.23483v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.