이력이 도움이 될 때와 해가 될 때: 멀티모달 턴 전반에서의 선택적 이력 활용
When History Helps and Hurts: Selective History Use across Multimodal Turns
한국어 초록
신뢰할 수 있는 멀티모달 상호작용은 대화 이력(conversational history)을 선택적으로 활용하는 데 의존한다: 이전 질문은 여전히 유효할 수 있지만 그에 대한 과거 답변은 더 이상 유효하지 않을 수 있으며, 반대로 현재 요청은 상충하는 새로운 관찰이 있더라도 과거의 증거에 의존해야 할 수도 있다. 기존의 멀티턴 평가는 이러한 이력 활용 요구를 근본적인 질문 난이도와 거의 구분하지 않는다. 이러한 공백을 해소하기 위해, 우리는 선택적 이력 활용을 평가하기 위한, 시각 및 음성 증거를 포괄하는 7,000개의 기본 과제(base task)로 구성된 벤치마크인 ReTurn을 소개한다. 과제를 전달하는 이력(task-carrying history)의 경우, Reconfirm/Reground는 과거 질문과의 일치 여부(historical agreement)를 변화시키면서 그 질문을 현재 미디어에 적용하도록 요구한다; 증거를 전달하는 이력(evidence-carrying history)의 경우, Retrieve/Rebind는 현재 미디어와의 경쟁(current-media competition)을 변화시키면서 과거 미디어를 사용하여 현재 질문에 답하도록 요구한다. 각 쌍은 목표 질문, 미디어, 정답을 동일하게 유지한다. 과제는 개방형(open-ended) 및 다지선다형(multiple-choice) 평가를 지원하며, 짝지어진 단일 턴 대응 과제(matched single-turn counterparts)가 응답 가능성(answerability) 기준으로 활용된다. 13개의 옴니모달(omni-modal), 비전-언어, 음성-언어 모델에 걸쳐, 모델(model) 수준의 개방형 정확도 중앙값은 직접 입력 시 93.7%에서 대화 상황에서는 72.3%로 하락한다. 행동 분석(behavioral probe) 결과, 높은 질문 재현율(recall)이 더 약한 과제 적용 능력과 공존할 수 있으며, 경쟁하는 미디어가 답변을 과거의 목표로부터 벗어나게 할 수 있음을 보여준다. 지도 학습 기반 적응(supervised adaptation)은 부분적인 개선만을 가져온다. ReTurn은 멀티모달 모델이 각 요청에서 요구되는 과거 정보를 선택하고 활용하는지를 평가하기 위한 통제된 프레임워크를 제공한다.
원문 초록
Reliable multimodal interaction depends on selective use of conversational history: an earlier question may remain relevant while its previous answer is outdated, whereas a current request may depend on historical evidence despite conflicting new observations. Existing multi-turn evaluations rarely separate these history-use demands from underlying question difficulty. To address this gap, we introduce ReTurn, a benchmark of 7,000 base tasks spanning visual and audio evidence for evaluating selective history use. For task-carrying history, Reconfirm/Reground require applying a historical question to current media while varying historical agreement; for evidence-carrying history, Retrieve/Rebind require answering a current question using historical media while varying current-media competition. Each pair preserves the target question, media, and answer. Tasks support open-ended and multiple-choice evaluation, with matched single-turn counterparts serving as answerability references. Across 13 omni-modal, vision-language, and audio-language models, median model-level open-ended accuracy falls from 93.7% with direct input to 72.3% in conversation. Behavioral probes show that high question recall can coexist with weaker task application, while competing media can redirect answers away from historical targets. Supervised adaptation yields only partial gains. ReTurn provides a controlled framework for assessing whether multimodal models select and use the historical information required by each request.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.