MM-IssueLoc: 다중모달 레포지토리 수준 이슈 국소화에서 시각적 증거를 평가하기 위한 통제 벤치마크
MM-IssueLoc: A Controlled Benchmark for Evaluating Visual Evidence in Multimodal Repository-Level Issue Localization
실제 레포지토리 이슈에는 스크린샷, 오류 대화 상자, 렌더링된 UI 상태, 로그 등 시각적 증거가 흔히 포함되지만, 레포지토리 수준 이슈 국소화는 대부분 텍스트 전용 작업으로 평가된다. 기존 다중모달 SE 벤치마크는 end-to-end 수리를 평가하며, 국소화를 패치 합성과 뒤섞어 시각적 입력이 도움이 되었는지, 해가 되었는지, 아니면 무시되었는지를 가리게 한다. 우리는 시각적 증거를 포함한 레포지토리 수준 국소화를 위한 통제 벤치마크 및 평가 프로토콜인 \textbf{MM-IssueLoc}을 소개한다. MM-IssueLoc은 23개 언어에 걸친 652개의 이슈-PR 인스턴스를 포함하며, 7개 이미지 카테고리와 4단계 관련성 수준에 대한 주석을 제공한다. 파일 수준 및 함수 수준의 골드 레이블, 텍스트 전용 및 이미지 포함 평가의 짝을 이룬 비교, 그리고 이미지를 구조화된 텍스트 증거로 변환하는 VCE 기반 진단을 제공한다. 대규모 언어 모델(LLM) 기반 및 검색 기반 시스템을 평가하며, 통제된 다중모달 검색기로 MM-IssueLoc-VL-Emb을 포함한다. 결과는 기존 시스템이 신뢰할 수 있는 다중모달 레포지토리 국소화에 한참 미치지 못함을 보여준다: 가장 강력한 에이전트는 파일 Acc@5 38.96, 함수 Acc@10 22.45를 달성하는 반면, 가장 강력한 검색기는 함수 Acc@10 33.86에 이른다. 교차 벤치마크 비교는 텍스트 중심 SWE 벤치마크에서의 높은 국소화 점수가 다중모달 이슈 국소화로 깔끔하게 이전되지 않음을 보여준다. MM-IssueLoc은 시각적 증거를 명시적인 평가 변수로 전환하여, 향후 연구가 텍스트 전용 단서나 downstream 패치 생성 효과에 의존하는 것이 아니라 시각적 증거를 국소화에 사용함으로써 시스템이 개선되는지를 검증할 수 있게 한다.