M$^3$-Test: 시각 질의응답의 복합 교란 테스트가 놓치는 사례
M$^3$-Test: Coverage Gaps in Joint-Perturbation Testing of Visual Question Answering
한국어 초록
시각 질의응답(VQA) 모델은 이미지와 질문을 각각 바꾸는 테스트를 모두 통과해도 두 변경을 동시에 적용하면 실패할 수 있다. 표준 강건성 보고는 여러 조건의 평균을 내므로 테스트를 통과한 요청 중 어떤 요청이 여전히 취약한지 알려 주지 못한다. 테스트 범위를 점검하는 M3-Test를 소개한다. 교란 없는 각 입력을 단일 모달리티 변형 및 5×5 변형 조합과 4×4 강도 조합을 빠짐없이 포함한 복합 교란 라이브러리에 연결한다. 따라서 축소한 테스트 모음도 동일한 요청에서 재실행할 수 있다. 비전-언어 모델 네 개의 응답 260만 건을 분석했다. Qwen에서는 단일 모달리티 테스트 40개를 모두 통과한 질문 중 26~29%에서 복합 교란으로 실패가 발생했다. 개별 복합 교란 기록의 실패율은 0.6% 미만이었다. 최대 강도 조합 25개를 통과해도 격차는 남았다. 이 조건을 통과한 질문 중 11~14%는 라이브러리의 다른 조합에서 실패했다. 보관한 실패 사례를 다시 실행하면 약 90%에서 실패가 재현됐다. 조건을 맞춘 통과 대조군에서 결과가 뒤집힌 비율은 0.3~0.6%였다. 결과가 가장 쉽게 달라지는 실패 기록을 재검사했을 때도 80~89%에서 실패가 뒷받침됐다. 조사한 근거에 따르면 실행 잡음과 채점 오류만으로는 이 격차를 모두 설명할 수 없다. 정렬된 격자를 사용하면 이전 평가를 재사용할 수 있다. 따로 보관한 이미지에서 다른 모델로부터 학습한 위험도 순서로 쿼리를 추가하면 25회 이내에 영향을 받은 Qwen 질문의 약 80%를 찾았다. 최대 강도 우선은 65~68%, 쌍별 커버링 배열은 53~57%였다. M3-Test는 강건성 테스트를 통과한 요청마다 여전히 평가하지 못한 조건을 보여 줘, 수락 여부 판단, 회귀 검토, 테스트 배분을 지원한다.
원문 초록
A visual question answering (VQA) model can pass every image-only and question-only test yet fail when the same changes occur together. Standard robustness reports average over conditions and therefore cannot say which accepted requests remain vulnerable. We introduce M3-Test, a coverage audit that aligns each clean input with its single-modality variants and a complete 5x5 family, 4x4 strength joint library, so that any reduced test suite can be replayed on the same requests. Across 2.6 million responses from four vision-language models, joint failures affect 26-29% of the Qwen questions that pass all 40 single-modality tests, although fewer than 0.6% of their joint records fail. Passing the 25 maximum-strength corners does not close this gap: 11-14% of the accepted questions still fail elsewhere in the library. Re-executing the archived failures reproduces about 90% of them, against a 0.3-0.6% flip rate among matched passing controls, and re-checking the most fragile failure records supports 80-89% of them. On the evidence examined, neither execution noise nor grading error can fully account for the gap. The same aligned grids make previous evaluations reusable. On held-out images, a risk order learned from other models discovers about 80% of affected Qwen questions within 25 additional queries, compared with 65-68% for maximum-first and 53-57% for pairwise covering arrays. M3-Test thus turns a passing robustness suite into a request-level account of what remains untested, supporting acceptance, regression review and test allocation.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22329v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.