arXiv:2609.33319v2 cs.AI

PhysAlign: 멀티모달 물리 추론에서 근거 기반 역할 정렬을 위한 벤치마크

PhysAlign: A Benchmark for Evidence-Grounded Role Alignment in Multimodal Physics Reasoning

Kecheng Liang, Haoyang Liu, Zexin Chen, Zirong Liu, Weixing Chen, Qiufeng Wang, Yang Liu, Liang Lin

제출 2026-11-18

한국어 초록

물리 도해 이해의 핵심 과제는 시각 정보를 그것이 기술하는 물리적 개체, 관계, 조건과 올바르게 연결하는 것이다. 값, 기호 또는 기타 국소 요소가 정확히 인식되더라도 이를 잘못된 개체나 범위에 할당하면 근본적인 물리적 전제가 왜곡되어 잘못된 추론으로 이어질 수 있다. 이 과제를 체계적으로 연구하기 위해, 우리는 멀티모달 모델이 물리 도해에서 인식한 정보를 의도된 물리적 역할과 올바르게 연결하는지 평가하도록 설계된 벤치마크 \textbf{PhysAlign}을 소개한다. PhysAlign은 국소화된 프로브와 통제된 변형을 통해 시각 인식과 물리적 역할 할당을 분리함으로써 대응 오류를 인식 실패와 구분한다. 이 벤치마크는 986개의 물리 문제에 걸쳐 사람이 검증한 3,341개의 프로브를 포함하며, 시각 인식과 물리적 역할 대응을 대규모로 체계적으로 평가할 수 있게 한다. 우리는 또한 CAcc, GAcc, JAcc를 포함한 다섯 가지 상호 보완적 평가 지표를 도입하여, 모델이 도해 내용을 인식하고, 올바른 물리적 대응을 설정하며, 근본적인 물리 문제를 푸는 능력을 종합적으로 평가한다. 평가한 멀티모달 모델 전반에서 PhysAlign은 국소적 시각 인식과 물리적 역할 근거화 사이에 일관된 격차가 있음을 보여 준다. 질의된 내용이 올바르게 인식된 경우에도 조건부 대응 오류율은 GPT-6-Astra에서 13.8\%로 유지되고 InternVL3.5-8B에서는 약 50.6\%까지 상승한다. 이러한 결과는 강력한 지각만으로는 신뢰할 수 있는 물리적 해석이 보장되지 않음을 시사하며, 정답 수준 정확도에 대부분 가려져 있던 뚜렷한 근거화 병목을 드러내고, 향후 모델이 인식한 시각적 증거를 그 물리적 의미와 더 잘 정렬할 필요가 있음을 강조한다.

원문 초록

A key challenge in physics diagram understanding is correctly associating visual information with the physical entities, relations, and conditions it describes. Even when a value, symbol, or other local element is accurately recognized, assigning it to the wrong entity or scope can distort the underlying physical premise and lead to incorrect reasoning. To systematically study this challenge, we introduce \textbf{PhysAlign}, a benchmark designed to assess whether multimodal models correctly associate information recognized from physics diagrams with its intended physical role. By disentangling visual recognition from physical-role assignment through localized probes and controlled variants, PhysAlign isolates correspondence errors from recognition failures. It contains 3,341 human-validated probes spanning 986 physics problems, enabling systematic evaluation of visual recognition and physical-role correspondence at scale. We further introduce five complementary evaluation metrics, including CAcc, GAcc, and JAcc, which provide a comprehensive assessment of models' ability to recognize diagram content, establish correct physical correspondences, and solve the underlying physics problem. Across our evaluated multimodal models, PhysAlign reveals a consistent gap between local visual recognition and physical-role grounding. Even when the queried content is correctly recognized, the conditional correspondence error rate remains 13.8\% for GPT-6-Astra and rises to about 50.6\% for InternVL3.5-8B. These findings indicate that strong perception alone does not ensure reliable physical interpretation, exposing a distinct grounding bottleneck that is largely hidden by answer-level accuracy and highlighting the need for future models to better align recognized visual evidence with its physical meaning.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.33319v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.