arXiv:2611.23010v1 cs.AI

PhysScope: 시각 근거를 담은 메모리를 활용한 에이전트형 멀티모달 물리 추론

PhysScope: Agentic Multimodal Physics Reasoning with Grounded Visual Memory

Haoyang Liu, Kecheng Liang, Xinyu Li, Weixing Chen, Yang Liu

제출 2026-11-18

한국어 초록

비전-언어 모델(VLM)은 물리 도식을 정확히 이해하고도 제약이 성립하는 상태나 조건을 벗어나 이를 적용할 수 있다. 잘못된 전제는 이후 계산으로 전파된다. 모델 가중치를 갱신하지 않고도 적용 범위의 불일치를 스스로 교정하도록 돕는 추론 시점 시각 처리 환경 PhysScope를 소개한다. PhysScope는 모델이 물리 법칙의 적용 범위를 관측한 시각 자료와 직접 연결하고, 원본으로부터 추론에 도움이 되는 뷰를 명시적으로 구성하게 한다. 추론 중 상태의 구분, 조건, 물리적 적용 범위를 명시적으로 제한하고, 에이전트가 제안한 수정안을 출처와 적용 범위에 비춰 검증한다. 수정안이 채택되면 이전 내용에 의존한다고 등록된 항목을 무효화해 적용 범위를 반영한 작업기억을 유지한다. PhysAlign에서 평가한 VLM 6종 모두 PhysScope를 사용하면 직접 풀이보다 문제 해결 점수가 높았다. Gemini-3.8-flash에서는 Canvas-CoT를 9.34%포인트 앞섰고, 분포 밖(OOD) 벤치마크 PhysUniBench에서 풀이 정확도를 크게 높였다. 구성 요소 제거 실험은 적용 범위를 명시적으로 관리하고 의존 관계를 유지하는 것이 멀티모달 물리 추론 에이전트의 설계에 도움이 됨을 뒷받침한다.

원문 초록

Vision-language models (VLMs) can correctly interpret physics diagrams yet apply constraints outside the states or conditions in which they hold, causing premise errors to propagate through subsequent calculations. We introduce PhysScope, an inference-time visual harness that supports self-correction of these scope mismatches without updating model weights. PhysScope enables the model to link physical scopes directly to its visual observations and explicitly constructs derived views to support reasoning. The harness imposes explicit constraints on state distinctions, conditions, and physical scopes during model reasoning, and checks agent-proposed revisions against sources and scopes. Accepted revisions invalidate registered dependents, thereby maintaining scope-aware working memory. On PhysAlign, PhysScope achieves higher solving scores than direct solving across all six evaluated VLMs. With Gemini-3.8-flash, it outperforms Canvas-CoT by 9.34 percentage points and substantially improves solving accuracy on the out-of-distribution (OOD) PhysUniBench benchmark. Ablation studies support explicit scope management and dependency maintenance as design principles for multimodal physics reasoning agents.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.23010v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.