arXiv:2607.25641v1 cs.CV

OmniPhys: 텍스트-이미지 생성의 물리적 상식을 위한 지식 그래프 기반 벤치마킹 및 집단 최적화

OmniPhys: Knowledge-Graph-Driven Benchmarking and Collective Optimization for Physical Commonsense in Text-to-Image Generation

Yajing Xu, Yarong Lan, Jiaoyan Chen, Yichi Zhang, Jeff Z. Pan, Mingchen Tu, Zhizhen Liu, Wen Zhang, Huajun Chen

제출 2026-07-28

한국어 초록

텍스트-이미지 모델은 뛰어난 시각적 충실도를 보여주지만, 기본적인 물리적 상식을 위배하는 경우가 빈번합니다. 기존 벤치마크는 대개 조잡한(coarse-grained) 설명에 의존하여 특정 물리 법칙의 숙달 여부를 진단하지 못합니다. 더욱이 생성 과정의 높은 확률적 특성(stochasticity)으로 인해 기존 프롬프트 최적화 기법들은 그래디언트 환각(gradient hallucination) 문제를 겪으며, 최적화기가 시스템적 결함보다는 일시적인 시각적 아티팩트에 의해 잘못 유도되곤 합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 물리 지식 그래프(Physical Knowledge Graph)를 기반으로 구축된 1,551개 샘플 규모의 엄밀한 벤치마크인 OmniPhys를 소개합니다. OmniPhys는 PhET 시뮬레이션을 표준 교육과정에 맞춤으로써 이중 경로 검증 프로토콜을 통해 진단 스트레스 테스트를 수행하는 '지식-시나리오 파이프라인'을 실체화합니다. 나아가 물리적 정렬(physical alignment)을 이산 최적화 문제로 다루는 반복 프레임워크인 OmniPrompt를 제안합니다. 각 질의(query)에 대해 OmniPrompt는 K개의 확률적 이미지를 질의별 피드백 버퍼로 집계합니다. 학습(training) 전반에 걸쳐 메타 정책을 업데이트하기 전에 B개 질의 배치로부터 얻은 피드백을 추가로 병합하여 시드(seed) 및 질의 국소적 노이즈를 필터링합니다. 12개의 대표적인 텍스트-이미지 모델을 대상으로 한 평가는 보편적인 물리적 병목 현상을 보여줍니다. 실험 결과는 OmniPrompt가 다양한 백본 모델 전반에서 물리적 일관성을 크게 향상시킴을 입증하며, 진화된 메타 정책의 전이 가능성과 효과를 증명합니다. 코드와 데이터는 https://github.com/zjukg/OmniPhys 에서 확인할 수 있습니다.

원문 초록

While text-to-image models exhibit remarkable visual fidelity, they frequently violate fundamental physical commonsense. Existing benchmarks often rely on coarse-grained descriptions, failing to diagnose the mastery of specific physical principles. Moreover, the high stochasticity of generative processes causes current prompt optimization methods to suffer from gradient hallucinations, where optimizers are misled by transient visual artifacts rather than systemic flaws. To address these challenges, we introduce OmniPhys, a rigorous benchmark of 1,551 samples grounded in a Physical Knowledge Graph. By aligning PhET simulations with standard curricula, OmniPhys operationalizes a knowledge-to-scenario pipeline that performs diagnostic stress tests via a dual-path verification protocol. We further propose OmniPrompt, an iterative framework that treats physical alignment as a discrete optimization problem. For each query, OmniPrompt aggregates K stochastic images into a per-query feedback buffer. Across training, it further merges feedback from batches of B queries before each meta-policy update, filtering seed and query-local noise. Evaluations across 12 representative text-to-image models reveal universal physical bottlenecks. Results demonstrate that OmniPrompt significantly enhances physical consistency across diverse backbones, proving the transferability and efficacy of our evolved meta-policies. The code and data are available at https://github.com/zjukg/OmniPhys

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.25641v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.