arXiv:2609.00663v2 cs.CV

비전-언어 모델에서 지각과 추론 분리: 결정 구조를 위한 모델-프리 render ceiling

Separating perception from reasoning in vision-language models: a model-free render ceiling for crystal structures

Can Polat, Mustafa Kurban, Erchin Serpedin, Hasan Kurban

제출 2026-11-17

한국어 초록

비전-언어 모델(VLM)은 이미지 이면의 3차원 기하를 복원하지 못한 채로 그럴듯한 구조 라벨을 예측하는 경우가 많다. 종단 간(end-to-end) 점수만으로는 오류가 모호한 시점, 손실된 시각 정보, 또는 잘못된 추론 중 무엇에서 비롯되는지 알 수 없다. 다중 시점 3차원 복원 또한 고유한 상충 관계에 직면한다. 엄격한 대칭 사전 지식은 실제 왜곡을 지워 버리고, 제약 없는 삼각측량은 측정 이상치를 흡수한다. 우리는 검토 가능한 3차원 기하 중간 표현을 통해 시각적 지각과 구조적 추론을 분리한다. 그 토대는 모델 비의존적 렌더 상한(model-free render ceiling)이다. 이는 사영 유령(projective phantom)을 배제하여 얻은, 보정되고 원소 종이 표지된 투영이 결정하는 바에 대한 정확한 기준이다. 1,950개 구조에 대한 전수 조사에서, 보정된 네 개 또는 다섯 개 시점의 모든 시험 조합은 완전하고 원소 종이 표지된 중심점으로부터 3차원 위치를 유일하게 결정하였다. 이 기준에 비추어, 이미지를 정확한 텍스트 좌표로 대체하면 평가한 17개 VLM 모두의 결정에 대한 오류율이 낮아진다. 세 가지 프런티어 모델은 10.0~19.5 퍼센트포인트 향상되지만 여전히 사례의 8.1~21.0%를 놓친다. 불완전한 관측으로부터 기하를 복원하기 위해, 우리의 대칭 인식 분할 복원은 대칭 기저, 일관된 3차원 물리적 변위, 시점별 2차원 오염을 함께 추정하며 원자적 왜곡 모드와 집단적 왜곡 모드 중 하나를 적응적으로 선택한다. Huber 삼각측량과 비교하여, 가우시안 잡음에서 좌표 오차를 36.7%, 오염 상황에서 41.2% 줄인다. 적응적 모드 선택은 두 개의 외부 코호트에서 국소적 충실도를 희생하지 않으면서 원자적 분할 대비 집단적 오차를 최대 30.4% 추가로 줄인다. Huber 좌표가 아니라 복원된 좌표를 입력으로 주면 하위 모델이 향상된다. 따라서 기하 복원은 구조 이해를 위한 명시적이고 검증 가능한 토대가 된다.

원문 초록

Vision-language models (VLMs) often predict plausible structural labels from images without recovering the three-dimensional geometry behind them. End-to-end scores cannot tell whether an error comes from ambiguous views, lost visual information, or flawed reasoning. Multi-view 3D reconstruction faces its own trade-off: rigid symmetry priors erase genuine distortions, while unconstrained triangulation absorbs measurement outliers. We separate visual perception from structural reasoning through an inspectable 3D geometric intermediate. Its foundation is a model-free render ceiling: an exact reference for what calibrated, species-labeled projections determine, obtained by ruling out projective phantoms. Across a 1,950-structure census, every tested combination of four or five calibrated views uniquely determined the 3D sites from complete, species-labeled centroids. Against this reference, replacing images with exact text coordinates lowers the error rate of all 17 evaluated VLMs on crystals. The three frontier models gain 10.0-19.5 percentage points yet still miss 8.1-21.0% of cases. To recover geometry from imperfect observations, our symmetry-aware split reconstruction jointly estimates a symmetric base, coherent 3D physical displacements, and view-specific 2D corruption, adaptively selecting between atomic and collective distortion modes. Relative to Huber triangulation, it reduces coordinate error by 36.7% under Gaussian noise and 41.2% under corruption. Adaptive mode selection further cuts collective error up to 30.4% relative to atomic split across two external cohorts without sacrificing localized fidelity. Given reconstructed rather than Huber coordinates, downstream models improve. Geometric recovery thus becomes an explicit, testable foundation for structural understanding.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.00663v2제출 시각 미확인
  2. arXiv:2609.00663v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.