ChemVTS-Bench: 화학 분야 다중모달 대규모 언어 모델의 시각-텍스트-기호 추론 평가
ChemVTS-Bench: Evaluating Visual-Textual-Symbolic Reasoning of Multimodal Large Language Models in Chemistry
화학 추론은 본질적으로 시각, 텍스트, 기호 양식(modality)을 통합하지만, 기존 벤치마크는 이러한 복잡성을 거의 포착하지 못하고, 종종 화학적 의미가 제한된 단순 이미지-텍스트 쌍에 의존한다. 그 결과, 다중모달 대규모 언어 모델(MLLM)이 여러 양식에 걸쳐 화학적으로 의미 있는 정보를 처리하고 통합하는 실제 능력은 여전히 불분명하다. 우리는 MLLM의 시각-텍스트-기호(VTS) 추론 능력을 체계적으로 평가하기 위해 설계된 도메인에 충실한 벤치마크인 ChemVTS-Bench를 제안한다. ChemVTS-Bench는 유기 분자, 무기 재료, 3D 결정 구조에 걸친 다양하고 어려운 화학 문제를 포함하며, 각 과제는 세 가지 상보적인 입력 모드로 제시된다: (1) 시각 전용, (2) 시각-텍스트 혼합, (3) SMILES 기반 기호 입력. 이 설계는 양식 의존적 추론 행동과 교차 양식 통합에 대한 세밀한 분석을 가능하게 한다. 엄밀하고 재현 가능한 평가를 위해, 추론을 표준화하고 답을 검증하며 실패 유형을 진단하는 자동화된 에이전트 기반 워크플로를 추가로 개발했다. 최신 MLLM에 대한 광범위한 실험 결과, 시각 전용 입력은 여전히 어렵고, 구조 화학이 가장 어려운 도메인이며, 다중모달 융합은 시각적·지식 기반·논리적 오류를 완화하지만 제거하지는 못함을 보여주며, ChemVTS-Bench를 다중모달 화학 추론 발전을 위한 엄밀하고 도메인에 충실한 시험대로 부각한다. 모든 데이터와 코드는 향후 연구를 지원하기 위해 공개될 예정이다.