화학 추론은 본질적으로 시각, 텍스트, 기호 양식(modality)을 통합하지만, 기존 벤치마크는 이러한 복잡성을 거의 포착하지 못하고, 종종 화학적 의미가 제한된 단순 이미지-텍스트 쌍에 의존한다. 그 결과, 다중모달 대규모 언어 모델(MLLM)이 여러 양식에 걸쳐 화학적으로 의미 있는 정보를 처리하고 통합하는 실제 능력은 여전히 불분명하다. 우리는 MLLM의 시각-텍스트-기호(VTS) 추론 능력을 체계적으로 평가하기 위해 설계된 도메인에 충실한 벤치마크인 ChemVTS-Bench를 제안한다. ChemVTS-Bench는 유기 분자, 무기 재료, 3D 결정 구조에 걸친 다양하고 어려운 화학 문제를 포함하며, 각 과제는 세 가지 상보적인 입력 모드로 제시된다: (1) 시각 전용, (2) 시각-텍스트 혼합, (3) SMILES 기반 기호 입력. 이 설계는 양식 의존적 추론 행동과 교차 양식 통합에 대한 세밀한 분석을 가능하게 한다. 엄밀하고 재현 가능한 평가를 위해, 추론을 표준화하고 답을 검증하며 실패 유형을 진단하는 자동화된 에이전트 기반 워크플로를 추가로 개발했다. 최신 MLLM에 대한 광범위한 실험 결과, 시각 전용 입력은 여전히 어렵고, 구조 화학이 가장 어려운 도메인이며, 다중모달 융합은 시각적·지식 기반·논리적 오류를 완화하지만 제거하지는 못함을 보여주며, ChemVTS-Bench를 다중모달 화학 추론 발전을 위한 엄밀하고 도메인에 충실한 시험대로 부각한다. 모든 데이터와 코드는 향후 연구를 지원하기 위해 공개될 예정이다.
화학 언어 모델에서 SMILES 토큰화에 쓰이는 BPE와 유니그램 언어 모델(Unigram-LM)을 고정된 165개 토큰 기반 어휘 위에서 세 가지 코퍼스 유형과 두 가지 경계 정책에 걸쳐 통제 비교한 결과, 두 알고리즘은 수렴하지 않으며 학습된 서브워드 어휘의 자카드 중첩이 최대 0.161에 불과한 거의 비겹침(near-disjoint) 어휘를 생성함을 보였다. Unigram-LM은 BPE보다 29~41% 더 세밀하게 분절하며, 이 분리는 코퍼스·경계 정책·어휘 크기 전반에 걸쳐 안정적으로 유지되어 서브워드 알고리즘 선택이 자유롭게 넘길 수 있는 기본값이 아닌 핵심 모델링 결정임을 입증한다.
3D 공간 기하(SchNet), 거시적 물리화학 기술자(Deep & Cross Network), SMILES 시퀀스 임베딩(ChemBERTa)을 결합한 삼중 분기 멀티모달 융합 신경망을 제안하여, 100만 개 미만의 파라미터로 QM9 벤치마크의 원자화 에너지 예측에서 MAE 0.0207 eV를 달성하였다. 단일 기하 기준선 대비 20.6% 오차 감소를 실현하며, 직교하는 모달리티 통합이 무차별적인 파라미터 확장의 효율적 대안임을 입증한다.
분자 대규모 언어 모델(LLM)의 최근 발전은 분자 이해 및 생성 태스크에서 강력한 성능을 이끌어냈지만, 이러한 성과는 종종 신뢰할 수 있는 구조적 그라운딩 없이 달성된다. 특히, 기존 접근법들은 구조가 기능을 결정한다는 화학 원리와 상충한다. 다운스트림 태스크에서의 성공에도 불구하고, 현재의 분자 LLM은 기본적인 구조 인식에서 낮은 성능을 보이며, 이는 정규 SMILES에서 분자 그래프를 포착하는 데 실패하고 있음을 시사한다. 이를 해결하기 위해, 우리는 SMILES-그래프 변환을 통해 구조적 이해를 강화하는 구조 우선(structure-first) 프레임워크인 MolBasic을 제안한다. MolBasic은 다단계 구조 인식 벤치마크를 중심으로 구축되며, 양방향 SMILES-그래프 변환이 순차적 표현과 위상적 표현을 정렬하는 핵심 태스크로 기능한다. 이 기반 위에서, 우리는 표준화된 사고의 연쇄(Chain-of-Thought, CoT)를 활용한 점진적 학습 방식을 적용하여 모델이 구조 습득에서 고차원적 분자 추론으로 나아가도록 유도한다. 실험 결과, MolBasic은 구조적 이해를 크게 향상시키고 속성 예측 및 목적 최적화를 포함한 다운스트림 태스크에서도 견고한 성능 향상을 달성함으로써, 우리의 구조 우선 패러다임을 뒷받침한다.
Chemical language models (CLMs) are trained with linearized representations such as SMILES, yet it remains unclear which chemically meaningful substructures they encode. To foster a better understanding of CLMs, we conduct a systematic study and probe for 78 molecular substructures across eight pre-trained and six randomly initialized models. We furthermore study how fine-tuning on chemical downstream tasks affects the learned representations of molecular substructures. Our results show that pre-training generally improves molecular structure awareness of CLMs, particularly in the upper layers. Moreover, randomly initialized models already encode ring structures well in the first layer. Our analysis on two chemical downstream tasks further reveals that, interestingly, fine-tuning affects task-relevant molecular substructures more than others, indicating that the changes in the representations follow chemical theory.
SMILES 문자열을 위한 트랜스포머 기반 언어 모델은 지역성 격차(locality gap) 문제에 직면합니다. 표준 문자 수준 토큰화는 화학적으로 의미 있는 모티프를 분해하여, 모델이 장거리 의존성(long-range dependencies)을 희생하는 대가로 국소 문법을 반복적으로 학습하도록 강제합니다. 표준 토크나이저를 변경하지 않고 이 문제를 해결하기 위해, 본 연구에서는 분자 언어 모델에 조건부 $n$-gram 메모리 모듈을 통합하는 MolGram을 제안합니다. MolGram은 확장 가능한 해시 조회(hash lookup)를 통해 국소 문자열 패턴을 학습된 임베딩으로 매핑하고, 이 국소적 맥락을 은닉 상태(hidden states)에 동적으로 주입합니다. 비조건부 분자 생성, 순방향 반응 예측, 단일 단계 역합성을 포함한 세 가지 작업에 대한 평가 결과, MolGram이 성능을 일관되게 향상시키는 것으로 나타났습니다. 무엇보다 중요한 점은, 분석 결과 MolGram이 파라미터 수가 3배 더 많은 베이스라인(baseline)보다 우수한 성능을 보여주었다는 것입니다. 이는 명시적 국소 패턴 메모리가 매우 효율적인 귀납적 편향(inductive bias)임을 입증합니다.
단일 단계 역합성(single-step retrosynthesis)은 정확한 1위 제안과 하류 선택(downstream selection)에 충분히 풍부한 후보 목록이 모두 필요합니다. 우리는 이를 제안-선택(proposal-selection) 분해로 연구합니다. 우리의 시스템인 RETROSPECT는 ChemAlign 트랜스포머(Transformer)라고 부르는 단일 트랜스포머 제안 모델(model)과, 구조적, 반응 템플릿(reaction-template), 업스트림 점수(upstream-score), 및 선택적 DFT 유도 기술자(descriptors)에 대한 LambdaMART 재정렬기(reranker)를 결합합니다. 생성기(generator)는 하이브리드 루트 정렬(root-aligned) 및 무작위 SMILES 증강(augmentation), Pre-LayerNorm, 결합 임베딩(tied embeddings), 지수 이동 평균 가중치(exponential moving average weights), 그리고 미분 가능한 원자 균형(atom-balance) 보조 손실(loss)로 학습됩니다. 5,007개의 반응으로 구성된 전체 USPTO-50K 테스트 세트(test set)에서, 생성기는 99.86%의 top-1 유효성(validity)을 가지고 55.00%의 top-1 및 86.18%의 top-10 정확도(accuracy)에 도달했습니다. 재정렬(reranking)에 사용된 병합된 후보 풀(candidate-pool) 벤치마크(benchmark)에서, 5,007개의 테스트 생성물(product)과 생성물당 약 111개의 후보를 포함하며, 구조적 특징(feature) 세트로 학습된 LambdaMART 모델(model)은 0.7171의 평균 역순위(mean reciprocal rank)로 59.4%의 top-1을 달성했습니다. 특징(feature) 소거(ablations) 실험 결과, 업스트림 제안 점수와 템플릿 빈도 통계가 대부분의 재정렬 신호를 제공하는 반면, DFT 및 반응 중심 DFT 특징은 더 작고 덜 일관된 이득을 제공함을 보여줍니다. 이러한 결과는 역합성의 모듈식 관점을 뒷받침합니다: 더 강력한 단일 모델(model) 제안과 학습된 후보 선택은 상호 보완적이며, 제안 모델은 RetroChimera (Maziarz et al., 2024)와 같은 앙상블(ensemble) 시스템을 위한 대체 가능한(drop-in) 구성 요소로 사용될 수 있습니다.