arXiv:2611.24641v1 cs.LG

적합한 표현 선택하기: 멀티모달 재료 언어모델을 위한 과제 인식 융합

Choosing the Right Representations: Task-Aware Fusion for Multimodal Materials Language Models

Huu Binh Ta, Alex Morehead, N. Benjamin Erichson, Ferdinando Fioretto, Sandeep Madireddy

제출 2026-11-19

한국어 초록

재료과학을 위한 멀티모달 언어모델은 3차원 구조 표현을 통합하는 효과적인 메커니즘에 의존한다. MatterChat은 사전학습된 구조 인코더와 LLM 사이의 대형 브리지 모듈 및 별도의 대조 정렬 단계를 사용하여 이 문제를 다룬다. 우리는 대신 이 브리지가 목표 물성에 따라 여러 구조 인코더의 표현을 적응적으로 선택하고 결합할 수 있는지 묻는다. 지도학습 기반 재료 인코더와 생성 기반 재료 인코더가 물성 예측에 상보적인 정보를 제공함을 확인하였다. Zatom-1의 경우 이 정보가 마지막 층에 집중되어 있지 않다는 것을 발견하였다. 오히려 가장 유익한 표현은 목표 물성에 따라 서로 다른 깊이에서 나타난다. 이는 과제 조건부 잠재 쿼리를 사용해 CHGNet 특징과 Zatom-1의 중간 표현을 결합하는 경량 어텐션 기반 브리지인 Task-Conditioned Attention Fusion(TCAF)의 동기가 된다. 이 브리지는 하위 예측 과제에서 직접 학습되므로, 별도의 대조 사전학습 없이 표현 선택과 재료-언어 정렬을 함께 학습할 수 있다. 분류 및 회귀 과제 전반에서 TCAF는 MatterChat을 능가하며 RMSE를 최대 47.8% 낮추면서, 학습 가능한 매개변수는 훨씬 적게 사용하고 전체 학습 시간은 절반으로 줄인다. UMA-S를 포함한 추가 실험은 인코더 조합 전반에서 TCAF의 유연성을 보여주며, 세 인코더 구성은 매크로 평균 분류 정확도 89.61%로 가장 높은 값을 달성한다.

원문 초록

Multimodal language models for materials science rely on effective mechanisms for incorporating three-dimensional structural representations. MatterChat addresses this challenge using a large bridge module between a pretrained structural encoder and the LLM, together with a separate contrastive alignment stage. We instead ask whether this bridge can adaptively select and combine representations from multiple structural encoders according to the target property. We find that supervised and generative material encoders provide complementary information for property prediction. We found that, for Zatom-1, this information is not concentrated in the final layer. Instead, the most informative representations occur at different depths depending on the target property. This motivates Task-Conditioned Attention Fusion (TCAF), a lightweight attention-based bridge that uses task-conditioned latent queries to combine CHGNet features with intermediate Zatom-1 representations. The bridge is trained directly on downstream prediction tasks, allowing representation selection and material-language alignment to be learned jointly without separate contrastive pretraining. Across classification and regression tasks, TCAF outperforms MatterChat, with up to 47.8% lower RMSE, while using substantially fewer trainable parameters and halving the overall training time. Further experiments incorporating UMA-S demonstrate TCAF's flexibility across encoder combinations, with the three-encoder configuration achieving the highest macro-average classification accuracy of 89.61%.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24641v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.