iitm.ac.in

이 이메일 도메인이 관측된 논문 2건

arXiv:2508.13408v3cs.LG

화학 언어 모델의 스케일링 한계에 대한 대규모 연구

A Large Scale Investigation of Scaling Limits in Chemical Language Models

화학 언어 모델(CLM)은 최근 모델(model) 규모, 연산량 및 데이터셋(dataset) 크기의 성장에 힘입어 신약 설계(de novo drug design)에 점점 더 많이 활용되고 있다. 그러나 설계 선택, 학습(training) 역학, 그리고 다운스트림 생성 품질 간의 관계는 여전히 잘 이해되지 않고 있다. 본 논문에서는 분자 표현(SMILES, SELFIES, SAFE), 토큰화(원자 수준 및 바이트 페어 인코딩), 모델 규모(0.5M~1B 매개변수), 누출이 통제된 데이터셋(MOSES, ChEMBL, PubChem, ZINC-22), 아키텍처(디코더 전용 및 인코더-디코더) 전반에 걸쳐 30,000회 이상의 실험으로 구성된 연산량 통제 CLM 스케일링(scaling) 연구를 제시한다. IsoFLOP 프로파일을 피팅하여 사전학습(pre-training) 손실(loss)의 명확한 스케일링 경향을 확립했으나, 이러한 개선이 목표 지향적 분자 설계에서의 상응하는 성능 향상으로 이어지지 않음을 확인했다. 층(layer)별 프로빙 및 희소 오토인코더 분석은 화학적 표현의 지속적인 발전을 보여준다. 즉, 화학적 구문은 조기에 포화되는 반면 의미론적 특성은 더 천천히 나타나며 추가적인 학습과 모델 규모 확장을 통해 점진적으로 접근 가능해진다. 이러한 표현적 이득은 평가된 프로토콜 및 오라클 예산 하에서 목표 지향적 생성의 개선세가 감소하는 현상과 공존한다. 본 연구를 통해 도출된 모델 제품군인 NovoMolGen은 최첨단(state-of-the-art) 결과를 달성하여, 신약 개발 작업 전반의 목표 지향적 분자 생성에서 기존 CLM 및 특화된 생성 모델을 능가한다. 이러한 발견은 화학적 표현 학습과 다운스트림 분자 설계 사이의 단절을 드러내며, 화학적 의미론을 보다 직접적으로 학습하는 사전학습 패러다임 개발의 필요성을 시사한다.

arXiv:2609.10983v1math.NA

이질적 고체 역학을 위한 변분 물리 기반 그래프 신경망

A variational physics-informed graph neural network for heterogeneous solid mechanics

이질적 고체에서의 응력 국소화는 이종 재료 계면에 의해 좌우되며, 이 계면에서 변위장은 $C^0$ 연속성을 유지하는 반면 면내 응력은 강성 불일치로 인해 불연속적으로 변한다. 좌표 기반 물리 정보 신경망(PINN)은 이러한 불연속을 미리 정한 정규화 폭이나 가중 계면 페널티를 통해 표현하므로, 상(phase) 간 대비 변화를 어떻게 다루느냐에 따라 정확도가 민감하게 달라진다. 본 연구는 이질성을 시행 함수(trial field)가 아닌 이산화(discretization)가 담당하도록 한, 변분 방식의 레이블이 필요 없는(label-free) 물리 정보 그래프 신경망(PI-GNN)을 제안한다. 이 솔버는 적합(conforming) 적응형 메시 그래프 위에서 동작하며, 요소별로 구성 방정식(constitutive) 거동을 할당하고, 1차 도함수만 등장하는 단일 무가중 목적 함수로서 이산 총 퍼텐셜 에너지를 최소화한다. 구간별 선형 요소에서의 이산 에너지는 유한요소(FE) Ritz 범함수와 일치한다. 디리클레 조건은 페널티 항, 계면 가중치, 사전 지정된 전이 폭 없이 구성 방식으로 직접 부과된다. 2차원과 3차원의 미소 변형 탄성 및 유한 변형 Neo-Hookean 초탄성 문제 전반에 걸쳐 하나의 고정된 아키텍처, 옵티마이저, 손실을 사용했을 때, 강성비 $(E_{\mathrm{inc}}/E_{\mathrm{mat}}\in[10^{-2},10^{2}])$ 범위를 훑는 실험에서 von Mises 오차는 $3.58\%$ 이하로 유지된 반면, 강형식(strong-form) PINN은 $5.58\%$까지 나빠졌다. 변위 오차 역시 PINN은 $7.66\%$에 달했으나 PI-GNN은 $0.49\%$였다. 학습된 네트워크는 에너지 기반 PINN 대비 ($σ_{xx}$) 오차를 절반으로 줄였다($5.01\%$ 대 $10.94\%$). 학습 비용은 단일 FE 풀이보다 한 자릿수 이상 크므로, 이 구성은 일회성 FE 해석을 대체하기보다는 매개변수 대리 모델(surrogate)과 역 식별(inverse identification)을 위한, 변분적으로 일관되고 페널티가 없는 계면 표현 방식이다.