무엇을 무작위화하는가가 중요하다: 저데이터 분자 생성에서 규모, 축, 표현에 대한 통제 연구
What to randomize matters: a controlled study of volume, axis and representation in low-data molecular generation
한국어 초록
화학 언어 모델은 작은 데이터셋으로 학습할 때 새로운 분자를 생성하는 데 어려움을 겪을 수 있으며, 이때 모델은 유용한 생성 분포를 학습하기보다 학습 예시를 재현할 수 있다. 무작위화 SMILES 증강은 원자 순회 순서를 변화시키는 반면, 서열 부착 기반 단편 임베딩(SAFE)은 단편 블록의 순서도 변화시킬 수 있다. 이처럼 서로 다른 표현적 변이의 원천이 저데이터 분자 생성에 어떤 영향을 미치는지는 명확히 연구되지 않았다. 여기서는 1,000개의 시드 분자로 자기회귀 서열 모델을 학습시켜, 코퍼스 크기를 늘려 가며 정규 SAFE와 무작위화 SAFE를 비교하고, SAFE 무작위화의 원자 순서 축과 단편 순서 축을 분리하며, 분자 단위로 대응시킨 학습 코퍼스에서 완전 무작위화 SAFE를 무작위화 SMILES와 비교한다. 세 가지 결과가 도출된다. 첫째, SAFE만 무작위화해도 새로운 분자의 진정한 수율이 450배 이상 증가하여, 학습 집합을 단순히 재현하던 모델이 실용적인 분자 생성기로 바뀐다. 둘째, 두 무작위화 축은 가산적이 아니라 결합적으로 작용한다. 원자 순서만으로는 두 축이 모두 변할 때 얻는 진정한 수율의 10분의 1, 단편 순서만으로는 7분의 1에 도달하는데, 이는 둘의 기여를 합한 값의 네 배에 해당한다. 셋째, 코퍼스 크기와 연산량을 맞추면 무작위화 SAFE는 무작위화 SMILES보다 2.8배의 진정한 수율을 낸다. Games-Howell 사후 비교를 동반한 Welch 검정은 주요 결과 변수의 모든 차이를 해소한다. 따라서 저데이터 영역에서는 얼마나 많이 무작위화하는가만이 아니라 무엇을 무작위화하는가가, 증강이 새로운 분자를 만들어 내는지 아니면 학습 집합의 새로운 표기만 만들어 내는지를 결정한다.
원문 초록
Chemical language models can struggle to generate new molecules when trained on small datasets, where a model may reproduce training examples rather than learn a useful generative distribution. Randomized SMILES augmentation varies atom traversal, whereas Sequential Attachment-based Fragment Embedding (SAFE) also allows the order of fragment blocks to vary. How these distinct sources of representational variation affect low-data molecular generation has not been clearly studied. Here, using 1,000 seed molecules to train an autoregressive sequence model, we compare canonical SAFE with randomized SAFE at increasing corpus sizes, isolate atom-order and fragment-order axes of SAFE randomization, and compare fully randomized SAFE with randomized SMILES at molecule-by-molecule matched training corpora. Three findings emerge. First, randomization of SAFE alone raises the genuine yield of novel molecules more than 450-fold, turning a model that merely reproduces its training set into a practical molecular generator. Second, the two axes of randomization act jointly rather than additively: atom order alone reaches a tenth, and fragment order alone a seventh, of the genuine yield obtained when both vary, which is four times their combined contribution. Third, at matched corpus size and compute, randomized SAFE delivers 2.8 times the genuine yield of randomized SMILES. Welch tests with Games-Howell post-hoc comparisons resolve every difference on the primary outcomes. In the low-data regime, thus, what one randomizes rather than only how much determines whether augmentation produces new molecules or merely new spellings of the training set.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
27 pages, 9 figures, 5 tables