arXiv:2609.28782v2 cs.LG

더 나은 기준선이 델타 학습을 악화시킬 때: 목표 설계를 안내하기 위한 잔차 규모와 학습 용이성의 분리

When a better baseline makes delta learning worse: separating residual scale from learnability to guide target design

Kareem M. Gameel, Ihor Neporozhnii, Sjoerd Hoogland, Oleksandr Voznyy

제출 2026-11-17

한국어 초록

과학적 머신러닝에서 $\Delta$-학습은 더 작은 잔차 규모가 본질적으로 더 나은 하위 정확도를 낳는다고 가정하고, 근사 기준선에 대한 잔차 오차로 모델을 학습시킨다. 본 연구는 잔차 규모만으로는 학습 용이성에 대한 휴리스틱으로 불충분함을 보인다. 분자 총에너지에서 선형 기준선을 동일한 원소 개수에 적합시킨 신경망으로 대체하면 잔차 규모는 줄었지만 GemNet의 예측 오차는 두 배 넘게 증가하였다. 국소 구조 기술자 전반에서, 더 유연한 기준선은 더 작은 잔차를 만들었으나 그 잔차는 구조적으로 유사한 분자들 사이에서 급격히 달라졌다. 반면 반경험적 기준선은 더 큰 잔차를 남겼지만 더 낮은 테스트 오차와 향상된 도메인 외 전이성을 보였다. 연구한 목표들 전반에서 규모 정규화된 그래프 디리클레 거칠기는 규모 정규화된 예측 오차를 따라갔으며, 이는 목표 선택을 위한 사전 학습 진단으로의 활용을 시사한다. 이러한 결과는 기준선 상보성을 과학적 머신러닝의 목표 설계 원칙으로 제안한다. 유용한 기준선은 하위 아키텍처가 예측하기 어려워하는 기여를 포착하는 기준선이다.

원문 초록

In scientific machine learning, $\Delta$-learning trains models on residual errors relative to approximate baselines, assuming that smaller residual scales inherently yield better downstream accuracy. Here, we demonstrate that residual scale alone is an insufficient heuristic for learnability. For molecular total energies, replacing a linear baseline with a neural network fitted to the same elemental counts reduced the residual scale, yet more than doubled GemNet's prediction error. Across local structural descriptors, more flexible baselines produced smaller residuals that varied sharply between structurally similar molecules. By contrast, semi-empirical baselines left larger residuals, yet yielded lower test error and improved out-of-domain transferability. Across the targets studied, scale-normalized graph Dirichlet roughness tracked scale-normalized prediction error, suggesting its use as a pre-training diagnostic for target selection. These results motivate baseline complementarity as a target-design principle in scientific machine learning: a useful baseline captures contributions the downstream architecture struggles to predict.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.28782v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.