확장 가능한 데이터 기여도 분석(data attribution) 방법들은 일반적으로 개별 학습 예제에 독립적인 효용 점수를 부여합니다. 이처럼 널리 쓰이는 가법성 가정은 데이터 중복성과 상호 보완적 커버리지를 포함한 핵심적인 부분집합 역학을 근본적으로 포착하지 못합니다. 본 연구에서는 기여도 분석을 부분집합 수준의 반사실적(counterfactual) 효용 예측 문제로 재정의하고, 상호작용을 고려하는 대리 모델인 GRASP를 제안합니다. 이론적인 평활도 하한에 기반한 GRASP는 2차 기하학적 페널티를 통해 부분집합 간 상호작용을 명시적으로 모델링합니다. 숨겨진 오라클 튜닝에 의존하지 않고 사전학습 규모의 효율성을 달성하기 위해, 저차원 특징 스케치와 엄격하게 유한한 하한 신뢰 한계(LCB) 선택 프로토콜을 결합합니다. 광범위한 부분집합 재학습 평가를 통해 GRASP가 기존의 확장 가능한 베이스라인 모델들을 압도적으로 능가함을 입증합니다. GRASP는 사전 산출물 구축 비용을 약 10분의 1 수준으로 줄이면서도, 반사실적 부분집합 충실도에 대한 태스크 수준 순위 상관관계를 2배 이상 끌어올립니다. 나아가 다운스트림 진단을 통해 이러한 점수 측정 메커니즘이 언어 모델 큐레이션 및 교차 도메인 비전 데이터 선택으로도 전이됨을 보여주며, 대규모 사전학습 말뭉치를 최적화하기 위한 탄탄한 토대를 마련합니다.
과학적 발견은 종종 후보 해법을 제안하고, 검증하며, 개선하는 수많은 주기를 필요로 합니다. 언어 모델(LM)이 이러한 순환 루프에 참여하는 비중이 점차 커지고 있지만, 단순히 더 많은 시도를 생성하는 것만으로는 진전을 보장하지 못합니다. 병렬 탐색은 서로 중복될 수 있으며, 반복적 개선은 잘못된 방향에 갇힐 수 있습니다. 따라서 핵심 과제는 AI 기반 발견을 단순히 스케일링(scaling)하는 것뿐만 아니라, 평가 신호가 시간에 따라 누적될 수 있도록 해당 스케일링을 구조화하는 것입니다. 본 연구에서는 독립적인 궤적, 반복적 개선, 국소 후보 선택, 그리고 평가된 이력의 선택적 재사용 전반에 걸쳐 평가자 질의를 체계화함으로써 AI 발견 루프의 구조화된 스케일링에 집중하는 프레임워크인 SimpleTES(Simple Test-time Evaluation-driven Scaling)를 소개합니다. 과학계의 구조적 특징에서 착안한 SimpleTES는 단일 오픈소스 GPT-OSS 모델을 활용하여 양자물리학, 천문학부터 생물학, AI, 수학에 이르는 다양한 과학 분야의 28개 개방형 문제 전반에서 새로운 최첨단(SOTA) 솔루션을 확립합니다. 여기에는 양자 회로 컴파일 오버헤드 24.5% 감소, 심우주 궤적의 추진 비용 최대 23% 절감, 2.17배 더 빠른 라쏘 경로(lasso-path) 솔버, 8.5% 더 낮은 오차의 전뇌 신경 활동 예측기, 지금까지 보고된 것 중 가장 빠른 TriMul 커널, 그리고 기존 인간이나 AI의 기록을 뛰어넘는 새로운 수학적 구성 등이 포함됩니다. 나아가 우리는 각 시도에 그것이 생성하는 데 기여한 궤적의 최종 결과를 할당함으로써 장기(long-horizon) 발견을 위해 모델을 사후학습(post-training)합니다. 이는 학습 및 홀드아웃(held-out) 수학 문제 모두에서 성능을 향상시켜 프론티어를 더욱 발전시킵니다. 종합하면, 이러한 결과들은 구조화된 스케일링이 AI 과학적 발견을 진전시키기 위한 일반적인 메커니즘임을 입증합니다.
HERMES는 사전학습 데이터 혼합을 위한 계층적 레이블링 기반 시스템으로, Learned Semantic Transform과 3단계 잔차 벡터 양자화(RVQ)를 결합해 각 문서를 세밀도(granularity)를 프리픽스 길이로 조절 가능한 계층적 코드로 한 번에 주석 처리한다. 1B 파라미터, 25B 토큰 사전학습 실험에서 고정된 세밀도 파이프라인으로는 발견할 수 없는 세밀도-샘플러 간 상호작용을 포착하여, 최적 설정에서 16개 태스크 능력 평균을 +0.0253 향상시켰다.