arXiv:2606.19781v1 hep-ex

사전학습 데이터 구성을 통한 스케일링 법칙 설계를 향하여

Towards Engineering Scaling Laws with Pretraining Data Composition

Jan-Lucas Uslu, Kevin Greif, Daniel Whiteson, Benjamin Nachman

제출 2026-06-18

한국어 초록

신경망 스케일링 법칙은 연산량, 모델 크기, 데이터셋 크기에 따라 모델 성능이 멱법칙으로 어떻게 향상되는지 설명합니다. 대규모 언어 모델(LLM)에서는 잘 정립되어 있지만, 입자 물리학의 대규모 모델에서는 이러한 관계가 등장하고 있습니다. 언어의 경우와 마찬가지로, 실증적 연구는 성능이 멱법칙으로 스케일링됨을 보여줍니다. 그러나 자연어나 이미지 도메인과 달리, 기초 물리학은 합성 데이터를 저렴하게 생성할 수 있는 고충실도 시뮬레이터를 보유하고 있습니다. 이는 추가 파라미터보다 추가 데이터가 더 저렴한 스케일링 체제를 선호하게 하며, 스케일링에 영향을 미치도록 사전학습 데이터셋 자체를 설계할 수 있게 합니다. 고에너지 입자 빔 충돌에서 생성되는 하드론 제트를 분류하는 작업에 대해, 우리는 다운스트림 분류 작업과 더 잘 정렬되고 더 다양한 사전학습 데이터를 포함함으로써, 더 큰 모델보다 더 많은 데이터를 요구하는 쪽으로 스케일링 거동을 설계할 수 있음을 보여줍니다.

원문 초록

Neural scaling laws describe how model performance improves as a power law in compute, model size, and dataset size. While well-established for large language models, these relationships are emerging for large models in particle physics. As with language, empirical studies show that the performance scales as a power law. However, unlike natural language or image domains, fundamental physics has high-fidelity simulators that produce synthetic data cheaply. This favors scaling regimes where additional data is cheaper than additional parameters, and allows the pretraining dataset itself to be engineered to influence the scaling. For the task of classifying hadronic jets produced in collisions of high-energy particle beams, we show that the scaling behavior can be engineered towards requiring more data rather than larger models by inclusion of pretraining data which is more diverse and better aligned with the downstream classification task.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.19781v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27232v1cs.LG공통 태그 Transfer Learning, scaling laws

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

arXiv:2609.27679v1cs.LG공통 태그 Classification, Transfer Learning

정형 파운데이션 모델은 문맥 내에서 무엇을 계산하는가? 어텐션 게이트 업데이트를 통한 현장 표현 정제

What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates

모든 테이블이 새로운 지도학습 태스크를 정의할 때, 정형 파운데이션 모델(tabular foundation model)은 재사용 가능한 어떤 계산을 학습해야 하는가? 본 연구에서는 현장 표현 정제(in-situ representation refinement)를 개발한다. 이는 서포트 레이블(support label)이 에피소드의 표현 업데이트를 유도하고, 이러한 업데이트가 모델 파라미터를 변경하지 않고도 레이블이 없는 쿼리로 전이되도록 한다. 정규화된 LOO(leave-one-out) 목적식은 서포트 보정과 이에 대한 쿼리 확장을 도출한다. 주요 항은 어텐션(attention) 기반의 읽기와 상태 의존적 스케일링을 분리하며, 이는 선택된 저랭크 특징 상호작용 및 유형화된 메모리를 갖춘 어텐션 게이트 기반의 FFN 없는 문맥 스택인 RefineICL의 동기가 된다. RefineICL-L24는 AMLB29에서 0.93836 OVR-AUC와 0.87173 정확도에 도달한다. 벤치마크 기반의 연장 학습 버전은 38개 데이터셋의 TabArena 스냅샷에서 1644.8 Elo를 달성하여 동일한 평가 하에서 TabPFN-3보다 31.4 Elo 높은 수치를 기록한다. 또한 두 가지 TabZilla 뷰 모두에서 TabPFN-v3 대비 보고된 4가지 지표를 모두 향상시킨다. 동일 조건의 10만 회 업데이트 깊이 그리드에서, 확장된 FFN은 일관된 검증(validation) 이점을 제공하지 못하며 L8에서 최대 추론(inference) 메모리를 60.2% 더 많이 사용한다. 내부 개입 실험에 따르면 서포트 표현은 단순한 정적 레이블 소스 이상임을 보여준다. 즉, 쿼리 출력을 보존한 채 중간 서포트 업데이트 하나를 제거하면 테스트된 72개 에피소드 전체에서 최종 쿼리 교차 엔트로피(cross-entropy)가 증가한다. 종합적으로 이러한 유도 과정과 개입 실험은 어텐션 게이트 업데이트가 문맥 내에서 어떻게 태스크 특화 예측기를 구성할 수 있는지를 설명한다.

arXiv:2609.26924v1cs.CV공통 태그 Classification, Transfer Learning

nnFoundation: 방사선학을 위한 3D 파운데이션 모델

nnFoundation: 3D Foundation Models for Radiology

방사선 인공지능은 빠르게 발전했으나, 대부분의 시스템은 여전히 좁은 범위의 과제에 특화되어 있고 데이터 집약적이며 도메인 이동(domain shift) 환경에서 취약하다. 파운데이션 모델은 더 전이 가능하고 데이터 효율적인 해결책을 약속하지만, 기존 접근은 규모가 제한적이고 평가 범위가 좁으며, 종종 단일 사전학습 모델이 다양한 다운스트림 과제를 지원할 수 있다고 가정한다. 본 연구에서는 상보적인 합성곱 및 트랜스포머 기반 3D 방사선학 파운데이션 모델 nnFoundation을 제시한다. Human Radiome Project(THRP) 내에서 개발된 nnFoundation은 125개의 기관 및 공개 데이터셋으로부터 2.1백만 건의 CT, MRI, PET 영상 볼륨으로 학습되었다. 세그멘테이션, 검출, 분류, 리포트 생성, 이미지 검색에 이르는 108개 과제에서 이를 평가했으며, 도메인 이동 하에서의 평가, 외부 파트너에 의한 평가, 저데이터 및 저연산 환경에서의 평가를 포함한다. 모든 과제 유형에서 합성곱 및 트랜스포머 기반 nnFoundation 모델은 기존 3D 파운데이션 모델과 처음부터 학습하는 방법 모두를 일관되게 능가하여 방사선 영상 분야 최신(state-of-the-art) 성능을 확립했다. 다만 성능은 일관된 과제 의존적 구조를 따른다. 합성곱 nnFoundation 모델은 공간적으로 국한된 과제에서 우세하고, 트랜스포머 기반 nnFoundation 모델은 전역적 의미 추론이 필요한 과제와 고정 특징(frozen-feature) 설정에서 뛰어나다. 사후적으로 파운데이션 모델 토폴로지를 데이터셋 특성에 동적으로 정렬하면 이질적인 3D 환경에서의 전이를 더욱 개선한다. 이러한 결과는 전이 가능한 3D 방사선학 성능이 단일 범용 모델이 아니라 확장 가능한 사전학습, 상보적 아키텍처, 데이터셋 인지 적응의 상호작용에 의해 좌우됨을 보여준다. nnU-Net 및 nnDetection에 통합된 nnFoundation 모델을 공개하여 기존 방사선학 워크플로에 즉시 적용할 수 있게 한다.

arXiv:2609.25862v1cs.CL공통 태그 Classification, Transfer Learning

아이슬란드 수어 고립 수어 인식: 저자원 환경에서의 실험

Isolated Sign Language Recognition for Icelandic Sign Language: Experiments in a Low-resource Setting

본 논문은 아이슬란드 수어(\'ITM)에 대한 고립 수어 인식(ISLR) 최초의 실험을 제시한다. 아이슬란드어–\'ITM 이중 언어 온라인 사전에서 파생된 데이터셋인 \'ITM SignWiki를 사용한다. 이 데이터셋은 실제로 저자원 환경에 해당한다. 1,845개의 비디오가 849개 클래스를 이루며, 이 중 86%는 예시가 단 두 개뿐이어서 전체 과제는 사실상 서로 다른 수어 사용자 간의 원샷(one-shot) 인식이 된다. 어휘 크기가 점차 커지는 세 가지 과제(22개, 117개, 849개 클래스)에서 두 가지 오픈소스 ISLR 프레임워크인 OpenHands와 SPOTER를 비교하고, 세 가지 포즈 추정기와 두 가지 형태의 교차 언어 전이(cross-lingual transfer)를 평가한다. \'ITM 데이터만 사용할 경우 세 과제 모두에서 SPOTER가 OpenHands보다 우수한 성능을 보였으며, MediaPipe 포즈가 AlphaPose나 SDPose보다 더 좋은 결과를 냈다. 가장 큰 성능 향상은 교차 언어 전이에서 나타났다. \'ITM으로 파인튜닝하기 전에 미국 수어 데이터로 SPOTER를 사전학습하면 정확도가 14~24%p 상승하여 세 과제에서 각각 72.7%, 47.9%, 22.6%에 도달했으며, 다른 여섯 개 수어의 데이터를 활용한 다국어 학습은 전체 과제에서 OpenHands의 정확도를 1.41%에서 28.86%로 끌어올렸다. 실용화 수준에는 크게 못 미치지만, 이 결과는 자원이 더 풍부한 수어로부터의 전이가 극저자원 수어에 유망함을 시사한다. 두 프레임워크를 각각 수정한 버전을 공개한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.