arXiv:2511.21739v2 cs.DL

과학은 프론티어를 따라가지 못하고 있다: 50만 편의 논문을 통해 살펴본 파운데이션 모델 도입 현황

Science Is Falling Behind the Frontier: Foundation Model Adoption Across Half a Million Papers

Ana Trišović, Alex Fogelson, Janakan Sivaloganathan, Neil Thompson

제출 2025-11-21

저자 비고

arXiv Comments

22 pages (8 main text), 6 figures, 3 tables. Accepted to the AI for Meta-Science (AI4MetaScience) Workshop at NeurIPS 2026

한국어 초록

본 논문에서는 단순한 인용이나 키워드 조사가 아닌, 과학 분야에서의 인공지능(AI) 파운데이션 모델(foundation model) 활용에 대한 최초의 대규모 분석을 제시합니다. 연구 결과, 모델 도입은 거의 지수적인 속도로 급격히 증가했으며 언어학, 컴퓨터 과학, 공학 분야에서 가장 높은 활용도를 보였습니다. 언어 모델의 비중이 커지고 있음에도 불구하고, 과학 분야에서 가장 널리 사용되는 파운데이션 모델은 비전 모델이었습니다. 또한 공개 가중치(open-weight) 모델이 지배적인 것으로 나타났습니다. AI 개발자들이 모델의 매개변수(parameter) 수를 늘려감에 따라 과학자들도 이를 따르고 있으나 그 속도는 훨씬 느립니다. 2015년에는 과학 분야에서 채택된 파운데이션 모델의 평균 크기가 개발된 평균 모델보다 5.4배 더 컸지만, 2024년에는 이 관계가 역전되어 새로 구축된 모델의 평균 크기가 도입된 평균 모델보다 6.9배 더 커졌습니다. 아울러 과학자들이 이러한 더 작은 모델을 사용하는 것이 AI 기반 과학의 모든 이점을 얻는 데 한계로 작용할 수 있음을 시사하는 증거도 제시합니다. 더 큰 모델을 사용하는 논문일수록 영향력이 더 높은 저널에 게재되고 더 많은 인용 수를 기록하고 있습니다.

원문 초록

We present the first large-scale analysis of AI foundation model usage in science -- not just citations or keywords. We find that adoption has grown rapidly, at nearly-exponential rates, with the highest uptake in Linguistics, Computer Science, and Engineering. Vision models are the most used foundation models in science, although language models' share is growing. Open-weight models dominate. As AI builders increase the parameter counts of their models, scientists have followed suit but at a much slower rate: in 2015, the mean foundation model adopted in science was 5.4x larger than the mean model being built; by 2024 that relationship had reversed, with the mean model built 6.9x larger than the mean model adopted. We also present suggestive evidence that scientists' use of these smaller models may be limiting them from getting the full benefits of AI-enabled science, as papers that use larger models appear in higher-impact journals and accrue more citations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2511.21739v2

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2506.22729v3cs.DL공통 태그 scientometrics, science of science

역동적인 과학에서의 지속성 역설: 심층 학습 혁명으로부터의 실증적 증거

Persistence Paradox in Dynamic Science: Evidence from the Deep Learning Revolution

지속성은 과학계에서 종종 미덕으로 여겨집니다. 그러나 본 논문에서는 지속성이 지닌 맥락적 특성, 특히 패러다임 전환기 동안 지속성이 어떻게 오히려 불리함으로 작용할 수 있는지를 조명함으로써 이러한 전통적 관점에 의문을 제기합니다. 우리는 2012년 AlexNet에 의해 촉발된 심층 학습(deep learning) 혁명에 주목합니다. 그 이전 10년 동안 최상위 머신러닝 학술 무대에서 활동했던 5,000명 이상의 과학자들의 20년에 걸친 경력 궤적을 분석하여, 이들의 연구 초점과 성과가 어떻게 변화했는지 살펴봅니다. 우리는 먼저 선도적인 학술 무대들이 전통적인 통계적 학습 방법을 밀어내고 최첨단 심층 학습 발전을 점진적으로 우선시했던 역동적인 시기를 밝혀냅니다. 과학자들은 이러한 변화에 현저히 다른 방식으로 대응했습니다. 즉, 이전에 성공했거나 확고한 입지의 연구진에 소속된 이들일수록 더 느리게 적응했습니다. 이러한 지속성은 생산성과는 양의 상관관계를 보였으나, 2012년 이후에는 과학적 영향력과 음의 상관관계를 나타냈습니다. 대부분의 연구자와 해당 분야 성과의 가장 큰 비중은 보통 수준의 지속성 구간에 밀집해 있으며, 이는 생산성과 영향력 사이의 상충 관계뿐만 아니라 더 큰 전환을 어렵게 만드는 제도적 마찰을 시사합니다. 이러한 결론은 대안적 식별 전략과 주제 인기 프리미엄, 생존 편향(survivorship bias)과 같은 대립적 설명에 대해서도 일관되게 유지됩니다. 종합하자면, 우리의 거시적 및 미시적 수준의 연구 결과는 이 사례에서 패러다임 전환이 기존 기득권층에게 유리함을 제공했던 바로 그 전문 지식의 가치를 떨어뜨림으로써 새로운 기회 구조를 창출함을 시사합니다.

arXiv:2610.13435v1cs.LG공통 태그 foundation models

PPG-Bench: PPG 파운데이션 모델을 위한 통합 벤치마크

PPG-Bench: A Unified Benchmark for PPG Foundation Models

광용적맥파(Photoplethysmography, PPG)는 웨어러블 및 임상 기기에서 점점 더 대규모로 기록되고 있으며, 다양한 다운스트림 작업을 위한 재사용 가능한 표현을 계산하기 위해 점점 더 많은 PPG 파운데이션 모델(FM)이 개발되고 있다. 이러한 모델들은 서로 비교하기 어려운데, 평가마다 서로 다른 데이터셋, 작업 정의, 전처리, 다운스트림 헤드, 하이퍼파라미터 튜닝, 기준선을 사용하기 때문이다. 우리는 5개의 공개 PPG FM을 9개의 오픈 액세스 데이터셋과 심혈관 상태 추정, 활동, 수면, 스크리닝, 식별에 걸친 26개 작업에 대해 평가하는 통합 오픈소스 벤치마크인 PPG-Bench를 제시한다. 우리는 적응성이 점차 증가하는 네 가지 다운스트림 체제(선형 프로빙, 랜덤 포레스트, 고정된 MLP 프로브, 엔드-투-엔드 파인튜닝) 하에서 모델별 하이퍼파라미터 최적화와 피험자 분리 교차검증을 적용하여 모델을 평가한다. 우리는 또한 세 가지 대조군, 즉 무작위/상수 기준선, 결정론적 맥박률 변동성(pulse-rate-variability, PRV) 특징 집합, 범용 시계열 FM(MOMENT)과 비교하여 평가한다. 68개의 작업-체제 조합 전체에서 35.3%는 무작위/상수 기준선 대비 FM의 유의미한 이점을 보이지 않았으며, 83.8%에서는 어떤 PPG 전용 FM도 PRV와 MOMENT를 모두 능가하지 못했다. 또한 다운스트림 헤드의 용량을 추가하면 일반적으로 성능이 향상되지만, 모델이 무작위 수준/상수 수준에서 동작하는 경우에는 상당한 성능 저하를 유발할 수 있음을 발견했다. 따라서 현재의 PPG FM은 아직 PPG 신호에 대한 일반화되고 전이 가능한 표현을 제공한다고 주장할 수 없으며, 이 분야의 향후 평가에는 단순하고 학습되지 않은 대조군에 대한 검증이 포함되어야 한다. 벤치마크 코드와 추가 모델 평가 방법은 다음에서 확인할 수 있다 - https://github.com/mannas-ai/ppg-bench.

arXiv:2610.10560v1physics.soc-ph공통 태그 foundation models

지구과학 분야 AI 모델의 전략적 거버넌스

Strategic Governance of AI Models in Earth Science

기상 및 기후 데이터로 사전학습(pre-training)된 AI 파운데이션 모델이 기상 예측을 넘어 다양한 지구과학 과제에 점차 널리 미세조정(fine-tuning)되고 있습니다. 이러한 모델의 개발과 도입 속도는 과학계의 평가 능력을 앞지르고 있습니다. 현재 이 모델들은 거의 전적으로 벤치마크 스킬 지표로만 평가받고 있는데, 이는 예측이 기준 결과물을 얼마나 가깝게 재현하는지를 측정할 뿐 모델이 예측 대상 시스템을 지배하는 물리적 과정을 제대로 반영하는지는 측정하지 못합니다. 따라서 예측 스킬과 물리적 신뢰성은 서로 구별되는 특성입니다. 이러한 구분은 모델이 학습하지 않은 기후 변화의 비정상성(nonstationary) 조건 하에서 가장 중대한 영향을 미칩니다. 본 연구에서는 작업 특화 에뮬레이터부터 파운데이션 모델에 이르기까지 지구과학 분야 AI 모델의 물리적 평가를 위한 5가지 우선순위로 학습 데이터, 미세조정, 행동 테스팅, 기저 메커니즘 해석 가능성(mechanistic interpretability), 그리고 출력 검증을 제시합니다. 또한 향후 10년을 위한 3가지 활동으로 1) 공개된 AI 지원 평가 데이터셋 구축, 2) 물리 기반 평가를 위한 공통 보고 기준 수립, 3) 이러한 모델의 안전성(safety)에 관한 전담 연구 프로그램 운영을 제안합니다.

arXiv:2605.15871v2cs.AI공통 태그 foundation models

에이전틱 신경망 아키텍처 발견: AIRA-Compose 및 AIRA-Design

Agentic Discovery of Neural Architectures: AIRA-Compose and AIRA-Design

재귀적 자기 개선을 향해, 우리는 대규모 언어 모델(LLM) 에이전트가 표준 트랜스포머(Transformer)를 넘어 파운데이션 모델을 자율적으로 설계하는 방안을 연구한다. 우리는 고수준 아키텍처 탐색을 위한 AIRA-Compose와 저수준 메커니즘 구현을 위한 AIRA-Design이라는 이중 프레임워크 접근법을 소개한다. AIRA-Compose는 24시간의 예산 하에 11개의 에이전트를 사용하여 기본적인 계산 프리미티브를 탐색한다. 에이전트들은 백만 단위 매개변수 후보들을 평가하고, 상위 설계를 350M, 1B, 3B 규모로 외삽한다. 이를 통해 두 가지 패밀리에 걸친 14개의 아키텍처, 즉 AIRAformer(트랜스포머 기반)와 AIRAhybrid(트랜스포머-Mamba 기반)가 도출된다. 1B 규모에서 사전학습된 이 모델들은 Llama 3.2 및 Composer 기반 기준 모델들을 일관되게 능가한다. 다운스트림 태스크에서 AIRAformer-D와 AIRAhybrid-D는 Llama 3.2 대비 정확도를 각각 2.4% 및 3.8% 향상시킨다. 나아가 AIRA-Compose는 매우 효율적인 스케일링 프론티어를 갖춘 모델들을 발견하는데, AIRAformer-C는 Llama 3.2 및 Composer의 최적 트랜스포머보다 54% 및 71% 더 빠르게 스케일링되며, AIRAhybrid-C는 Nemotron-2보다 23%, Composer의 최적 하이브리드보다 37% 뛰어난 스케일링 속도를 보인다. AIRA-Design은 20개의 에이전트에게 장거리 의존성을 위한 새로운 어텐션(attention) 메커니즘과 고성능 학습(training) 스크립트를 작성하도록 지시한다. Long Range Arena 벤치마크에서 에이전트가 설계한 아키텍처는 문서 매칭 및 텍스트 분류(classification)에서 인간의 최고 성능(SOTA) 대비 2.3% 및 2.6% 이내의 격차를 달성한다. Autoresearch 벤치마크에서는 Greedy Opus 4.5가 고정된 시간 예산 하에서 0.968의 검증(validation) 비트/바이트(bits-per-byte)를 달성하여 기존에 발표된 최솟값을 넘어섰다. 종합하면, 이러한 프레임워크들은 AI 에이전트가 사람이 수작업으로 설계한 기준 모델과 대등하거나 이를 능가하는 아키텍처 및 알고리즘 최적화를 자율적으로 발견할 수 있음을 보여준다. 이는 차세대 파운데이션 모델을 발견하기 위한 강력한 패러다임을 확립하며, 재귀적 자기 개선을 향한 분명한 진전을 나타낸다.

arXiv:2610.02608v1cs.AI공통 태그 foundation models

시계열 예측 벤치마크에는 시나리오 기반 스트레스 테스트가 필요하다

Time Series Forecasting Benchmarks Need Scenario-Grounded Stress Testing

시계열 예측(Time Series Forecasting, TSF)은 교통, 에너지, 금융, 헬스케어, 인프라 전반의 의사결정을 점점 더 주도하고 있으나, 현재의 평가는 지나치게 협소한 상태에 머물러 있습니다. 표준 벤치마크는 낮은 홀드아웃(held-out) 오차에 보상을 부여하는 반면, 강건성 연구는 일반적으로 실패를 가우시안 노이즈, 무작위 마스킹, 또는 제한된 적대적 섭동으로 단순화합니다. 이는 배포된 예측 시스템의 실제 실패 모드를 가립니다. 입력 측 이상치는 단순히 더 노이즈가 많은 입력에 그치지 않으며, 시계열 역학을 바꾸고, 변수 간 의존성을 깨뜨리며, 체제 변화(regime shift)를 유발하거나 결함이 있는 센서에서 다운스트림 의사결정으로 전파되는 구조화된 이벤트를 반영하는 경우가 많습니다. 이러한 시맨틱, 인과적, 시스템 수준의 실패는 독립동일분포(i.i.d.) 섭동만으로는 충실하게 포착될 수 없습니다. 감사가 불가능한 사전학습 말뭉치로 인해 홀드아웃 일반화의 신뢰성이 점차 떨어지면서, TSF 파운데이션 모델의 등장은 이러한 평가 격차를 더욱 시급한 문제로 만듭니다. 따라서 우리는 시나리오 기반 스트레스 테스트를 제안합니다. 각 테스트 인스턴스는 과거 입력과 미래 타깃뿐만 아니라 시맨틱 시나리오, 명시적인 실패 연산자, 측정 가능한 난이도를 포함해야 합니다. 이러한 변화는 평가를 해석 가능하고, 원인 규명이 가능하며, 배포에 적합하고 친화적으로 만들어, 커뮤니티가 어떤 모델이 정확한지뿐만 아니라 어떤 조건에서 왜 실패하는지까지 질문할 수 있도록 합니다.

arXiv:2609.27232v1cs.LG공통 태그 foundation models

fMRI 파운데이션 모델에 대한 스케일링 연구

A Scaling Study for fMRI Foundation Models

스케일링 법칙은 컴퓨터 비전(CV)과 자연어 처리(NLP)에서 대규모 모델 개발을 이끌어 왔지만, 기능적자기공명영상(fMRI) 파운데이션 모델에서는 데이터, 모델 크기, 연산(compute) 간 관계가 여전히 불분명하다. 본 연구에서는 200개 이상의 소스 데이터셋에서 수집한 사전학습 데이터와 10,000 GPU-hours 이상의 실험을 통해 통제된 실증 연구를 수행한다. 사전학습 프레임워크와 다운스트림 프로토콜을 고정한 채, 사전학습 데이터 규모, 모델 크기, 학습 기간을 변화시킨다. 다운스트림 성능은 일반적으로 연산이 증가할수록 향상되지만, 유사한 연산을 사용하는 모델도 성능이 크게 달라질 수 있다. 추가 사전학습 데이터는 모델 크기가 클수록 더 큰 이득을 가져오며, 데이터와 모델 크기를 함께 스케일링해야 함을 시사한다. 동일한 연산에서 사전학습 데이터를 늘리는 것이 모델 크기를 늘리는 것보다 더 많은 태스크에 이롭지만, 패턴은 태스크마다 다르다. 이어서 분포 내(ID) 다운스트림 성능을 이용해 두 가지 고정 연산 예산에서 사전학습 데이터 규모, 모델 크기, 학습 기간의 조합을 선택한다. 이렇게 선정된 모델은 분포 외(OOD) 평가 전에 확정(locked)된다. 이 모델들은 비교 대상 fMRI 파운데이션 모델 중 평가된 OOD 태스크 전반에서 최고 평균 성능을 달성하면서 사전학습 연산은 더 적게 사용한다. 전반적으로, 연산만으로는 fMRI 스케일링을 특징짓지 못하며, 성능은 사전학습 데이터, 모델 크기, 학습 기간이 어떻게 결합되느냐에 달려 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.