arXiv:2506.22729v3 cs.DL

역동적인 과학에서의 지속성 역설: 심층 학습 혁명으로부터의 실증적 증거

Persistence Paradox in Dynamic Science: Evidence from the Deep Learning Revolution

Honglin Bao, Beichen Lu, Kai Li

제출 2025-06-28

한국어 초록

지속성은 과학계에서 종종 미덕으로 여겨집니다. 그러나 본 논문에서는 지속성이 지닌 맥락적 특성, 특히 패러다임 전환기 동안 지속성이 어떻게 오히려 불리함으로 작용할 수 있는지를 조명함으로써 이러한 전통적 관점에 의문을 제기합니다. 우리는 2012년 AlexNet에 의해 촉발된 심층 학습(deep learning) 혁명에 주목합니다. 그 이전 10년 동안 최상위 머신러닝 학술 무대에서 활동했던 5,000명 이상의 과학자들의 20년에 걸친 경력 궤적을 분석하여, 이들의 연구 초점과 성과가 어떻게 변화했는지 살펴봅니다. 우리는 먼저 선도적인 학술 무대들이 전통적인 통계적 학습 방법을 밀어내고 최첨단 심층 학습 발전을 점진적으로 우선시했던 역동적인 시기를 밝혀냅니다. 과학자들은 이러한 변화에 현저히 다른 방식으로 대응했습니다. 즉, 이전에 성공했거나 확고한 입지의 연구진에 소속된 이들일수록 더 느리게 적응했습니다. 이러한 지속성은 생산성과는 양의 상관관계를 보였으나, 2012년 이후에는 과학적 영향력과 음의 상관관계를 나타냈습니다. 대부분의 연구자와 해당 분야 성과의 가장 큰 비중은 보통 수준의 지속성 구간에 밀집해 있으며, 이는 생산성과 영향력 사이의 상충 관계뿐만 아니라 더 큰 전환을 어렵게 만드는 제도적 마찰을 시사합니다. 이러한 결론은 대안적 식별 전략과 주제 인기 프리미엄, 생존 편향(survivorship bias)과 같은 대립적 설명에 대해서도 일관되게 유지됩니다. 종합하자면, 우리의 거시적 및 미시적 수준의 연구 결과는 이 사례에서 패러다임 전환이 기존 기득권층에게 유리함을 제공했던 바로 그 전문 지식의 가치를 떨어뜨림으로써 새로운 기회 구조를 창출함을 시사합니다.

원문 초록

Persistence is often regarded as a virtue in science. In this paper, however, we challenge this conventional view by highlighting its contextual nature, particularly how persistence can become a liability during paradigm shifts. We focus on the deep learning revolution catalyzed by AlexNet in 2012. Analyzing the 20-year career trajectories of more than 5,000 scientists active in top machine learning venues during the preceding decade, we examine how their research focus and output evolved. We first uncover a dynamic period in which leading venues increasingly prioritized cutting-edge deep learning developments, displacing traditional statistical learning methods. Scientists responded to these changes in markedly different ways: those who were previously successful or affiliated with established teams adapted more slowly. Such persistence is positively associated with productivity but, after 2012, negatively associated with scientific impact. Most researchers, and the largest share of the field's output, cluster in a band of moderate persistence, pointing to a trade-off between output and impact, as well as to institutional frictions that make larger departures costly. These conclusions are robust to alternative identification strategies and to competing explanations such as topic popularity premiums and survivorship bias. Taken together, our macro- and micro-level findings suggest that, in this case, a paradigm shift creates an opportunity structure by devaluing the very expertise that conferred incumbents' advantage in the first place.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2506.22729v3

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2511.21739v2cs.DL공통 태그 scientometrics, science of science

과학은 프론티어를 따라가지 못하고 있다: 50만 편의 논문을 통해 살펴본 파운데이션 모델 도입 현황

Science Is Falling Behind the Frontier: Foundation Model Adoption Across Half a Million Papers

본 논문에서는 단순한 인용이나 키워드 조사가 아닌, 과학 분야에서의 인공지능(AI) 파운데이션 모델(foundation model) 활용에 대한 최초의 대규모 분석을 제시합니다. 연구 결과, 모델 도입은 거의 지수적인 속도로 급격히 증가했으며 언어학, 컴퓨터 과학, 공학 분야에서 가장 높은 활용도를 보였습니다. 언어 모델의 비중이 커지고 있음에도 불구하고, 과학 분야에서 가장 널리 사용되는 파운데이션 모델은 비전 모델이었습니다. 또한 공개 가중치(open-weight) 모델이 지배적인 것으로 나타났습니다. AI 개발자들이 모델의 매개변수(parameter) 수를 늘려감에 따라 과학자들도 이를 따르고 있으나 그 속도는 훨씬 느립니다. 2015년에는 과학 분야에서 채택된 파운데이션 모델의 평균 크기가 개발된 평균 모델보다 5.4배 더 컸지만, 2024년에는 이 관계가 역전되어 새로 구축된 모델의 평균 크기가 도입된 평균 모델보다 6.9배 더 커졌습니다. 아울러 과학자들이 이러한 더 작은 모델을 사용하는 것이 AI 기반 과학의 모든 이점을 얻는 데 한계로 작용할 수 있음을 시사하는 증거도 제시합니다. 더 큰 모델을 사용하는 논문일수록 영향력이 더 높은 저널에 게재되고 더 많은 인용 수를 기록하고 있습니다.

arXiv:2603.22510v3cs.DL공통 태그 scientometrics

ChatGPT 이후 정보시스템 저널의 연구 신규성: 기관 언어 맥락에 따른 차이

Research Novelty in Information Systems Journals After ChatGPT: Differences Across Institutional Language Contexts

대규모 언어 모델(LLM)이 학술 작업에서 점점 더 많이 사용되고 있지만, 그 생산성 향상이 연구 신규성의 변화를 수반하는지는 여전히 불분명하다. 우리는 ChatGPT가 널리 보급된 이후 정보시스템 저널에서 상대적 초록 수준의 의미적 신규성이 어떻게 변했는지, 그리고 이러한 변화가 기관 언어 맥락에 따라 달라졌는지를 검토한다. 2020년부터 2025년까지 44개 A* 및 A 등급 정보시스템 저널에 게재된 13,847편의 논문을 분석한다. 제목과 초록의 SPECTER2 표현을 사용하여 각 논문의 가장 가까운 최근 선행 연구와의 의미적 거리를 측정하고 비교적 전/후 모델을 추정한다. 영어가 주류가 아닌 국가의 기관에 소속된 제1저자 논문은 영어가 주류인 소속 논문보다 상대적 의미적 신규성의 2022년 이후 하락이 표준편차 0.176만큼 더 크며, 이는 약 7 백분위수 포인트에 해당한다. 여러 대안적 명세에서도 패턴은 유사하지만, 균형 저자 추정치는 덜 정밀하다. 이 발견을 생성형 AI(GenAI) 지원 지식 작업 내의 긴장 관계를 통해 해석한다. GenAI는 선행 지식에 대한 접근을 넓히고 새로운 결합을 지원할 수 있지만, 기존의 틀을 더 쉽게 재현하게 만들 수도 있다. 개별 LLM 사용은 관측되지 않기 때문에, 이 결과는 LLM 도입의 효과라기보다 이질적인 2022년 이후 변화를 식별한다. 본 연구는 출판 건수에서 게재 논문의 의미적 위치로 관심을 전환하고, 2022년 이후 변화가 기관 맥락에 따라 다름을 보여 줌으로써 LLM과 학술 생산성에 관한 연구를 확장한다.

arXiv:2606.31058v1cs.CL공통 태그 scientometrics

세밀한 지식 엔티티 기반 학술 논문의 팀 기관 구성과 참신성 간의 관계 탐구

Exploring the relationship between team institutional composition and novelty in academic papers based on fine-grained knowledge entities

저자 팀의 구성은 학술 논문의 참신성에 영향을 미치는 중요한 요인이다. 그러나 기존 연구들은 기관 구성의 역할에 대해 제한적인 관심만을 기울여 왔으며, 대부분의 참신성 측정 방법은 일반적인 수준에 머물러 있어 논문의 참신성의 구체적인 원천과 유형을 설명하기 어렵다. 본 연구는 자연어 처리(NLP) 분야를 예시로 삼아 팀 기관 구성과 학술 논문의 세밀한 참신성 간의 관계를 분석한다. 저자 팀은 학술 기관, 산업 기관, 그리고 학술-산업 혼합 기관의 세 가지 유형으로 분류된다. 논문 전문에서 방법(method), 데이터셋(dataset), 도구(tool), 지표(metric)를 포함한 네 가지 유형의 세밀한 지식 엔티티를 추출한다. 이후 엔티티 조합을 기반으로 논문의 참신성을 측정하고, 서로 다른 엔티티 유형 간의 쌍별 조합을 추가 분석하여 참신한 논문에 대한 기여도를 조사한다. 분석 결과, 자연어 처리 분야에서 산업 기관과 학술 기관 간의 협력은 순수 산업 협력보다 참신한 논문을 생산할 가능성이 더 높은 것으로 나타났다. 세밀한 지식 엔티티 관점에서, 학술-산업 혼합 팀은 방법-지표 조합의 참신성에 더 주목하는 반면, 산업 팀은 방법-도구 조합의 참신성에 더 주목하는 경향을 보인다. 본 연구는 세밀한 참신성 측정을 통해 기관 팀 구성과 논문 참신성 간의 관계를 밝히고, 논문 품질 향상 및 산학연 협력 촉진을 위한 유용한 근거를 제공한다.

arXiv:2606.31081v1cs.DL공통 태그 scientometrics

문헌정보학 연구방법의 사용 빈도와 적용 다양성: 1991년부터 2021년까지의 연속 조사

Usage frequency and application variety of research methods in library and information science: Continuous investigation from 1991 to 2021

본 연구는 1991년부터 2021년 사이에 21개 주요 문헌정보학(LIS, Library and Information Science) 학술지에 게재된 26,000편 이상의 연구 논문을 분석하였으며, 기계학습(ML) 접근법을 활용하여 LIS 학자들이 사용하는 연구방법을 범주화하였다. 본 연구의 결과는 다음과 같은 점에서 중요한 의미를 지닌다. 첫째, 지난 31년간 LIS 연구에서 개념적 연구(예: "이론적 접근")에서 실증적 연구(예: "인터뷰")로 연구 전략의 전환이 이루어졌다. 둘째, 이 기간 동안 LIS 학자들이 탐구하는 연구 주제가 시스템 중심 이슈(예: "정보 검색/모델 및 알고리즘")에서 이용자 중심 주제(예: "정보 서비스")로 이동하였다. 셋째, 본 연구에서 식별된 18개의 연구 주제와 LIS 분야에서 일반적으로 채택되는 16개의 연구방법 간의 역동적이고 시사적인 관계가 밝혀졌다. 이러한 역동적 관계는 본 연구에서 제작한 인터랙티브 맵을 통해 연도별 및 종단적으로 시각화할 수 있다.

arXiv:2606.29836v1cs.CL공통 태그 scientometrics

자연어 처리 기술 발전 분석: 과학적 개체 중심 관점

Revealing the Technology Development of Natural Language Processing: A Scientific Entity-Centric Perspective

기술 발전에 관한 대부분의 연구는 주제적 관점에서 수행되어 왔으나, 주제는 거칠게 분류되어 기술을 정확히 표현하기에 충분하지 않다. 자동 개체 인식 기법의 발전으로 기술 관련 개체를 대규모로 추출하는 것이 가능해졌다. 이에 따라 본 연구는 개체 중심 관점에서 기술 발전을 보다 정확하게 분석한다. 먼저 자연어 처리(NLP) 분야 논문에서 방법(methods), 데이터셋(datasets), 평가지표(metrics), 도구(tools) 등 기술 관련 개체를 추출하고, 반자동 방식으로 개체를 정규화한다. 이후 개체의 공출현 네트워크를 기반으로 z-점수를 산출하여 영향도를 측정하고, 21세기 초부터 NLP 분야의 신기술 발전 추이를 분석한다. 본 논문의 주요 발견은 세 가지 측면으로 구성된다. 첫째, 논문당 평균 개체 수의 지속적인 증가는 연구자들이 관련 기술적 배경 지식을 습득해야 하는 부담이 늘어나고 있음을 시사한다. 그러나 사전학습 언어 모델의 등장은 NLP 분야의 기술 혁신에 새로운 활력을 불어넣었다. 둘째, 고영향도 개체 179개 중 방법(Methods) 범주가 지배적이다. 상위 10개 개체의 z-점수 추이 분석 결과, BERT와 트랜스포머로 대표되는 사전학습 언어 모델이 최근 주류로 자리잡았음이 확인된다. 나머지 8개 방법 개체의 추이와 달리, Wikipedia 데이터셋과 BLEU 평가지표의 영향도는 장기적으로 지속 상승해 왔다. 셋째, 최근 몇 년간 새로운 고영향도 기술의 인기가 전례 없이 급격히 증가하였으며, 연구자들의 수용 속도도 전례 없이 빨라지고 있다. 본 연구는 특정 도메인의 기술 발전을 분석하는 새로운 관점을 제시한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.