PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2506.22729v3cs.DL

역동적인 과학에서의 지속성 역설: 심층 학습 혁명으로부터의 실증적 증거

Persistence Paradox in Dynamic Science: Evidence from the Deep Learning Revolution

지속성은 과학계에서 종종 미덕으로 여겨집니다. 그러나 본 논문에서는 지속성이 지닌 맥락적 특성, 특히 패러다임 전환기 동안 지속성이 어떻게 오히려 불리함으로 작용할 수 있는지를 조명함으로써 이러한 전통적 관점에 의문을 제기합니다. 우리는 2012년 AlexNet에 의해 촉발된 심층 학습(deep learning) 혁명에 주목합니다. 그 이전 10년 동안 최상위 머신러닝 학술 무대에서 활동했던 5,000명 이상의 과학자들의 20년에 걸친 경력 궤적을 분석하여, 이들의 연구 초점과 성과가 어떻게 변화했는지 살펴봅니다. 우리는 먼저 선도적인 학술 무대들이 전통적인 통계적 학습 방법을 밀어내고 최첨단 심층 학습 발전을 점진적으로 우선시했던 역동적인 시기를 밝혀냅니다. 과학자들은 이러한 변화에 현저히 다른 방식으로 대응했습니다. 즉, 이전에 성공했거나 확고한 입지의 연구진에 소속된 이들일수록 더 느리게 적응했습니다. 이러한 지속성은 생산성과는 양의 상관관계를 보였으나, 2012년 이후에는 과학적 영향력과 음의 상관관계를 나타냈습니다. 대부분의 연구자와 해당 분야 성과의 가장 큰 비중은 보통 수준의 지속성 구간에 밀집해 있으며, 이는 생산성과 영향력 사이의 상충 관계뿐만 아니라 더 큰 전환을 어렵게 만드는 제도적 마찰을 시사합니다. 이러한 결론은 대안적 식별 전략과 주제 인기 프리미엄, 생존 편향(survivorship bias)과 같은 대립적 설명에 대해서도 일관되게 유지됩니다. 종합하자면, 우리의 거시적 및 미시적 수준의 연구 결과는 이 사례에서 패러다임 전환이 기존 기득권층에게 유리함을 제공했던 바로 그 전문 지식의 가치를 떨어뜨림으로써 새로운 기회 구조를 창출함을 시사합니다.

arXiv:2511.21739v2cs.DL

과학은 프론티어를 따라가지 못하고 있다: 50만 편의 논문을 통해 살펴본 파운데이션 모델 도입 현황

Science Is Falling Behind the Frontier: Foundation Model Adoption Across Half a Million Papers

본 논문에서는 단순한 인용이나 키워드 조사가 아닌, 과학 분야에서의 인공지능(AI) 파운데이션 모델(foundation model) 활용에 대한 최초의 대규모 분석을 제시합니다. 연구 결과, 모델 도입은 거의 지수적인 속도로 급격히 증가했으며 언어학, 컴퓨터 과학, 공학 분야에서 가장 높은 활용도를 보였습니다. 언어 모델의 비중이 커지고 있음에도 불구하고, 과학 분야에서 가장 널리 사용되는 파운데이션 모델은 비전 모델이었습니다. 또한 공개 가중치(open-weight) 모델이 지배적인 것으로 나타났습니다. AI 개발자들이 모델의 매개변수(parameter) 수를 늘려감에 따라 과학자들도 이를 따르고 있으나 그 속도는 훨씬 느립니다. 2015년에는 과학 분야에서 채택된 파운데이션 모델의 평균 크기가 개발된 평균 모델보다 5.4배 더 컸지만, 2024년에는 이 관계가 역전되어 새로 구축된 모델의 평균 크기가 도입된 평균 모델보다 6.9배 더 커졌습니다. 아울러 과학자들이 이러한 더 작은 모델을 사용하는 것이 AI 기반 과학의 모든 이점을 얻는 데 한계로 작용할 수 있음을 시사하는 증거도 제시합니다. 더 큰 모델을 사용하는 논문일수록 영향력이 더 높은 저널에 게재되고 더 많은 인용 수를 기록하고 있습니다.