PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.29836v1cs.CL

자연어 처리 기술 발전 분석: 과학적 개체 중심 관점

Revealing the Technology Development of Natural Language Processing: A Scientific Entity-Centric Perspective

기술 발전에 관한 대부분의 연구는 주제적 관점에서 수행되어 왔으나, 주제는 거칠게 분류되어 기술을 정확히 표현하기에 충분하지 않다. 자동 개체 인식 기법의 발전으로 기술 관련 개체를 대규모로 추출하는 것이 가능해졌다. 이에 따라 본 연구는 개체 중심 관점에서 기술 발전을 보다 정확하게 분석한다. 먼저 자연어 처리(NLP) 분야 논문에서 방법(methods), 데이터셋(datasets), 평가지표(metrics), 도구(tools) 등 기술 관련 개체를 추출하고, 반자동 방식으로 개체를 정규화한다. 이후 개체의 공출현 네트워크를 기반으로 z-점수를 산출하여 영향도를 측정하고, 21세기 초부터 NLP 분야의 신기술 발전 추이를 분석한다. 본 논문의 주요 발견은 세 가지 측면으로 구성된다. 첫째, 논문당 평균 개체 수의 지속적인 증가는 연구자들이 관련 기술적 배경 지식을 습득해야 하는 부담이 늘어나고 있음을 시사한다. 그러나 사전학습 언어 모델의 등장은 NLP 분야의 기술 혁신에 새로운 활력을 불어넣었다. 둘째, 고영향도 개체 179개 중 방법(Methods) 범주가 지배적이다. 상위 10개 개체의 z-점수 추이 분석 결과, BERT와 트랜스포머로 대표되는 사전학습 언어 모델이 최근 주류로 자리잡았음이 확인된다. 나머지 8개 방법 개체의 추이와 달리, Wikipedia 데이터셋과 BLEU 평가지표의 영향도는 장기적으로 지속 상승해 왔다. 셋째, 최근 몇 년간 새로운 고영향도 기술의 인기가 전례 없이 급격히 증가하였으며, 연구자들의 수용 속도도 전례 없이 빨라지고 있다. 본 연구는 특정 도메인의 기술 발전을 분석하는 새로운 관점을 제시한다.

arXiv:2606.24099v1cs.AI

Exploring Academic Influence of Algorithms by Co-occurrence Network Based on Full-text of Academic Papers

Algorithms have become central to scientific research in the era of artificial intelligence (AI). Although algorithm mentions in papers are often used to indicate popularity and influence, existing studies usually evaluate individual algorithms in isolation and pay limited attention to the collective influence formed through their interconnections. This study constructs large-scale algorithm co-occurrence networks in natural language processing (NLP) based on the full text of academic papers and investigates algorithm influence from a network perspective. Using deep learning models, we extract algorithm entities and build overall, cumulative, and annual co-occurrence networks. We analyze their structural characteristics and apply multiple centrality measures to assess the group influence of algorithms across the whole field and over time. The results show that algorithm networks display typical features of complex networks, with increasingly dense connections developing over approximately two decades. Classic, high-performing algorithms and those located at the intersections of different research periods tend to have high popularity, control, centrality, and balanced influence. When the influence of an algorithm declines, it usually loses its core network position first, followed by weaker associations with other algorithms. This study is the first large-scale analysis of algorithm co-occurrence networks. Covering more than four decades of academic publications, it provides a temporal and structural view of algorithm influence and offers a foundation for future research on networks linking algorithms, scholars, and tasks.