PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.14882v1cs.IR

생성형 AI가 지도 학습 XMLC를 대체하는가? 독일 과학 문헌 자동 주제 색인 벤치마크 연구

Does generative AI supersede supervised XMLC? A Benchmark Study on Automated Subject Indexing with German Scientific Literature

큰 통제 어휘(controlled vocabulary)를 레이블 집합으로 할 때, 도서관에서의 자동 주제 색인 작업은 다중 레이블 분류 작업으로 이해할 수 있다. 주제어 집합이 크면 이 문제는 극단적 다중 레이블 분류(Extreme Multi-Label Classification, XMLC) 목표에 해당한다. 본 연구에서는 독일 국립도서관(German National Library, DNB)에서 수집한 현대 독일 과학 문헌의 주제 색인이라는 테스트 사례에 특화된 지도 학습 XMLC 방법들 중 일부를 적용한다. 이 결과와 대조하기 위해, 전통적인 어휘 매칭 기준선과 최근 개발한 LLM 기반 방법 3가지를 벤치마크에 포함한다. 알고리즘은 여러 지표로 평가하고 비교하며, 여기에는 기존 색인 자료와의 이진 관련성(binary relevance) 비교와 전문 주제 사서의 등급형 관련성(graded relevance) 평가가 포함된다. 모든 방법에 공통된 난제는 주제 어휘의 롱테일(long tail)에서 신뢰할 만한 추천을 하는 것이다. 전체적인 이진 관련성 지표 측면에서는 트랜스포머 기반 밀집(dense) 특징에 의존하는 지도 학습 XMLC 알고리즘이 최상의 결과를 보인다. 그러나 등급형 관련성과 주제 어휘 롱테일에서의 성능에 초점을 맞추면, LLM 기반 생성형 방법이 더 나은 결과를 보여 향후 실무 적용을 위한 유망한 대안이 된다.