PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.12071v1cs.DL

과학적 참신성 평가를 위한 LLM-as-Judge의 한계

On the Limits of LLM-as-Judge for Scientific Novelty Assessment

대규모 언어 모델(LLM)은 과학적 아이디어를 생성하고 판단하는 데 점점 더 많이 사용되고 있습니다. 이로 인해 참신성 평가가 핵심 문제가 되었습니다. 완전한 아이디어 평가는 방법론, 그 타당성, 그리고 실증적 가능성을 판단해야 하는 경우가 많아 어렵습니다. 따라서 우리는 더 명확한 상위 개념인 연구 질문(RQ)을 연구합니다. RQ 생성은 과학적 아이디어 도출의 선행 조건이며, RQ는 실제 논문에서 다루어진 질문들과 비교할 수 있습니다. 우리는 최근 arXiv 논문들로 구축된 벤치마크인 RQ-Bench를 소개합니다. 각 논문에 대해 우리는 인용된 배경, 연구 공백(gap), 기여로부터 저자 기반 RQ를 재구성합니다. 이러한 RQ들은 동일한 배경에 대한 유일한 유효한 질문들은 아닙니다. 이들은 참신성 판단을 테스트하기 위한 저자 기반 참조 지점들입니다. 우리는 독립적인 LLM 판단, 비교적 LLM 판단, 그리고 인간 전문가 평가를 통해 모델이 생성한 RQ를 평가합니다. LLM 판정자는 모델이 생성한 RQ를 지속적으로 매우 참신하다고 평가하여 참신성의 신기루(novelty mirage)를 만들어냅니다. 비교 평가에서는 이러한 선호가 더욱 강해집니다. 그러나 도메인 전문가들은 반대 결론에 도달하며 저자 기반 참조 질문을 선호합니다. 우리는 또한 많은 생성된 RQ가 협소하거나 출처에 종속(source-bound)되어 있다는 것을 발견했는데, 이는 명시적으로 테스트하지 않는 한 LLM 판정자가 자주 놓치는 차원입니다. 전반적으로, LLM 판정자와 인간 전문가 간의 모순된 참신성 평가는 연구 질문의 과학적 참신성을 평가하기 위해 LLM을 사용하는 것의 신뢰성에 대한 심각한 우려를 제기합니다.