NEBench R1: 대규모 언어 모델의 원자력 분야 역량을 평가하기 위한 추론 벤치마크
NEBench R1: a Reasoning Benchmark for Evaluating Nuclear Domain Competence in Large Language Models
한국어 초록
대규모 언어 모델(LLM)은 원자력 공학의 지식 집약적이고 안전이 중요한 응용 분야에서 점점 더 활발히 탐구되고 있다. 그러나 기존의 원자력 분야 벤치마크는 내용 범위가 제한적이거나 근본적인 추론의 질을 체계적으로 평가하지 않은 채 주로 정답 정확도에 초점을 맞춘다. 본 연구는 18개 원자력 시설을 다루는 미국 원자력규제위원회(NRC)의 원자로 운전원 면허 시험에서 추출한 7,546개의 고유한 객관식 문항으로 구성된 추론 지향 벤치마크 NEBench R1을 소개한다. 각 문항은 NRC의 지식 및 능력(Knowledge and Abilities) 목록에 따라 분류되며, 추론 평가의 기준으로 쓰이는 공식 해설이 함께 제공된다. 여섯 개의 LLM을 평가한 결과 전체 정확도는 34.0%에서 73.9%까지 분포하였으며 세 개의 뚜렷한 성능 계층으로 나뉘었다. 추론의 질을 평가하기 위해 LLM 기반 판정자가 다차원 루브릭을 사용하여 정답으로 응답한 결과를 평가하였다. 응답은 대체로 문제 이해도가 높았으나 사실 및 절차 정확성과 오답 선택지 분석에서는 더 낮은 점수를 받았으며, 이는 정답이 반드시 기술적으로 타당한 근거로 뒷받침되는 것은 아님을 시사한다. 응답의 명료성 또한 기술적 품질을 약하게만 나타냈다. 더 나아가 두 최前선 추론 모델 모두에서 더 긴 추론 흔적이 더 낮은 정확도와 연관되었으며, 이는 추론 길이가 문제 해결 성능의 향상보다는 문항의 난이도를 반영할 수 있음을 시사한다. 따라서 추론 토큰 소비량은 신뢰하기 어려운 응답을 식별하는 추가적인 신호가 될 수 있다. NEBench R1은 정답 정확도와 추론의 질을 모두 평가하는 벤치마크를 확립하여, 원자력 공학에서 LLM의 분야 역량과 신뢰성을 평가하기 위한 기반을 제공한다.
원문 초록
Large language models (LLMs) are increasingly being explored for knowledge-intensive and safety-critical applications in nuclear engineering. However, existing nuclear-domain benchmarks provide limited content coverage or focus primarily on answer accuracy without systematically evaluating the quality of the underlying reasoning. This study introduces NEBench R1, a reasoning-oriented benchmark comprising 7,546 unique multiple-choice questions extracted from U.S. Nuclear Regulatory Commission (NRC) reactor operator licensing examinations covering 18 nuclear facilities. Each question is classified according to the NRC Knowledge and Abilities catalogs and accompanied by an official explanation serving as a reference for reasoning evaluation. Six LLMs were evaluated, with overall accuracy ranging from 34.0% to 73.9% across three distinct performance tiers. To assess reasoning quality, an LLM-based judge evaluated correctly answered responses using a multidimensional rubric. Although responses generally demonstrated strong problem comprehension, they scored lower in factual and procedural accuracy and distractor analysis, indicating that correct answers were not necessarily supported by technically sound justifications. Response clarity was also weakly indicative of technical quality. Furthermore, longer reasoning traces were associated with lower accuracy in both frontier reasoning models, suggesting that reasoning length may reflect question difficulty rather than improved problem-solving performance. Reasoning-token consumption may therefore provide an additional signal for identifying potentially unreliable responses. NEBench R1 establishes a benchmark for evaluating both answer accuracy and reasoning quality, providing a foundation for assessing the domain competence and reliability of LLMs in nuclear engineering.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.21682v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.