소프트웨어 공학 체계적 문헌고찰에서 LLM의 스크리닝 성능은 정체되었는가?
Has LLM Screening Performance Stalled in Software Engineering Systematic Reviews?
한국어 초록
체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.
원문 초록
Screening in systematic reviews (SRs) is manual and time-consuming. Prior work has explored large language models (LLMs) for automating this step, but LLMs are evolving rapidly, so earlier performance claims may no longer accurately reflect their screening performance. We used an existing software engineering SR screening benchmark (SESR-Eval) as our data. We also power-sampled a new, smaller dataset (SESR-Eval-Mini) that allows evaluation at lower costs. Using this data, we evaluated eight new LLMs for screening performance. Additionally, we tested different prompts, analyzed LLM agreement in screening decisions and criteria, and examined the effect of refining the inclusion and exclusion criteria on screening performance. The eight new LLMs performed marginally better than the seven old ones: avg. MCC across secondary studies rose from 0.347 to 0.365. Differences between secondary studies are still bigger than between LLMs. Computing the overall screening decision from criterion-level decisions degraded screening performance only slightly. LLMs generally agree with each other in their corresponding screening decisions (mean Gwet's AC1 = 0.830), though certain inclusion and exclusion criteria showed larger disagreement than others. Refining the inclusion and exclusion criteria slightly improved recall and made decisions easier for some LLMs, but overall impacts of criteria refinement were modest. LLMs are not yet ready to replace humans in paper screening and the advantages new, more costly models bring, appear to be very limited. Agent-based approaches, prompt engineering, and further criteria refinement are three potential future research avenues.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Comparing Large Language Models on Scrum Certification-Style Questions: Accuracy, Stability, and Error Patterns
구조에서 타당성까지: 메커니즘 기반 대규모 언어 모델(LLM) 루브릭 생성 및 개선
From Structure to Validity: Mechanism-Guided Generation and Refinement of LLM Rubrics
루브릭은 개방형 작업에서 언어 모델을 평가(evaluation)하고 최적화(optimization)하는 데 널리 사용되어 왔습니다. 그러나 기존 연구는 루브릭 디자인을 효과적으로 만드는 요인에 대한 이해가 제한적인 채, 더 나은 루브릭을 생성하는 데 주로 초점을 맞추고 있습니다. 본 연구에서는 기준 조직화, 기준 조작화, 점수 집계 전반에 걸쳐 루브릭 디자인에 대한 체계적인 메커니즘 분석을 수행합니다. 분석 결과, 구조적 조직화는 보다 포괄적인 기준 구축을 가능하게 하지만, 의미론적 구체화만으로는 효과적인 기준 수준 판단을 보장하지 못하며, 정교한 점수 집계는 제한적인 추가 이득만을 제공함을 보여줍니다. 이러한 발견에 기반하여, 적응형 트리 구축과 의미 우선 반응 보정 개선을 결합한 ARTS-Hybrid(Adaptive Rubric Tree Search with Hybrid refinement)를 제안합니다. 여러 벤치마크(benchmark)에 걸친 실험을 통해 ARTS-Hybrid가 엔드투엔드 평가 성능과 내재적 루브릭 품질을 모두 향상함을 입증합니다. 추가 실험에서는 ARTS-Hybrid로 생성된 루브릭이 평가를 넘어 모델 최적화에도 유효한 신호를 제공함을 시사합니다.
WorldBench: Three.js 복셀 월드 생성에서의 대규모 언어 모델(LLM) 평가
WorldBench: Evaluating LLMs on Three.js Voxel World Generation
대규모 언어 모델(LLM)은 이제 완전하고 상호작용 가능한 3D 월드를 코드로 작성할 수 있지만, 이러한 월드를 자동으로 채점하는 것은 신뢰하기 어렵습니다. 기존의 평가자들은 출력물에 대해 단일 관점만 취합니다. 즉, 비전-언어(vision-language) 모델이 렌더링된 몇 개의 스냅샷을 점수 매기거나, 언어 모델이 소스 코드를 읽는 방식입니다. 5개의 프론티어 모델이 작성한 월드를 대상으로 분석한 결과, 두 관점은 요구된 항목의 32%에서 의견이 일치하지 않았으며(대부분 어떤 프레임에도 표시되지 않는 코드 때문임), 고정된 시점은 크기가 작은 근접 콘텐츠를 놓친다는 점을 발견했습니다. 본 논문에서는 LLM이 생성한 개방형 Three.js 월드를 위한 벤치마크이자 평가자인 WorldBench를 제시합니다. 10개의 바이옴, 물리 엔진, 낮/밤 및 계절 주기를 갖춘 떠 있는 복셀 섬을 설명하는 단 하나의 프롬프트로부터, 평가자는 실행 중인 월드를 탐색하여 시계를 제어하고, 주위를 공전하며, 네비게이터 에이전트를 파견해 각 바이옴을 화면에 담고, 보이는 내용에 대해 코드를 읽어 들입니다. 두 채널 중 어느 것도 단독으로는 신뢰하지 않습니다. 코드 인용은 소스에 실제로 포함된 텍스트인 경우에만 인정되며, 시각적 주장은 해당 속성이 측정 가능한 경우 측정된 픽셀을 기준으로 교차 검증됩니다. 의도적으로 기능을 제거하는 변이 테스트(mutation test) 결과, 코드 전용 평가는 코드가 파일에 남아 있다는 이유로 제거된 5개 기능 중 4개에 만점을 부여하는 것으로 나타났습니다. 저희 평가자는 제거된 기능에 부여되던 점수를 3분의 1가량 삭감하며(7.11점 중 5.44점에서 3.55점), 여전히 인정되는 부분은 대부분 존재하지만 전혀 실행되지 않는 코드 때문입니다. 저희는 5개의 프론티어 모델(Claude Fable 5.1, GPT-6 Astra, Kimi K3, Grok 4.7, Gemini 3.1 Pro)을 평가합니다. 코드, 프롬프트, 테스트 및 평가자 설정은 https://github.com/KrishBakshi/worldbench 에서 확인할 수 있습니다.
임상의의 언어 모델 활용 방식과 모델 평가 방식 간의 괴리
Clinician use of language models diverges from how the models are evaluated
대규모 언어 모델(LLM) 어시스턴트가 여러 의료 시스템 전반에서 임상의들에게 배포되고 있으며, 이러한 모델의 준비도에 대한 판단은 대부분 시험 문제나 선별된 사례에서 도출된 벤치마크 점수에 크게 의존하고 있습니다. 벤치마크는 그 평가 항목이 실제 사용 환경과 유사한 수준에서만 배포 시의 성능을 예측할 수 있지만, 벤치마크가 이들 시스템이 실제로 처리하는 업무를 얼마나 잘 반영하는지는 거의 측정된 바 없습니다. 본 연구에서는 8개월간의 배포 과정 동안 35개 전문 분야의 의사, 상급 실무 제공자, 간호사 등 6,342명이 기관용 어시스턴트에 전송한 127,833개의 쿼리를 분석합니다. 임상 질의 및 LLM 평가 분류 체계에 기반하고 임상의의 검증을 거친 프레임워크인 RCQ-Map을 통해 각 쿼리를 특성화하여 태스크, 의도, 답변 가능성, 누락된 정보, 잠재적 위해성을 기록합니다. 문서화 및 행정 업무(36.2%)와 지식 검색(28.9%)이 전체 사용의 3분의 2 가까이를 차지한 반면, 진단은 3.7%에 불과했으며, 쿼리의 3분의 1 이상은 제시된 형태 그대로는 적절한 답변이 불가능했습니다. 주요 평가 스위트와 프론티어 모델 보고서에서 추출하여 Clinical AI Benchmark Atlas로 구성한 58개의 공개 벤치마크에 RCQ-Map을 적용한 결과, 중간값 기준 벤치마크에는 문서화 요청이 전혀 포함되어 있지 않았으며, 실제 사용의 태스크 구성과 일치하는 비율은 태스크 카테고리 전반에 균등하게 분산되었을 때보다도 낮은 31%에 그쳤습니다. 임상 진료 환경을 반영하도록 설계된 스위트에 포함된 벤치마크들도 개별적으로 볼 때 프론티어 모델 보고서에 사용된 벤치마크보다 실제 사용에 더 가깝지 않았습니다. 따라서 벤치마크 점수는 임상 AI가 실제로 부여받는 대부분의 업무에서 어떻게 동작하는지에 대해 거의 알려주지 못하며, 평가는 실제 임상적 활용에 부합하도록 이루어져야 합니다.
대규모 언어 모델의 잠재 성능 프로파일링
Latent Performance Profiling of Large Language Models
대규모 언어 모델(LLM)은 표준화된 벤치마크에서 종종 인상적인 점수를 기록하지만, 정확도만으로는 모델의 능력을 온전히 파악하기 어렵다. 리더보드에서 오픈소스 LLM을 평가하는 방식은 데이터 오염, 협소한 태스크 범위, 실제 환경의 신뢰성과의 낮은 정렬(alignment) 같은 고질적인 문제에 직면해 있다. MMLU-Pro, BBH, IFEval과 같은 벤치마크 기반 평가는 고정된 테스트 세트에서 모델이 무엇을 출력하는지를 주로 포착할 뿐, 모델이 정보를 어떻게 처리하고 불확실성을 어떻게 보정(calibrate)하며 내부 지식을 어떻게 구조화하는지는 보여주지 못한다. 본 논문에서는 벤치마크 중심 평가에서 벗어나 이를 보완하는 LLM의 '상태 중심 내재적 평가(state-centered intrinsic assessment)'로의 전환을 제안한다. 이를 위해 은닉 활성화(hidden activations)와 출력 분포로부터 태스크에 구애받지 않는 진단을 도출하는 프레임워크인 잠재 성능 프로파일링(Latent Performance Profiling, LPP)을 소개한다. LPP는 모델의 잠재 표현(latent representation)과 동역학에 대한 일련의 스칼라 지표를 정의하여, 해석 가능한 비교를 가능하게 하고 숨겨진 취약점을 드러내는 특성을 규명한다. 정적인 정확도 점수와 달리 LPP는 비슷한 크기의 모델 전반에서 안정적이고 아키텍처에 민감한 시그니처를 제공한다. 0.5B부터 14B 크기에 이르는 8개 LLM을 대상으로 한 광범위한 실증 분석을 통해, 벤치마크 점수가 유사한 모델이라도 엔트로피나 압축률의 차이와 같이 대조적인 잠재 프로파일을 보일 수 있음을 입증한다. 이러한 통찰을 바탕으로, 리더보드 바이어스와 분리되면서도 내재적 지표와 정렬되는 불확실성 및 기호 추론용 합성 프로브(synthetic probe)를 설계한다. 모델 행동에 대한 더 깊고 해석 가능한 이해를 제공하여 표면적인 정확도를 넘어 더욱 신뢰할 수 있는 모델 선택, 안전성 평가 및 다각적 평가를 가능하게 하도록 벤치마크와 함께 LPP를 보고할 것을 권장한다.
소비자용 헬스케어 AI 평가에서 측정된 중증도 분류 실패의 원인은 모델 역량이 아닌 평가 형식이다
Evaluation format, not model capability, drives measured triage failure in the assessment of consumer health AI
최근 한 Nature Medicine 연구는 ChatGPT Health가 응급 상황의 51.6%를 과소분류(under-triage)한다고 보고하며, 소비자 대면 AI의 중증도 분류(triage)가 안전성(safety) 위험을 초래한다고 결론지었다. 그러나 해당 프로토콜은 소비자가 건강 챗봇을 사용하는 방식과 달리 시험 스타일의 스캐폴드(강제 A/B/C/D 출력, 지식 억제, 추가 질문 없음)였다. 본 연구에서는 주요 오류율이 모델의 고유 특성인지 혹은 측정 방식의 특성인지 질문을 던진다. 첫 번째 기전 연구에서 17개 시나리오 뱅크를 대상으로 5개의 프론티어 대규모 언어 모델(LLM)을 평가한 결과, 제약된 스캐폴드 조건보다 자연스러운 환자 스타일 메시지 조건에서 6.4점 더 높은 점수를 기록했으며(p=0.015), 특정 시나리오에서는 3개 모델이 강제 선택 시 0~24%에서 자유 텍스트 작성 시 100%로 상승했다. 두 번째 충실한 재현 연구에서는 임상의의 재작성 검증과 LLM 판정자에 대한 맹검 임상의 감사를 거쳐, 저자들이 공개한 60개 시나리오를 4가지 일치된 형식으로 6개 프론티어 모델에 실행했다. 여기서는 방향이 반전되어 자유 텍스트 재작성은 정확한 구조화 프롬프트보다 약간 낮은 점수를 기록했고(78.7% 대 81.8%, p=0.020), 답변 스캐폴드만 제거한 경우는 거의 변화가 없었으며(80.6% 대 81.4%, p=0.81), 강제 범주형 답변을 요구하는 자연스러운 입력 방식은 정확한 프롬프트(84.4%, p=0.023)와 자유 텍스트(p=0.0001)를 모두 능가했다. 원래 응급 분류율을 정의한 4개 시나리오에서 과소분류율은 정확한 스캐폴드에서 17%, 자유 텍스트에서 50%, 동일한 메시지에 강제 문자 답변을 요구했을 때 21%였다. 자유 텍스트 '과소분류' 사례는 모두 D가 아닌 C로 채점된 당일 진료 권고였으며, 60%는 환자에게 확인하도록 요청한 정보에 따라 상급 병원 이송을 조건부로 제시하는 행동을 보였으나 단일 턴(single-turn) 벤치마크에서는 이를 채점할 수 없다. 따라서 주요 오류율은 대체로 출력 형식 및 산문형 응답을 4점 척도에 매핑하는 과정에서 비롯된 특성이다. 벤치마크 스캐폴드는 행동적으로 개입하는 도구이며, 안전성 주장은 입력 문구, 출력 형식 및 판정 방식에 대한 민감도를 함께 보고해야 한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
53 pages, four external figures available in the research artifact