체계적 문헌고찰(SR)에서의 스크리닝(선별) 작업은 수작업으로 이루어지며 많은 시간이 소요됩니다. 이전 연구들에서는 이 단계를 자동화하기 위해 대규모 언어 모델(LLM)을 활용하는 방안을 탐색했으나, LLM이 빠르게 발전하고 있어 초기 성능에 대한 주장이 현재의 스크리닝 성능을 더 이상 정확하게 반영하지 못할 수 있습니다. 본 연구에서는 기존의 소프트웨어 공학 SR 스크리닝 벤치마크(SESR-Eval)를 데이터로 사용했습니다. 또한 더 낮은 비용으로 평가를 수행할 수 있도록 검정력 표본추출(power-sampled)을 적용한 더 작은 신규 데이터셋(SESR-Eval-Mini)을 구축했습니다. 이 데이터를 활용해 8개의 최신 LLM을 대상으로 스크리닝 성능을 평가했습니다. 아울러 다양한 프롬프트를 테스트하고, 스크리닝 결정 및 기준에 대한 LLM 간 일치도를 분석했으며, 포함 및 제외 기준의 세분화가 스크리닝 성능에 미치는 영향을 조사했습니다. 8개의 최신 LLM은 기존 7개 모델에 비해 미미하게 향상된 성능을 보였습니다(2차 연구 전반의 평균 MCC는 0.347에서 0.365로 상승). 2차 연구 간의 성능 차이는 여전히 LLM 간의 차이보다 컸습니다. 개별 기준 수준의 결정으로부터 전반적인 스크리닝 결정을 도출하는 방식은 스크리닝 성능을 아주 약간만 저하시켰습니다. LLM들은 해당하는 스크리닝 결정에서 전반적으로 서로 높은 일치도를 보였으나(평균 Gwet의 AC1 = 0.830), 특정 포함 및 제외 기준에서는 상대적으로 더 큰 불일치를 나타냈습니다. 포함 및 제외 기준을 구체화하자 재현율(recall)이 소폭 향상되고 일부 LLM의 결정이 더 용이해졌지만, 기준 세분화의 전반적인 영향은 크지 않았습니다. LLM은 아직 논문 스크리닝에서 인간을 대체할 준비가 되지 않았으며, 더 많은 비용이 드는 최신 모델이 가져다주는 이점 또한 매우 제한적인 것으로 보입니다. 에이전트 기반 접근법, 프롬프트 엔지니어링, 그리고 추가적인 기준 세분화가 잠재적인 세 가지 향후 연구 방향입니다.
서버 기반 선별 도구는 구독 비용을 부과하고, 오픈소스 대안은 코딩 역량을 요구하며, 전문 선별은 노코드 오픈소스 도구의 범위 밖에 남아 왔다. 우리는 제목 및 초록(T&A) 선별과 전문 선별을 모두 아우르는 노코드·서버리스 인공지능(AI) 보조 연구 선별을 제공하는 오픈소스 Chrome 브라우저 확장 프로그램인 TiAb Review Plugin을 개발했다. Google Sheets를 공유 데이터베이스로, Google Drive를 PDF 저장소로 사용하며, 사용자는 자신의 대규모 언어 모델(LLM) API 키를 제공한다. T&A 선별에서는 수동 검토, LLM 배치 선별, 기계 학습(ML) 능동 학습을 제공한다. 전문 선별에서는 PubMed Central, Europe PMC, Unpaywall, OpenAlex 및 출판사 페이지에서 오픈 액세스 PDF를 가져오고, 구조화된 제외 사유와 중재를 갖춘 맹검 이중 검토를 지원하며, 선택적으로 페이지 앵커 증거와 함께 LLM 판정을 얻고 PRISMA 2020 흐름도 집계를 계산한다. 기본 ASReview 알고리즘(TF-IDF와 Naive Bayes)을 TypeScript로 재구현하고, 여섯 개 데이터셋에 대해 10-fold 교차 검증으로 Python 원본과 비교했다. LLM T&A 선별에서는 벤치마크 데이터셋에서 16가지 매개변수 구성을 비교하고, 최적 구성(Gemini 3.0 Flash, low thinking budget, TopP 0.95)을 공개 데이터셋 다섯 개(1,038~5,628건; 유병률 0.5%~2.0%)에서 검증했으며, 네 개 개발사의 아홉 개 추가 모델을 벤치마크했다. TypeScript 분류기는 여섯 데이터셋 모두에서 상위 100위 순위가 ASReview와 동일했다. LLM T&A 선별은 재현율 94%~100%, 정밀도 2%~15%를 달성했고, 재현율 95%에서의 표본 추출 대비 절감 업무량(WSS@95)은 46.3%~89.3%였다. 어떤 추가 모델도 기준 구성의 96.1% 재현율을 넘지 못했고, 최신 모델들은 재현율을 정밀도와 교환(trade-off)했다. 전문 단계의 분류 정확도는 아직 평가되지 않았다.