TiAb Review Plugin: 체계적 문헌 고찰에서 AI 보조 연구 선별을 위한 브라우저 기반 도구
TiAb Review Plugin: A Browser-Based Tool for AI-Assisted Study Selection in Systematic Reviews
서버 기반 선별 도구는 구독 비용을 부과하고, 오픈소스 대안은 코딩 역량을 요구하며, 전문 선별은 노코드 오픈소스 도구의 범위 밖에 남아 왔다. 우리는 제목 및 초록(T&A) 선별과 전문 선별을 모두 아우르는 노코드·서버리스 인공지능(AI) 보조 연구 선별을 제공하는 오픈소스 Chrome 브라우저 확장 프로그램인 TiAb Review Plugin을 개발했다. Google Sheets를 공유 데이터베이스로, Google Drive를 PDF 저장소로 사용하며, 사용자는 자신의 대규모 언어 모델(LLM) API 키를 제공한다. T&A 선별에서는 수동 검토, LLM 배치 선별, 기계 학습(ML) 능동 학습을 제공한다. 전문 선별에서는 PubMed Central, Europe PMC, Unpaywall, OpenAlex 및 출판사 페이지에서 오픈 액세스 PDF를 가져오고, 구조화된 제외 사유와 중재를 갖춘 맹검 이중 검토를 지원하며, 선택적으로 페이지 앵커 증거와 함께 LLM 판정을 얻고 PRISMA 2020 흐름도 집계를 계산한다. 기본 ASReview 알고리즘(TF-IDF와 Naive Bayes)을 TypeScript로 재구현하고, 여섯 개 데이터셋에 대해 10-fold 교차 검증으로 Python 원본과 비교했다. LLM T&A 선별에서는 벤치마크 데이터셋에서 16가지 매개변수 구성을 비교하고, 최적 구성(Gemini 3.0 Flash, low thinking budget, TopP 0.95)을 공개 데이터셋 다섯 개(1,038~5,628건; 유병률 0.5%~2.0%)에서 검증했으며, 네 개 개발사의 아홉 개 추가 모델을 벤치마크했다. TypeScript 분류기는 여섯 데이터셋 모두에서 상위 100위 순위가 ASReview와 동일했다. LLM T&A 선별은 재현율 94%~100%, 정밀도 2%~15%를 달성했고, 재현율 95%에서의 표본 추출 대비 절감 업무량(WSS@95)은 46.3%~89.3%였다. 어떤 추가 모델도 기준 구성의 96.1% 재현율을 넘지 못했고, 최신 모델들은 재현율을 정밀도와 교환(trade-off)했다. 전문 단계의 분류 정확도는 아직 평가되지 않았다.