arXiv:2604.08602v2 cs.DL

TiAb Review Plugin: 체계적 문헌 고찰에서 AI 보조 연구 선별을 위한 브라우저 기반 도구

TiAb Review Plugin: A Browser-Based Tool for AI-Assisted Study Selection in Systematic Reviews

Yuki Kataoka, Masahiro Banno, Michihito Kyo, Shuri Nakao, Tomoo Sato, Shunsuke Taito, Tomohiro Takayama, Takahiro Tsuge, Yasushi Tsujimoto, Ryuhei So, Toshi A. Furukawa

제출 2026-09-24

한국어 초록

서버 기반 선별 도구는 구독 비용을 부과하고, 오픈소스 대안은 코딩 역량을 요구하며, 전문 선별은 노코드 오픈소스 도구의 범위 밖에 남아 왔다. 우리는 제목 및 초록(T&A) 선별과 전문 선별을 모두 아우르는 노코드·서버리스 인공지능(AI) 보조 연구 선별을 제공하는 오픈소스 Chrome 브라우저 확장 프로그램인 TiAb Review Plugin을 개발했다. Google Sheets를 공유 데이터베이스로, Google Drive를 PDF 저장소로 사용하며, 사용자는 자신의 대규모 언어 모델(LLM) API 키를 제공한다. T&A 선별에서는 수동 검토, LLM 배치 선별, 기계 학습(ML) 능동 학습을 제공한다. 전문 선별에서는 PubMed Central, Europe PMC, Unpaywall, OpenAlex 및 출판사 페이지에서 오픈 액세스 PDF를 가져오고, 구조화된 제외 사유와 중재를 갖춘 맹검 이중 검토를 지원하며, 선택적으로 페이지 앵커 증거와 함께 LLM 판정을 얻고 PRISMA 2020 흐름도 집계를 계산한다. 기본 ASReview 알고리즘(TF-IDF와 Naive Bayes)을 TypeScript로 재구현하고, 여섯 개 데이터셋에 대해 10-fold 교차 검증으로 Python 원본과 비교했다. LLM T&A 선별에서는 벤치마크 데이터셋에서 16가지 매개변수 구성을 비교하고, 최적 구성(Gemini 3.0 Flash, low thinking budget, TopP 0.95)을 공개 데이터셋 다섯 개(1,038~5,628건; 유병률 0.5%~2.0%)에서 검증했으며, 네 개 개발사의 아홉 개 추가 모델을 벤치마크했다. TypeScript 분류기는 여섯 데이터셋 모두에서 상위 100위 순위가 ASReview와 동일했다. LLM T&A 선별은 재현율 94%~100%, 정밀도 2%~15%를 달성했고, 재현율 95%에서의 표본 추출 대비 절감 업무량(WSS@95)은 46.3%~89.3%였다. 어떤 추가 모델도 기준 구성의 96.1% 재현율을 넘지 못했고, 최신 모델들은 재현율을 정밀도와 교환(trade-off)했다. 전문 단계의 분류 정확도는 아직 평가되지 않았다.

원문 초록

Server-based screening tools impose subscription costs, while open-source alternatives require coding skills, and full-text screening has remained outside the scope of no-code open-source tools. We developed TiAb Review Plugin, an open-source Chrome browser extension that provides no-code, serverless artificial intelligence (AI)-assisted study selection covering both title and abstract (T&A) screening and full-text screening. It uses Google Sheets as a shared database and Google Drive as a PDF store, and users supply their own large language model (LLM) API key. For T&A screening, it offers manual review, LLM batch screening, and machine learning (ML) active learning. For full-text screening, it retrieves open-access PDFs from PubMed Central, Europe PMC, Unpaywall, OpenAlex, and publisher pages, supports blinded dual review with structured exclusion reasons and adjudication, optionally obtains an LLM judgment with page-anchored evidence, and computes PRISMA 2020 flow counts. We re-implemented the default ASReview algorithm (TF-IDF with Naive Bayes) in TypeScript and compared it with the Python original using 10-fold cross-validation on six datasets. For LLM T&A screening, we compared 16 parameter configurations on a benchmark dataset, validated the best (Gemini 3.0 Flash, low thinking budget, TopP 0.95) on five public datasets (1,038 to 5,628 records; 0.5% to 2.0% prevalence), and benchmarked nine further models from four developers. The TypeScript classifier produced top-100 rankings identical to ASReview on all six datasets. LLM T&A screening achieved recall of 94% to 100% with precision of 2% to 15%, and work saved over sampling at 95% recall (WSS@95) of 46.3% to 89.3%. No additional model exceeded the 96.1% recall of the reference configuration; the most recent models traded recall for precision. The classification accuracy of the full-text stage has not yet been evaluated.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2604.08602v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.