vghtpe.gov.tw

이 이메일 도메인이 관측된 논문 1건

arXiv:2606.28362v1cs.IR

LUMEN: 자동화된 체계적 문헌 고찰 및 메타분석을 위한 비용 투명 다중 에이전트 파이프라인

LUMEN: Cost-Transparent Multi-Agent Pipeline for Automated Systematic Review and Meta-Analysis

체계적 문헌 고찰 및 메타분석(SR/MA)은 근거 종합의 금본위 기준으로 남아 있으나, 완료까지 통상 67주와 상당한 전문가 노력이 소요된다. 최근 대규모 언어 모델(LLM) 시스템들은 SR의 개별 단계에서 우수한 성능을 보여주었다—스크리닝(otto-SR: 민감도 96.7%), 추출(Gartlehner 등: 정확도 91.0%), 검색(TrialMind: 재현율 0.83)—그러나 엔드투엔드 파이프라인 실행에 실제로 드는 비용, 단계별 비용 분포, 또는 아키텍처 선택이 비용-품질 트레이드오프에 미치는 영향을 보고한 연구는 없었다. 우리는 의도적인 모델 라우팅을 적용한 11개의 특화 LLM 에이전트를 사용해 SR/MA의 6개 단계를 자동화하는 오픈소스 다중 에이전트 파이프라인인 LUMEN을 제시한다. LUMEN을 7개 데이터셋(자체 수행한 5개 도메인 고찰—정신의학, 심리학, 외과학, 백신학, 심장학—및 2개의 SYNERGY 스크리닝 벤치마크)에서 평가한다. 정답 비교 가능한 13개 결과 전반에 걸쳐 LUMEN은 발표된 메타분석과 100% 방향 일치를 달성하였으며, 동질적 연구 설계에서 효과 크기 오차는 1% 이내이다. 주요 기여는 이러한 파이프라인에 대한 최초의 실증적 비용 및 운영 특성 분석이다: 전체 고찰 비용은 19~29달러(중앙값 22.65달러)이며, 제목-초록 스크리닝과 데이터 추출이 지출의 대부분을 차지한다. 세 갈래 추출 절제(ablation) 실험은 단계 의존적 아키텍처 역전 현상을 드러낸다: 다중 에이전트 설계는 스크리닝에서는 성능을 저하시키지만 추출에서는 필수적으로, 단일 모델 대안 대비 풀링 가능한 분석을 5.7배 더 많이 생성하고 임상적으로 위험한 방향 오류를 제거한다. 두 데이터셋 스크리닝 벤치마크는 모델 순위가 도메인 의존적이며 고찰 주제 간에 이전될 수 없음을 보인다. 모든 코드와 비용 로그는 공개되어 있다.