PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2604.22294v3cs.CL

SLIDERS: Evidence Synthesis with Autonomous Database Reconciliation for Systematic Reviews

Systematic reviews requires comprehensive evidence synthesis from large document corpora to answer targeted research questions and are foundational in finance, social sciences, and other technical fields. Manual construction of evidence tables is labor-intensive, and recent LLM-based assistants relying on embedding or keyword search often fail to meet the coverage standards of systematic reviews. We introduce SLIDERS, a novel LLM-based methodology for automatically assembling evidence tables tailored to research questions for systematic reviews. SLIDERS extracts full-text excerpts that serve as direct evidence or as provenance for structured data. Core to SLIDERS is an autonomous evidence reconciliation coding agent that iteratively writes SQL to analyze and reconcile extracted evidence, bringing together information fragmented across documents, resolving inconsistencies and removing duplicates across records. We evaluate SLIDERS on BrowseComp+, achieving 90% accuracy, and show that it outperforms all baselines on additional benchmarks within the LLM's context window. To assess scalability, we introduce two new evidence-synthesis benchmarks, WikiCeleb100 (3.9M tokens) and FinQ100 (36M tokens), which include follow-up questions beyond the original research query. Although SLIDERS synthesizes evidence knowing only the original question, it answers 78.9% and 55.2% of all questions correctly on WikiCeleb100 and FinQ100, respectively

arXiv:2605.06021v2cs.CV

PlotPick: AI 기반 과학 논문 그림 내 수치 데이터 배치 추출

PlotPick: AI-powered batch extraction of numerical data from scientific figures

체계적 문헌고찰(systematic review) 및 메타분석에서는 그림(figure)으로만 보고된 수치 데이터가 필요한 경우가 많지만, 상호작용형 디지타이저로 이를 추출하려면 보통 사람이 각 그림을 직접 선택하고 보정해야 합니다. 본 논문에서는 비전-언어 모델(VLM)을 활용해 여러 과학 논문 그림 배치(batch)에서 표 형식 데이터를 추출하는 오픈소스 도구인 PlotPick을 제시합니다. 또한 이 도구가 호출하는 유형의 모델들을 벤치마크 평가합니다. 4개 제공업체의 9개 VLM을 ChartX에서 평가하고, 이 중 6개는 PlotQA에서 전용 차트-투-테이블(chart-to-table) 모델인 DePlot과 비교하였으며, 모든 시스템은 동일한 항목에 대해 수치 F1(numeric F1, 5% 상대 허용 오차 내 라벨 없는 수치에 대한 F1)으로 점수를 매겼습니다. 6가지 ChartX 차트 유형(n=300)에서 9개 VLM 모두가 종합적으로 79.1~96.0%를 기록하여 DePlot의 74.3%를 앞섰습니다. 이러한 우위는 주로 상자 수염 그림(box plot)에서 비롯되었는데, DePlot이 24.8%를 기록한 반면 VLM들은 64.2~97.3%를 기록했습니다. 나머지 5개 유형을 합산했을 때, 7개 VLM은 4.7~11.6점의 우위를 유지했으나 가장 성능이 낮은 2개 모델은 그렇지 못했습니다. PlotQA 테스트 분할의 하위 집합(n=529, 가로 막대 차트 427개)에서 관대한 최적 계열(best-series) 변형 지표로 채점했을 때 DePlot은 87.0%에 도달했습니다. 가장 강력한 2개 VLM은 이와 비슷하거나 약간 높은 수준이었고, 4개 모델은 3.8~30.3점 뒤처졌습니다. DePlot은 PlotQA의 학습(training) 분할로 학습되었습니다. 두 벤치마크 모두 합성 차트를 사용하며, 해당 지표는 값이 어느 계열(series)에 속하는지는 무시합니다. 애플리케이션 자체는 평가되지 않았습니다. 즉, 그림 감지, 구조화된 출력, 프롬프트(prompt) 및 기본 모델(model)은 테스트되지 않았으며, 이 도구가 제공하는 벤치마크 대상 모델 중 하나인 Claude Haiku 4.5는 PlotQA에서 DePlot보다 점수가 낮았던 4개 모델 중 하나입니다. 생명의학 그림에 대한 정확도는 아직 확립되지 않았으므로, 추출된 모든 값은 원본 그림과 대조하여 확인해야 합니다. 이 버전은 대부분의 PlotQA 응답을 플롯팅된 값 대신 범주 레이블과 비교해 채점했던 버전 1을 수정한 것으로, 두 벤치마크 모두에서 모든 VLM이 DePlot을 능가했다는 기존 주장은 철회되었습니다. PlotPick은 https://plotpick.streamlit.app/ 에서 이용할 수 있습니다.

arXiv:2609.27418v1cs.CL

EviStreams: 의학 분야 체계적 문헌고찰을 위한 인간 참여형(Human-in-the-Loop) AI 데이터 추출

EviStreams: Human-in-the-Loop AI Data Extraction for Systematic Reviews in Medicine

체계적 문헌고찰은 임상 지침의 기반이 되지만, 그 데이터 추출 단계는 프로토콜화된 워크플로에 얽매여 있어 주요한 전문가 노동 병목 구간으로 작용합니다. 즉, 두 명의 검토자가 각 연구를 독립적으로 추출하고, 조정자(adjudicator)가 불일치를 해결하며, 연구팀은 모든 값이 어떻게 도출되었는지에 대한 감사 가능한 기록을 유지해야 합니다. 대규모 언어 모델(LLM)이 추출을 지원할 수 있으나, 이러한 지원은 확립된 고찰 프로토콜에 부합하고 재현성을 유지해야 합니다. 본 연구에서는 검토 팀이 프로그램 설계(코드 실행 전 승인되는 구조화된 분해), 필드 명세(파일럿을 통해 보정된 타입이 지정된 필드 정의), 추출된 예측값(조정을 거치는 검토자 블라인드 이중 검토)이라는 세 가지 핵심 단계에서 AI 지원 추출을 직접 제어할 수 있도록 하는 실시간 오픈소스 노코드 웹 플랫폼인 EviStreams를 소개합니다. 도메인 전문가는 폼 빌더(form builder)를 통해 프롬프트 대신 타입이 지정된 필드를 정의하고, 업로드된 PDF를 대상으로 추출을 실행하며, 근거가 되는 원문 구절과 함께 각 값을 검사하고, 검토자 블라인드 이중 검토를 해결하여 감사 가능한 합의 결과물로 내보냅니다. 시스템과 함께 공개된 4개의 임상 코퍼스 및 3개의 프론티어 모델 계열에 걸친 평가 결과는 추출 품질이 모델의 선택보다 필드 명세에 의해 훨씬 더 크게 좌우됨을 보여줍니다. EviStreams는 https://evistreams.com/demo 에서 실시간으로 제공되며 Apache-2.0 라이선스로 공개되었습니다.

arXiv:2606.28362v1cs.IR

LUMEN: 자동화된 체계적 문헌 고찰 및 메타분석을 위한 비용 투명 다중 에이전트 파이프라인

LUMEN: Cost-Transparent Multi-Agent Pipeline for Automated Systematic Review and Meta-Analysis

체계적 문헌 고찰 및 메타분석(SR/MA)은 근거 종합의 금본위 기준으로 남아 있으나, 완료까지 통상 67주와 상당한 전문가 노력이 소요된다. 최근 대규모 언어 모델(LLM) 시스템들은 SR의 개별 단계에서 우수한 성능을 보여주었다—스크리닝(otto-SR: 민감도 96.7%), 추출(Gartlehner 등: 정확도 91.0%), 검색(TrialMind: 재현율 0.83)—그러나 엔드투엔드 파이프라인 실행에 실제로 드는 비용, 단계별 비용 분포, 또는 아키텍처 선택이 비용-품질 트레이드오프에 미치는 영향을 보고한 연구는 없었다. 우리는 의도적인 모델 라우팅을 적용한 11개의 특화 LLM 에이전트를 사용해 SR/MA의 6개 단계를 자동화하는 오픈소스 다중 에이전트 파이프라인인 LUMEN을 제시한다. LUMEN을 7개 데이터셋(자체 수행한 5개 도메인 고찰—정신의학, 심리학, 외과학, 백신학, 심장학—및 2개의 SYNERGY 스크리닝 벤치마크)에서 평가한다. 정답 비교 가능한 13개 결과 전반에 걸쳐 LUMEN은 발표된 메타분석과 100% 방향 일치를 달성하였으며, 동질적 연구 설계에서 효과 크기 오차는 1% 이내이다. 주요 기여는 이러한 파이프라인에 대한 최초의 실증적 비용 및 운영 특성 분석이다: 전체 고찰 비용은 19~29달러(중앙값 22.65달러)이며, 제목-초록 스크리닝과 데이터 추출이 지출의 대부분을 차지한다. 세 갈래 추출 절제(ablation) 실험은 단계 의존적 아키텍처 역전 현상을 드러낸다: 다중 에이전트 설계는 스크리닝에서는 성능을 저하시키지만 추출에서는 필수적으로, 단일 모델 대안 대비 풀링 가능한 분석을 5.7배 더 많이 생성하고 임상적으로 위험한 방향 오류를 제거한다. 두 데이터셋 스크리닝 벤치마크는 모델 순위가 도메인 의존적이며 고찰 주제 간에 이전될 수 없음을 보인다. 모든 코드와 비용 로그는 공개되어 있다.

arXiv:2606.28363v1cs.IR

meta-pipe: An LLM-agent pipeline for end-to-end automated systematic review and meta-analysis

Objective: To describe the architecture and design rationale of meta-pipe, an open-source large language model (LLM)-agent pipeline that integrates the complete systematic review and meta-analysis (SR/MA) workflow -- from literature search through statistical analysis, manuscript generation, and quality assurance -- with mandatory human oversight at critical decision points. Study Design and Setting: We developed a 10-stage modular pipeline integrating Claude (Anthropic; Opus 4 for reasoning, Haiku 3.5 for classification) for LLM-assisted screening and extraction, Python (~3,600 lines of code) for automation, R (meta, metafor, gemtc, netmeta) for statistical analysis, and Quarto for manuscript rendering. Five mandatory human decision points enforce oversight. We systematically compared meta-pipe's capabilities with five existing SR automation tools based on published documentation as of March 2026. Results: meta-pipe offers four capabilities not available in any single existing tool: automated manuscript generation from analysis outputs, semi-automated GRADE assessment, overclaim detection (12 predefined patterns), and dual-paradigm network meta-analysis (Bayesian and frequentist). Estimated API cost is $15-30 per typical 5-10 study review. No validation data are reported; this is a system description, not a validation study. Conclusion: End-to-end AI-assisted evidence synthesis is architecturally feasible as an open-source tool with mandatory human oversight. Formal validation reproducing published Cochrane reviews is underway and essential before routine use.

arXiv:2606.17588v1cs.SE

제목-초록 선별에서의 대규모 언어 모델(LLM) 이해: 불일치에서 권장사항까지

Understanding LLMs in Title-Abstract Screening: From Disagreements to Recommendations

여러 연구에서 체계적 문헌 고찰(SRs)의 제목-초록 선별을 위해 대규모 언어 모델(LLMs)을 사용하는 것을 조사했으며, 엇갈리는 정확도를 보고했습니다. 그러나 신뢰성에 대한 문제는 대부분 해결되지 않은 상태로 남아 있습니다. 본 연구에서는 정량적인 LLM-인간 일치 지표를 넘어, LLM이 실패하는 방식과 이유를 정성적으로 조사합니다. 또한 실행 가능한 권장사항을 제안합니다. 우리는 6개의 소프트웨어 공학 SRs과 1,000편 이상의 1차 연구 논문에 걸쳐 LLM과 연구자 간의 불일치를 분석했습니다. 각 SR에 대해 논문은 인간 전문가와 제로샷 모드의 LLM에 의해 독립적으로 선별되었으며, 그 결과 0.52에서 0.77 사이의 카파 값을 도출했습니다. 정성적 분석 결과, 인간-LLM 불일치는 핵심 용어의 경계 모호성, 키워드 과잉 강조, 잘못된 주제 추론과 같은 반복적이고 식별 가능한 원인에서 비롯되는 것으로 나타났습니다. 이러한 발견을 바탕으로, 배포 전 의미적 이해를 검증하고, 여러 LLM을 실행하며, 경계선 사례에 검증 노력을 집중하는 것과 같은 권장사항을 제안합니다. 우리의 권장사항이 미치는 영향을 검증하기 위한 향후 연구가 필요하며, SRs에서의 LLM 사용에 대한 규범적 가이드라인을 개발하기 위한 커뮤니티의 노력이 필요합니다.