PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.27418v1cs.CL

EviStreams: 의학 분야 체계적 문헌고찰을 위한 인간 참여형(Human-in-the-Loop) AI 데이터 추출

EviStreams: Human-in-the-Loop AI Data Extraction for Systematic Reviews in Medicine

체계적 문헌고찰은 임상 지침의 기반이 되지만, 그 데이터 추출 단계는 프로토콜화된 워크플로에 얽매여 있어 주요한 전문가 노동 병목 구간으로 작용합니다. 즉, 두 명의 검토자가 각 연구를 독립적으로 추출하고, 조정자(adjudicator)가 불일치를 해결하며, 연구팀은 모든 값이 어떻게 도출되었는지에 대한 감사 가능한 기록을 유지해야 합니다. 대규모 언어 모델(LLM)이 추출을 지원할 수 있으나, 이러한 지원은 확립된 고찰 프로토콜에 부합하고 재현성을 유지해야 합니다. 본 연구에서는 검토 팀이 프로그램 설계(코드 실행 전 승인되는 구조화된 분해), 필드 명세(파일럿을 통해 보정된 타입이 지정된 필드 정의), 추출된 예측값(조정을 거치는 검토자 블라인드 이중 검토)이라는 세 가지 핵심 단계에서 AI 지원 추출을 직접 제어할 수 있도록 하는 실시간 오픈소스 노코드 웹 플랫폼인 EviStreams를 소개합니다. 도메인 전문가는 폼 빌더(form builder)를 통해 프롬프트 대신 타입이 지정된 필드를 정의하고, 업로드된 PDF를 대상으로 추출을 실행하며, 근거가 되는 원문 구절과 함께 각 값을 검사하고, 검토자 블라인드 이중 검토를 해결하여 감사 가능한 합의 결과물로 내보냅니다. 시스템과 함께 공개된 4개의 임상 코퍼스 및 3개의 프론티어 모델 계열에 걸친 평가 결과는 추출 품질이 모델의 선택보다 필드 명세에 의해 훨씬 더 크게 좌우됨을 보여줍니다. EviStreams는 https://evistreams.com/demo 에서 실시간으로 제공되며 Apache-2.0 라이선스로 공개되었습니다.