PyTorchKR Papers

최신 논문

총 1편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2605.06021v2cs.CV

PlotPick: AI 기반 과학 논문 그림 내 수치 데이터 배치 추출

PlotPick: AI-powered batch extraction of numerical data from scientific figures

체계적 문헌고찰(systematic review) 및 메타분석에서는 그림(figure)으로만 보고된 수치 데이터가 필요한 경우가 많지만, 상호작용형 디지타이저로 이를 추출하려면 보통 사람이 각 그림을 직접 선택하고 보정해야 합니다. 본 논문에서는 비전-언어 모델(VLM)을 활용해 여러 과학 논문 그림 배치(batch)에서 표 형식 데이터를 추출하는 오픈소스 도구인 PlotPick을 제시합니다. 또한 이 도구가 호출하는 유형의 모델들을 벤치마크 평가합니다. 4개 제공업체의 9개 VLM을 ChartX에서 평가하고, 이 중 6개는 PlotQA에서 전용 차트-투-테이블(chart-to-table) 모델인 DePlot과 비교하였으며, 모든 시스템은 동일한 항목에 대해 수치 F1(numeric F1, 5% 상대 허용 오차 내 라벨 없는 수치에 대한 F1)으로 점수를 매겼습니다. 6가지 ChartX 차트 유형(n=300)에서 9개 VLM 모두가 종합적으로 79.1~96.0%를 기록하여 DePlot의 74.3%를 앞섰습니다. 이러한 우위는 주로 상자 수염 그림(box plot)에서 비롯되었는데, DePlot이 24.8%를 기록한 반면 VLM들은 64.2~97.3%를 기록했습니다. 나머지 5개 유형을 합산했을 때, 7개 VLM은 4.7~11.6점의 우위를 유지했으나 가장 성능이 낮은 2개 모델은 그렇지 못했습니다. PlotQA 테스트 분할의 하위 집합(n=529, 가로 막대 차트 427개)에서 관대한 최적 계열(best-series) 변형 지표로 채점했을 때 DePlot은 87.0%에 도달했습니다. 가장 강력한 2개 VLM은 이와 비슷하거나 약간 높은 수준이었고, 4개 모델은 3.8~30.3점 뒤처졌습니다. DePlot은 PlotQA의 학습(training) 분할로 학습되었습니다. 두 벤치마크 모두 합성 차트를 사용하며, 해당 지표는 값이 어느 계열(series)에 속하는지는 무시합니다. 애플리케이션 자체는 평가되지 않았습니다. 즉, 그림 감지, 구조화된 출력, 프롬프트(prompt) 및 기본 모델(model)은 테스트되지 않았으며, 이 도구가 제공하는 벤치마크 대상 모델 중 하나인 Claude Haiku 4.5는 PlotQA에서 DePlot보다 점수가 낮았던 4개 모델 중 하나입니다. 생명의학 그림에 대한 정확도는 아직 확립되지 않았으므로, 추출된 모든 값은 원본 그림과 대조하여 확인해야 합니다. 이 버전은 대부분의 PlotQA 응답을 플롯팅된 값 대신 범주 레이블과 비교해 채점했던 버전 1을 수정한 것으로, 두 벤치마크 모두에서 모든 VLM이 DePlot을 능가했다는 기존 주장은 철회되었습니다. PlotPick은 https://plotpick.streamlit.app/ 에서 이용할 수 있습니다.