arXiv:2407.18716

ChatSchema: A pipeline of extracting structured information with Large Multimodal Models based on schema

Fei Wang, Yuewen Zheng, Qin Li, Jingyi Wu, Pengfei Li, Luxia Zhang

제출 2024-07-26

원문 초록

Objective: This study introduces ChatSchema, an effective method for extracting and structuring information from unstructured data in medical paper reports using a combination of Large Multimodal Models (LMMs) and Optical Character Recognition (OCR) based on the schema. By integrating predefined schema, we intend to enable LMMs to directly extract and standardize information according to the schema specifications, facilitating further data entry. Method: Our approach involves a two-stage process, including classification and extraction for categorizing report scenarios and structuring information. We established and annotated a dataset to verify the effectiveness of ChatSchema, and evaluated key extraction using precision, recall, F1-score, and accuracy metrics. Based on key extraction, we further assessed value extraction. We conducted ablation studies on two LMMs to illustrate the improvement of structured information extraction with different input modals and methods. Result: We analyzed 100 medical reports from Peking University First Hospital and established a ground truth dataset with 2,945 key-value pairs. We evaluated ChatSchema using GPT-4o and Gemini 1.5 Pro and found a higher overall performance of GPT-4o. The results are as follows: For the result of key extraction, key-precision was 98.6%, key-recall was 98.5%, key-F1-score was 98.6%. For the result of value extraction based on correct key extraction, the overall accuracy was 97.2%, precision was 95.8%, recall was 95.8%, and F1-score was 95.8%. An ablation study demonstrated that ChatSchema achieved significantly higher overall accuracy and overall F1-score of key-value extraction, compared to the Baseline, with increases of 26.9% overall accuracy and 27.4% overall F1-score, respectively.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2502.20295v3cs.LG공통 태그 Optical Character Recognition (OCR), Optical Character Recognition공식 코드 · Papers with Code

겉표지로 책을 판단하다: 다중 페이지 필기체 문서 전사를 위한 멀티모달 LLM 탐구

Judge a Book by its Cover: Investigating Multi-Modal LLMs for Multi-Page Handwritten Document Transcription

필기 텍스트 인식(HTR)은 여전히 까다로운 과제입니다. 기존 접근 방식은 실제 문제에서 확보하기 어려운 레이블이 지정된 데이터에 대한 미세조정(fine-tuning)을 필요로 하거나, OCR 엔진 및 멀티모달 LLM(MLLM)과 같은 제로샷(zero-shot) 도구에 의존합니다. MLLM은 엔드투엔드(end-to-end) 전사기와 OCR 사후 처리기 모두로서 유망한 가능성을 보여주었으나, 지금까지 HTR을 위한 다양한 MLLM 프롬프트(prompt) 전략, 특히 다중 페이지 문서에 대한 경험적 연구 평가는 거의 이루어지지 않았습니다. 대부분의 필기 문서는 다중 페이지로 구성되어 있으며 페이지 전반에 걸쳐 의미적 내용과 필체 스타일 같은 문맥을 공유하지만, MLLM은 일반적으로 페이지 단위 전사에 사용되어 이러한 공유 문맥을 버리게 됩니다. 또한 여러 양식을 활용하기보다는 텍스트 전용 사후 처리기 또는 이미지 전용 OCR 대안 중 하나로만 주로 사용됩니다. 본 논문에서는 제로샷 다중 페이지 필기체 문서 전사 과제를 위해 OCR, LLM 사후 처리, MLLM 엔드투엔드 전사를 결합한 일련의 방법을 조사합니다. 새로운 데이터셋(dataset)인 Malvern-Hills를 포함하여 기존 단일 페이지 데이터셋으로부터 이 과제를 위한 벤치마크(benchmark)를 소개합니다. 마지막으로, 프롬프트 복잡성을 최소화하면서 페이지 간 콘텐츠를 공유함으로써 기존 방식보다 뛰어난 성능을 보이는 다중 페이지 전사용 프롬프트 전략인 OCR+PAGE-1 및 OCR+PAGE-N을 소개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.