멀티모달 대규모 언어 모델을 이용한 스캔 인지·행동 평가서의 시각 정보 추출 시스템
A Visual Information Extraction System Using Multimodal Large Language Models for Scanned Cognitive and Behavioral Assessments
한국어 초록
목적. 환자 진료에는 종이 평가서가 흔히 쓰인다. 그러나 손글씨와 스캔 과정에서 생기는 왜곡 때문에 대량 처리가 어렵다. 사람의 감독을 받아 항목과 점수를 추출하는 모듈식 멀티모달 대규모 언어 모델(LLM) 시스템을 제안한다. 손으로 그린 그림을 분석하는 데 LLM을 사용하는 방법을 정성적으로 살펴봤다. 재료 및 방법. 인지 평가인 MMSE, MoCA, Mini-Cog와 NICHQ Vanderbilt 평가서를 두 모듈로 처리한다. 먼저 분류기가 스캔한 페이지의 양식 유형을 정한다. 이어 유형에 맞는 추출기가 항목과 점수를 스키마에 맞게 추출한다. 두 모델의 판정이 다를 때만 사람이 주석을 확인하는 검증 구조로, 처리하기 어려운 페이지만 수동으로 검토한다. 결과. 인지 평가의 종단 간 정확도는 88%였으며 대부분 양식에서 90%를 넘었다. NICHQ Vanderbilt의 전체 정확도는 97.5%였고 모든 양식에서 96%를 넘었다. 사람의 검토를 도입하자 인지 평가 정확도가 97.5%로 높아지면서 수동 작업량은 63.8% 줄었다. Mini-Cog의 시계 그리기 과제를 정성적으로 분석한 결과, 전체 추출 오류의 62.3%는 그림이 모호해서 생겼으며 이 경우에도 LLM은 합리적인 해석을 했다. 논의. 기존 수동 입력에 비해 처리 시간은 10분의 1~20분의 1, 비용은 12분의 1 미만으로 줄었다. 모듈식 설계로 다른 양식도 추가할 수 있다. 결론. 손글씨 종이 양식에 머물던 데이터를 정확하고 비용 효율적으로 구조화해 임상 의사결정을 지원하며, 대규모 처리에도 적용할 수 있다.
원문 초록
Objective. Paper-based assessments are common in patient care, but handwriting and scanning artifacts make these forms difficult to process at scale. This study proposes a modular, multimodal LLM-based system with human oversight for extracting fields and scores. We conducted a qualitative analysis of the use of LLMs for hand-drawing analysis. Materials and Methods. The system processes cognitive assessments (i.e., MMSE, MoCA, Mini-Cog) and the NICHQ Vanderbilt Assessment using two modules: 1) a form classifier that assigns a scanned page to a form type, followed by a corresponding 2) score extractor that extracts fields and scores into a schema. A human-in-the-loop design utilizing dual-model validation engages human annotators when two LLMs disagree, limiting manual review to challenging pages only. Results. End-to-end accuracy for cognitive assessments was 88%, with most form types exceeding 90%. For the NICHQ Vanderbilt, overall accuracy reached 97.5%, with all form types above 96%. The human-in-the-loop design further improved cognitive assessment accuracy to 97.5% while reducing manual work by 63.8%. In the Mini-Cog Clock Drawing task, qualitative analysis showed that 62.3% of all extraction errors stemmed from ambiguous drawing, in which cases the LLM provided reasonable readings. Discussion. Compared to current manual data extraction, our LLM-based system reduces processing time by 10 to 20 times and costs by over 12 times. The modular design allows seamless expansion to additional form types. Conclusion. Our system provides an accurate, scalable, and cost-efficient solution for structuring data trapped in handwritten paper forms for clinical decision support.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22252v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.