더 적은 비용으로 문서 분할하기: LLM 기반 페이지 스트림 분할을 위한 다중 분할 경계 결정
Splitting Documents at Lower Cost: Multi-Split Boundary Decisions for LLM-Based Page Stream Segmentation
스캔된 우편물, 업로드된 PDF, 취합된 첨부 파일은 다운스트림 분류(classification), 추출 또는 라우팅 이전에 개별 문서로 분할되어야 하는 페이지 스트림 형태로 도착하는 경우가 많습니다. 제로샷(zero-shot) 대규모 언어 모델(LLM)은 태스크 특화 학습(training) 없이도 문서 경계를 감지할 수 있지만, 표준 페이지 분류(PC) 및 경계 결정(BD) 방식은 모델 호출당 하나의 경계만 처리합니다. 본 논문에서는 단일 호출 내에서 페이지 윈도우 내부의 여러 경계를 예측하여 추론(inference) 요청 횟수를 줄이는 다중 분할 경계 결정(MSBD)을 제안합니다. 다양한 언어 모델, 문서 컬렉션, 입력 모달리티 및 윈도우 크기에 걸쳐 MSBD를 평가합니다. 실험 결과, MSBD가 높은 분할 정확도를 유지하면서도 추론 효율성을 대폭 개선하는 모델 및 말뭉치 의존적인 동작 범위를 보였으며, 이후 더 큰 윈도우에서는 성능이 급격히 저하되는 것으로 나타났습니다. MSBD는 전반적으로 가장 강력한 정확도-효율성 트레이드오프를 제공한 반면, 큰 윈도우에서는 모델에 따라 뚜렷한 과다 분할 및 과소 분할 동작이 드러났습니다. 이러한 결과는 대상 말뭉치에 적합한 윈도우 크기를 선택할 때 다중 경계 예측이 제로샷 페이지 스트림 분할의 효율성을 높일 수 있음을 보여줍니다.