세분화된 일본어 임상 개체명 인식: BERT와 공개 가중치 대규모 언어 모델의 통제 비교
Fine-Grained Japanese Clinical Named Entity Recognition: A Controlled Comparison of BERT and Open-Weight Large Language Models
한국어 초록
배경. 생성형 대규모 언어 모델(LLM)은 인코더 기반 임상 개체명 인식(NER)의 대안이다. 세분화된 일본어 정보 추출 과제에서의 성능과 생성 설정에 대한 민감도는 분명하지 않다. 방법. 개체 범주 113개를 정의한 iCorpus에서 미세조정한 BERT-CRF 기준선 두 개와 공개 가중치 LLM 아홉 개를 비교했다. 문서 36개의 문장 433개를 평가에, 문장 1,672개를 학습에 사용했다. JSON Schema 제약이 있는 경우와 없는 경우를 제로샷 프롬프팅으로 평가하고, 시드 세 개로 QLoRA 미세조정도 평가했다. 미세조정 모델은 출력 토큰 제한을 900개로 설정하거나 모델에 따라 2,600개 또는 4,096개로 늘려 평가했다. 문장 단위로 레이블과 표면형이 일치하는지 비교해 완화 기준 F1과 정확 표면형 F1을 구했다. 결과. 제로샷 완화 기준 F1의 최고값은 0.337로, BERT 기준선의 0.836~0.841보다 낮았다. 더 큰 출력 제한에서는 총매개변수가 130억 개 이상인 미세조정 LLM 여덟 개 모두가 BERT 기준선 두 개를 앞섰다. 완화 기준 F1은 0.882~0.914, 정확 표면형 F1은 0.840~0.880이었다. 시드 세 개의 평균에서 출력 제한을 늘리면 완화 기준 F1이 0.052~0.085 높아졌다. 재현율이 높아졌고 출력이 길이 제한에 걸리는 경우도 줄었다. 추론 중심 설정 두 개를 제외한 모델 일곱 개에서 JSON Schema 제약에 따른 완화 기준 F1 변화는 −0.014~+0.008이었다. 의료 특화 모델과 범용 모델을 짝지어 비교했을 때 특화의 이점은 일관되지 않았다. 결론. 기존 일본어 증례 보고서에 기반한 이 벤치마크에서는 과제별 미세조정과 충분한 생성 용량을 조합할 때 LLM의 추출 성능이 높았다. 출력 토큰 제한은 BERT와의 비교에 큰 영향을 줬으며, 출력 구조만 강제해서는 낮은 제로샷 정확도를 해결하지 못했다.
원문 초록
Background: Generative large language models (LLMs) offer an alternative to encoder-based clinical named entity recognition (NER), but their performance on fine-grained Japanese extraction tasks and sensitivity to generation settings remain uncertain. Methods: We compared two fine-tuned BERT-CRF baselines with nine open-weight LLMs on iCorpus, which defines 113 entity categories. The evaluation used 433 sentences from 36 test documents; 1,672 sentences were used for training. LLMs were evaluated using zero-shot prompting with and without JSON Schema constraints and three-seed QLoRA fine-tuning. Fine-tuned models were assessed under different output-token limits, including 900 and larger model-specific limits of 2,600 or 4,096 tokens. Performance was measured using sentence-level label-surface matching with relaxed and exact-surface F1. Results: The highest zero-shot relaxed F1 was 0.337, compared with 0.836-0.841 for the BERT baselines. At the larger output limits, all eight fine-tuned LLMs with at least 13B total parameters exceeded both BERT baselines (relaxed F1, 0.882-0.914; exact-surface F1, 0.840-0.880). Across three-seed means, increasing the output limit improved relaxed F1 by 0.052-0.085, alongside higher recall and fewer length-limited outputs. JSON Schema constraints changed relaxed F1 by -0.014 to +0.008 among seven models outside the two reasoning-oriented configurations, while medical-general model pairs showed no consistent advantage for medical specialization. Conclusions: On this historical Japanese case-report benchmark, task-specific fine-tuning combined with adequate generation capacity was associated with stronger LLM extraction performance. Output-token limits materially affected comparisons with BERT, whereas enforcing output structure alone did not overcome low zero-shot accuracy.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22219v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.