신호는 어디에 있는가? 의료 인코더 사전학습을 위한 웹 데이터 레시피
Where Does the Signal Live? A Web Data Recipe for Medical Encoder Pretraining
전문 용어 밀집 의료 도메인 인코더의 마스킹 언어 모델링(MLM) 사전학습을 위해 의료 용어 밀도 필터링과 신호 증폭 재진술(signal-amplifying rephrasing)을 결합한 웹 데이터 큐레이션 레시피를 프랑스어 의료 NLP에 적용했다. 의료 용어 밀도 필터는 교육적 품질 필터를 하위 의료 태스크에서 능가하고 재진술과 필터링 데이터를 혼합하면 가장 큰 이득을 얻으며, FineMed 코퍼스와 DoctoBERT 인코더는 DrBenchmark 및 실제 임상 개체명 인식(NER)에서 최고 수준을 기록했다.