Distilled Rapid Embedding Transfer(DRET): 우선순위 기반 임베딩 전이를 통한 매개변수 효율적 생의학 도메인 적응
Distilled Rapid Embedding Transfer (DRET): Parameter-Efficient Biomedical Domain Adaptation via Priority-Based Embedding Transfer
한국어 초록
BioBERT와 ClinicalBERT 같은 대규모 도메인 특화 언어 모델은 생의학 NLP 과제에서 강력한 성능을 보이지만, 요구되는 연산량 때문에 많은 실제 배포 환경에서는 사용하기 어렵습니다. DistilBERT와 같은 범용의 매개변수 효율적 모델은 가볍지만, PICO(Population, Intervention, Comparison, Outcome) 분류와 같은 전문 과제에 필요한 도메인 지식이 부족합니다. 본 논문에서는 원래의 전문 코퍼스로 다시 학습하지 않고도 대규모 전문 모델의 생의학 도메인 지식을 더 작은 범용 모델에 주입하는 지식 전이 패러다임인 Distilled Rapid Embedding Transfer(DRET)를 제안합니다. DRET은 반복적으로 발전한 전략군으로 개발되었습니다. 즉, 통합 토크나이저 병합 전략(DRET 1.x), 하이브리드 임베딩 평균화(DRET 2.0), 가장 신뢰할 수 있는 소스 모델로부터 임베딩을 계층적으로 선택하는 우선순위 기반 임베딩 전이 메커니즘(DRET 3.x)으로 구성되며, 여기에 임베딩 층 동결, 차등 학습률, 레이블 전파, 불균형을 고려한 손실 함수를 추가로 결합합니다(DRET 4.x). 우리는 심각한 클래스 불균형 환경에서 EBM-NLP 코퍼스를 사용한 토큰 수준 PICO 분류로 DRET을 12개 지표 세트에 걸쳐 평가합니다. DRET으로 강화된 DistilBERT(66M 매개변수)는 DistilBERT의 효율성을 유지하면서도, 자신보다 크기가 한 자릿수 더 큰 모델과 견줄 만한 균형 정확도(balanced accuracy), 재현율, ROC-AUC를 달성하며, 일부 클래스별 지표에서는 이를 능가합니다. 또한 코사인 유사도, 의미 변화(semantic shift), t-SNE 분석을 통해 전이가 임베딩 수준에서 일어남을 보입니다. DRET은 생의학 텍스트 마이닝에서 도메인 전문가에 근접한 성능을 얻는 확장 가능하고 자원 효율적인 방법을 제시하며, 자동화된 체계적 문헌 고찰과 임상 의사결정 지원에 직접 응용될 수 있습니다.
원문 초록
Large domain-specific language models such as BioBERT and ClinicalBERT achieve strong performance on biomedical NLP tasks, but their computational demands make them impractical for many real-world deployments. General-purpose, parameter-efficient models such as DistilBERT are lightweight yet lack the domain knowledge required for specialized tasks such as PICO (Population, Intervention, Comparison, Outcome) classification. We introduce Distilled Rapid Embedding Transfer (DRET), a knowledge-transfer paradigm that injects biomedical domain knowledge from large specialized models into a smaller general-purpose model without retraining on the original specialized corpora. DRET is developed as an iterative family of strategies: a unified tokenizer-merge strategy (DRET 1.x), hybrid embedding averaging (DRET 2.0), and a priority-based embedding-transfer mechanism (DRET 3.x) that hierarchically selects embeddings from the most authoritative source models, further combined with embedding-layer freezing, differential learning rates, label propagation, and imbalance-aware loss functions (DRET 4.x). We evaluate DRET on token-level PICO classification using the EBM-NLP corpus under severe class imbalance, across a twelve-metric battery. DRET-enhanced DistilBERT (66M parameters) attains balanced accuracy, recall, and ROC-AUC competitive with, and on several class-wise metrics exceeding, models an order of magnitude larger, while retaining DistilBERT's efficiency. We further show that transfer occurs at the embedding level through cosine-similarity, semantic-shift, and t-SNE analyses. DRET offers a scalable, resource-efficient route to near-domain-expert performance for biomedical text mining, with direct application to automated systematic literature reviews and clinical decision support.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2609.02898v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.