클라우드 보안 규정 준수(compliance) 매핑을 자동화하기 위해, 5개 유럽 보안 표준에서 구축한 3,499개의 의미 쌍 코퍼스를 역번역과 LLM 기반 패러프레이징으로 최대 13,996개까지 확장한 뒤 Sentence Transformer 모델을 도메인 적응 파인튜닝하는 방법을 제안한다. 파인튜닝된 모든 모델이 제로샷 베이스라인을 능가하며, 통제 항목-메트릭 매핑 태스크에서 최대 23 nDCG@10 포인트 향상을 달성해 인도메인 학습 데이터가 성능의 핵심 요인임을 입증했다.
개인 수준 심리 평가는 동일 개인의 많은 메시지에 걸친 의미를 집계하는 것을 요구하며, 이는 문서 수준 학습 목표가 명시적으로 설계된 작업이 아니다. 우리는 그 외 조건이 동일한 상황에서 구조적으로 일치하는 전통적인 (a) 베이스 트랜스포머와 (b) 문서 튜닝 트랜스포머(문서 수준에서 추가로 대조적으로 파인튜닝되며, 때로는 "sentence transformers"라고 불리는) 간의 체계적이고 실증적인 비교를 제시한다. 두 종단적 정신 건강 및 심리 데이터셋에 걸친 층별 및 전체 성능을 비교한 결과, 문서 튜닝 모델이 베이스 표현 대비 일관된 개선을 보였다(Pearson r 13.4% 증가, p=.015). 견고성 분석 결과, 문서 튜닝 모델은 단어 삭제, 동의어 치환, 오타 삽입, 역번역에 대한 교란 하에서도 더 정확함을 유지했다. 또한, 완곡한 표현(예: `usually')은 문서 튜닝 임베딩의 결과에서 더 두드러졌고, 과다 표현(예: `lot')은 베이스 트랜스포머에서 더 두드러졌으며, 이는 문서 튜닝 모델이 불확실성을 더 잘 포착할 수 있음을 시사한다. 이러한 결과는 표현 선택이 정신 건강 예측에 영향을 미치며, 문서 튜닝 모델이 종종 더 능숙함을 시사한다.