소형 일본어 음성 모델의 매개변수 효율적 적응을 위한 고가치 합성 지도 학습
High-Value Synthetic Supervision for Parameter-Efficient Adaptation of a Compact Japanese Speech Model
한국어 초록
프라이빗 도메인 음성은 수집 및 재배포가 어려운 반면, 소형 모델은 태스크 맞춤형 지도 학습(supervision)을 필요로 합니다. 본 연구에서는 일본어 간호 인계 음성을 6개 필드의 구조화된 기록으로 직접 매핑하는 감사 가능한 합성 파이프라인을 조사합니다. 182개의 합성 학습 및 개발 클립을 사용하여 전체 미세조정(full fine-tuning) 및 rank-16 LoRA를 통해 1.47B 오디오 모델을 적응시킵니다. 시나리오 시드가 분리된 39개 클립의 합성 테스트에서, 적응되지 않은 모델은 모델 평가 사실성 재현율(factuality-recall) 점수 0.0500을 기록한 반면, 전체 미세조정은 0.8664, LoRA는 0.8461을 달성했습니다. LoRA는 서술적 비율 기준으로 전체 미세조정 종합 성능의 97.7%에 도달했으며, 프로젝트 텔레메트리 기준 학습 가능한 매개변수는 백본의 약 0.85%인 12.4M개로 보고되었습니다. 두 적응 방식 모두 동일한 베이스 모델 대비 뚜렷한 쌍체 개선(paired gains)을 보였으나, 전체 미세조정과 LoRA 간의 신뢰구간은 0을 포함하며 서로 다른 최적화 설정으로 인해 동등성 주장은 불가능합니다. 본 결과는 매개변수 효율적인 역량 획득 결과일 뿐, 디바이스 성능 결과는 아니며 지연 시간, 메모리, 에너지 소비, 실시간 배수(real-time factor) 등은 측정되지 않았습니다. 모든 평가 음성과 타깃은 합성 데이터이고 참조 데이터는 모델이 제안한 것이며 평가 모델은 캘리브레이션되지 않았습니다. 본 실증 결과는 소형 모델이 출처가 연결된 수백 개의 합성 예시만으로도 좁은 범위의 오디오-구조 변환 역량을 획득할 수 있음을 보여주며, 임상적 유효성, 실제 음성으로의 전이 또는 클린 클라우드 시스템 대비 우월성을 입증하는 것은 아닙니다.
원문 초록
Private domain speech is difficult to collect and redistribute, while compact models need task-specific supervision. We study an auditable synthetic pipeline that maps Japanese care handoffs directly to six-field structured notes. Using 182 synthetic training and development clips, we adapt a 1.47B audio model by full fine-tuning and rank-16 LoRA. On a 39-clip scenario-seed-disjoint synthetic test, an unadapted model obtains a model-judged factuality-recall score of 0.0500, full tuning 0.8664, and LoRA 0.8461. LoRA reaches 97.7% of the full-tuning aggregate as a descriptive ratio while project telemetry reports 12.4M trainable parameters, about 0.85% of the backbone. Both adaptations show large paired gains over the same base; the full-versus-LoRA interval crosses zero, and differing optimization settings preclude an equivalence claim. This is a parameter-efficient capability-acquisition result, not a device-performance result: latency, memory, energy, and real-time factor were not measured. All evaluation speech and targets are synthetic, references are model-proposed, and the judge is uncalibrated. The evidence shows that a compact model can acquire a narrow audio-to-structure transformation from a few hundred provenance-linked synthetic examples; it does not establish clinical validity, real-speech transfer, or superiority to a clean cloud system.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
Submitted to On-Device Intelligence: Foundation Models under Real-World Constraints (NeurIPS 2026 workshop). 4 pages, 0 figures, 1 table