MedPsy: 효율적인 엣지 배포를 위한 최첨단 소형 의료 언어 모델
MedPsy: State-of-the-Art Small Medical Language Models for Efficient Edge Deployment
한국어 초록
의료 언어 모델은 전문가 수준의 임상 지원을 약속하지만, 가장 강력한 오픈소스 LLM은 사설 엣지 기기 배포에는 여전히 너무 크며, 소형 의료 모델은 지식 집약적이고 실제적인 의료 과제에서 크게 뒤처진다. 엣지 메모리 예산에 맞는 추론 모델은 긴 추론 흔적을 생성하여 순차적 디코딩, 종단 간 지연 시간, 에너지 소비, KV 캐시 메모리 부담을 증가시킬 수 있다. 우리는 이러한 정확도-생성 효율 간의 트레이드오프를 겨냥하여 엣지 배포용으로 설계된 텍스트 전용 1.7B 및 4B 의료 언어 모델군인 MedPsy를 제시한다. 우리의 방법은 생물학, 의학, 건강 시드에 대한 합성 의료 데이터 파이프라인과 235B 의료 특화 LLM 교사의 사고 사슬 목표, 두 개의 SFT 단계 뒤에 어려운 샘플 마이닝을 포함한 두 개의 RL 단계로 구성된 4단계 후속 학습 커리큘럼, 그리고 여러 GGUF 양자화 변형과 노트북 및 스마트폰 하드웨어에서의 실제 기기 추론을 아우르는 엣지 배포 평가를 결합한다. 7개의 폐쇄형 의료 벤치마크에서 MedPsy-4B는 MedGemma-1.5-4B를 19.34점 능가하고 6.75배 더 작으면서도 MedGemma-27B와 대등하며, MedPsy-1.7B는 크기가 절반 미만임에도 MedGemma-1.5-4B를 11.42점 앞선다. HealthBench-Hard에서 MedPsy-4B는 MedGemma-27B를 15.33점 능가하고, MedPsy-1.7B는 약 16배 더 작음에도 11.66점 능가한다. 정확도를 넘어, MedPsy는 Qwen3 백본 대비 평균 응답 길이를 1.7배(1.7B) 및 3.2배(4B) 줄이며, Q4_K_M 양자화는 디스크 사용량을 약 69% 줄이면서도 종합 점수를 BF16 대비 1점 이내로 유지한다. 실제 기기 추론에서 MedPsy-4B의 더 짧은 생성은 동일한 양자화 조건에서 Qwen3 백본 대비 중앙값 종단 간 지연 시간과 답변당 추정 에너지를 75% 낮추며, 시험한 노트북 및 스마트폰 구성 전반에서 최대 RAM은 5 GB 미만으로 유지된다.
원문 초록
Medical language models promise expert clinical support, but the strongest open-source LLMs remain too large for private edge-device deployment, while compact medical models still trail substantially on knowledge-intensive and real-world healthcare tasks. Reasoning models that fit edge memory budgets can produce long reasoning traces, increasing sequential decoding, end-to-end latency, energy consumption, and KV-cache memory pressure. We present MedPsy, a family of text-only 1.7B and 4B medical language models designed for edge deployment, targeting this accuracy-generation-efficiency trade-off. Our recipe combines a synthetic medical data pipeline over biology, medicine, and health seeds with chain-of-thought targets from a 235B medical-focused LLM teacher; a four-stage post-training curriculum comprising two SFT stages followed by two RL stages with hard-sample mining; and an edge deployment evaluation spanning multiple GGUF quantization variants and real-device inference on laptop and smartphone hardware. On seven closed-ended medical benchmarks, MedPsy-4B surpasses MedGemma-1.5-4B by 19.34 points and matches MedGemma-27B while being 6.75x smaller; MedPsy-1.7B outperforms MedGemma-1.5-4B by 11.42 points despite being less than half its size. On HealthBench-Hard, MedPsy-4B surpasses MedGemma-27B by 15.33 points, while MedPsy-1.7B surpasses it by 11.66 points despite being ~16x smaller. Beyond accuracy, MedPsy reduces average response length by 1.7x (1.7B) and 3.2x (4B) versus its Qwen3 backbones, while Q4_K_M quantization preserves the aggregate score within 1 point of BF16 with ~69% lower disk footprint. In real-device inference, MedPsy-4B's shorter generations translate into 75% lower median end-to-end latency and estimated energy per answer than its Qwen3 backbone at matched quantization, while peak RAM remains below 5 GB across our tested laptop and smartphone configurations.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.02011v2제출 시각 미확인
- arXiv:2611.02011v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.