arXiv:2611.24650v1 cs.AI

소형 언어모델의 더 잘 구조화된 의료 설명을 위한 자기 보상 강화학습

Self-Rewarded Reinforcement Learning for Better-Structured Medical Explanations in Small Language Models

Prakhar Mishra, Bhavya Yajush Awasthi, Tanuja, Nishant

제출 2026-11-19

한국어 초록

소형 언어모델(SLM)은 범용 하드웨어에서 실행할 수 있어 프라이버시를 보호하는 온프레미스 임상 배치를 지원하지만, 이들의 의료 설명은 대규모 언어모델에 비해 짧고 구조가 부실한 경우가 많다. Meerkat과 같은 최근의 지도학습 접근법은 사고 연쇄 추론을 7B-8B 백본으로 전이하지만, 학습 목표가 생성된 근거의 스타일이나 구성을 직접 겨냥하지는 않는다. 우리는 지시 튜닝된 Mistral-7B 백본을 기반으로, 경량 강化학습(RL) 단계가 사람의 선호 레이블 없이 설명 구조를 개선할 수 있는지 조사한다. 더 길고 어휘적으로 다양하며 문장부호가 잘 갖춰진 응답을 선호하고 매우 짧은 응답에는 불이익을 주는 단순한 자기 지도 보상의 안내 아래, Meerkat에서 파생된 의료 프롬프트 2,000개에 LoRA 적응을 적용한 근접 정책 최적화(PPO)를 수행한다. 단일 NVIDIA A100 GPU에서 약 170회의 PPO 스텝 동안 학습한 결과 평균 보상이 안정적으로 증가한다. 정량적·정성적 비교 결과, RL로 튜닝된 모델은 기저의 의료 내용을 보존하면서 더 길고 더 체계적인 다항목 설명을 생성한다. 의료 설명의 스타일을 형성하는 데 있어 자기 보상 RL의 가능성과 한계를 논의한다.

원문 초록

Small language models (SLMs) can run on commodity hardware and support privacy-preserving, on-premises clinical deployment, but their medical explanations are often short and poorly structured compared with large language models. Recent supervised approaches such as Meerkat transfer chain-of-thought reasoning into 7B-8B backbones, yet their training objective does not directly target the style or organization of the generated rationales. Building on the instruction-tuned Mistral-7B backbone, we investigate whether a lightweight reinforcement learning (RL) step can improve explanation structure without human preference labels.We apply Proximal Policy Optimization (PPO) with LoRA adaptation to 2,000 Meerkat-derived medical prompts, guided by a simple self-supervised reward that favors longer, lexically diverse, and well-punctuated responses while penalizing very short ones. Training for about 170 PPO steps on a single NVIDIA A100 GPU yields a stable increase in the average reward. Quantitative and qualitative comparisons show that the RL-tuned model produces longer, more organized, multi-point explanations while preserving the underlying medical content.We discuss the promise and the limitations of self-rewarded RL for shaping the style of medical explanations.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24650v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.