한국어 초록
소형 오픈 웨이트 모델은 장문 창작 글쓰기에서 어려움을 겪습니다. 이들이 생성한 이야기는 요청한 길이에 한참 못 미치거나, 길이가 늘어날수록 품질이 크게 떨어지며, 특히 프런티어 모델과 비교할 때 그러합니다. 우리는 POLARIS(Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting)를 제안합니다. 이는 두 가지 핵심 요소를 갖춘 저연산 GRPO 레시피입니다. 하나는 구조화된 Story Quality 루브릭을 갖춘 프런티어 LLM 판정자를 온라인 보상으로 사용하는 것이고, 다른 하나는 인간 참고문 주입(Human-Reference Injection, HRI)으로, 각 GRPO 그룹 내에서 교사 강제된 인간 작성 이야기를 높은 보상의 앵커로 사용하는 것입니다. 이 학습 레시피를 Qwen3.5-9B에 적용하고, 100개의 단편 소설 앤솔러지에서 파생한 약 1.4K개의 프롬프트-이야기 쌍으로 구성된 데이터셋과 4개의 A100 GPU를 사용해 학습한 결과, POLARIS-9B를 얻었습니다. 분포 내 및 분포 밖의 프롬프트와 루브릭을 아우르는 다섯 개 벤치마크에서, POLARIS-9B는 훨씬 더 큰 오픈 웨이트 모델들과 경쟁할 만한 성능을 보이면서도 길이 지시를 더 정확히 따릅니다. 블라인드 인간 평가는 POLARIS-9B가 기본 Qwen3.5-9B보다 선호되며 Qwen3.5-27B와 대등한 수준임을 확인했습니다. 학습은 최대 4천 단어 길이의 이야기로만 진행했음에도, POLARIS-9B는 학습 길이의 최대 3배에 달하는 길이를 요청하는 프롬프트에서도 품질을 유지했습니다. 이는 대부분의 오픈 웨이트 모델이 품질, 길이 준수, 또는 둘 모두에서 크게 저하되는 영역입니다. 더 넓게 보면, 우리의 결과는 길이 일반화가 창작 글쓰기 모델에 대한 의미 있는 스트레스 테스트이며, 서로 비슷해 보이는 모델들을 구분하는 데 유용한 관점임을 시사합니다.
요약
소형 오픈웨이트 모델은 장편 창작 글쓰기에서 요청한 길이에 한참 못 미치거나, 길이가 길어질수록 품질이 크게 떨어지는 경향이 있으며, 특히 최첨단 모델과 비교하면 그 차이가 더 두드러집니다. 연구진은 이를 개선하기 위해 POLARIS(Policy Optimization with LLM-as-a-judge rewards and Anchored-Reference Injection for Storywriting)라는 저비용 GRPO 학습 레시피를 제안했습니다. 이 방법은 구조화된 Story Quality 기준을 사용하는 최첨단 대규모 언어 모델(LLM) 심사자를 온라인 보상으로 활용하고, 사람 작성 본문을 교사 강제(human-reference injection, HRI) 방식의 고보상 앵커로 주입하는 두 가지 핵심 요소로 구성됩니다. 이 학습 레시피를 Qwen3.5-9B에 적용해 약 1.4K개의 프롬프트-스토리 쌍과 100개 단편소설 앤솔로지, 4개의 A100 GPU로 학습한 결과 POLARIS-9B를 얻었습니다. 다섯 개의 벤치마크에서 POLARIS-9B는 분포 내·외 프롬프트와 서로 다른 평가 기준 전반에 걸쳐 더 큰 오픈웨이트 모델들과 경쟁할 만한 성능을 보이면서, 길이 지시를 더 정확히 따랐습니다. 블라인드 인간 평가는 POLARIS-9B가 기본 Qwen3.5-9B보다 선호되며, Qwen3.5-27B와는 비슷한 수준임을 확인했습니다. 또한 최대 4천 단어 길이의 이야기로만 학습했음에도, 학습 길이의 최대 3배에 달하는 길이를 요구하는 프롬프트에서도 품질을 상당 부분 유지했습니다. 전체적으로 이 결과는 길이 일반화(length generalization)가 창작 글쓰기 모델을 평가하는 중요한 스트레스 테스트이며, 비슷해 보이는 모델들을 구분하는 유용한 관점임을 보여줍니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.