arXiv:2607.27379v1 cs.CL

HSS-Synth: LLM을 위한 인문사회과학 데이터 합성

HSS-Synth: Humanities and Social Sciences Data Synthesis for LLMs

Ru Peng, Tianyu Zhao, Xijun Gu, Zhiting Fan, Haokai Xu, Jinyang Zhang, Yawen Zeng, Yihong Zhuang, Kexin Yang, Junyang Lin, Dayiheng Liu, Junbo Zhao

제출 2026-07-29

한국어 초록

고품질의 다양한 데이터는 대규모 언어 모델(LLM)에 필수적이지만 여전히 부족하고 비용이 많이 듭니다. 데이터 합성은 실행 가능한 대안이며 폐쇄형 과제에서 성공을 거두었으나, 인문사회과학(HSS) 분야는 간과되어 왔고 개방형 특성으로 인해 합성이 까다롭습니다. 기존의 역량 중심적이고 파편화된 시도를 넘어, 본 연구는 주제 중심 패러다임을 채택하고 14개 주요 분야를 아우르는 최초의 HSS 도메인 체계를 정의하며 HSS를 위한 최초의 데이터 합성 파이프라인인 HSS-Synth를 소개합니다. HSS-Synth는 다음으로 구성됩니다. (1) 다단계 필터링 및 심사자 평가 텍스트 정제를 통해 웹 말뭉치로부터 시드 문서를 구축, (2) 엄격한 Q&A 정렬(alignment) 검증과 함께 '요구사항 + 페르소나'를 지정하여 시드 문서를 다양하면서도 충실한 인스트럭션으로 역번역(backtranslate), (3) 의미를 고정하고 환각(hallucination)을 줄이며 어조와 온전성을 유지하기 위해 응답 생성 중 시드 문서를 입력하는 교사 강제(teacher-forced) 응답 방식을 통해 LLM 응답 한계를 극복. HSS-Synth는 16개 벤치마크에서 14개의 주요 베이스라인을 능가하는 23만 7천 개의 고품질 다양 인스트럭션 튜닝(instruction tuning) 샘플을 생성합니다. 이를 통해 파인튜닝(fine-tuning)된 Qwen3-8B-Base는 새로운 최고 성능(SOTA)을 달성하고 공식 Qwen3-8B에 근접하며, 성능 시소 현상 없이 인간 선호도와 지식 역량을 모두 향상시킵니다. 광범위한 실험을 통해 HSS-Synth의 강건성과 전이 가능성을 입증합니다. 저희 코드는 https://github.com/pengr/HSS-Synth 에서 공개되어 있습니다.

원문 초록

High-quality, diverse data are vital for large language models (LLMs) but remain scarce and costly. Data synthesis is a viable alternative and succeeds on closed tasks, yet the humanities and social sciences (HSS) are overlooked, and their open-ended nature makes synthesis challenging. Moving beyond prior capability-centric, fragmented attempts, we adopt a subject-centric paradigm, define the first HSS domain system covering 14 mainstream fields, and introduce HSS-Synth, the first data synthesis pipeline for HSS. HSS-Synth comprises: (1) constructing seed documents from web corpora via multi-step filtering and text refinement evaluated by a judge; (2) specifying "requirements + persona" to backtranslate seed documents into diverse yet faithful instructions with a strict Q&A alignment check; and (3) breaking LLM response limits via teacher-forced Answering that feeds seed documents during response generation to anchor semantics, reduce hallucinations, and preserve tone and integrity. HSS-Synth yields 237k high-quality, diverse instruction-tuning samples that outperform 14 leading baselines on 16 benchmarks. The fine-tuned Qwen3-8B-Base sets a new SOTA and approaches the official Qwen3-8B, improving both human preference and knowledge capabilities without performance seesaws. Extensive experiments demonstrate HSS-Synth's robustness and transferability. Our code is publicly available at https://github.com/pengr/HSS-Synth.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.27379v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.