deepseek-r1:8b(8B) 추론 교사 모델을 Qwen3-0.6B(0.6B) 학생 모델로 QLoRA 기반 지식 증류하여, 기사당 39초에서 0.8초로 속도를 크게 높이면서 요약 품질 격차의 58%를 회복하고 제약 디코딩 대비 +16.8점을 달성했다. 성능 향상은 교사의 규모가 아닌 추론 특성에서 비롯되며, 교사 유형에 따라 전이되는 역량이 분화되어 단일 모델이 모든 필드에서 최적이 아니므로 필드별 라우팅 맵을 제시한다.
금융 제출 보고서부터 임상 기록에 이르기까지, 전통 산업들은 고가치 정보를 저장하기 위해 긴 비정형 문서에 크게 의존합니다. 이 정보를 신뢰할 수 있는 정형이고 기계가 읽을 수 있는 표현으로 추출하는 것은 자동화된 시스템이 내용에 접근할 수 있게 만드는 핵심 전제 조건입니다. JSON은 이러한 정형 추출의 자연스러운 목표이지만, 신뢰할 수 있고 확장 가능한 텍스트-JSON 학습 데이터를 구축하는 것은 여전히 어렵습니다. 이러한 격차를 해결하기 위해 우리는 STAGE(Spreadsheet-grounded Text-to-JSON Artifact GEneration)를 제안합니다. 이는 소스 기반 데이터 생성 파이프라인으로, 확장 가능한 합성을 위해 LLM을 사용하여 보고서와 JSON 스키마를 구축하는 동시에 기본 스프레드시트에 대해 정답 값을 검증합니다. 851개 예제 테스트 세트가 포함된 우리의 소스 기반 벤치마크인 STAGE-Eval에 대한 평가 결과, STAGE가 기존 접근 방식보다 더 우수한 학습 데이터를 생성함을 보여줍니다. 이는 Qwen3-4B의 정확 일치를 31.37%에서 74.27%로, 값 정확도를 45.46%에서 90.69%로 향상시켰습니다.