arXiv:2602.12639v2 cs.CL

CLASE: 중국 법률 문체 스타일 평가를 위한 하이브리드 방법

CLASE: A Hybrid Method for Chinese Legalese Stylistic Evaluation

Yiran Rex Ma, Yuxiao Ye, Huiyuan Xie

제출 2026-02-13

한국어 초록

대규모 언어 모델(LLM)이 생성한 법률 텍스트는 사실적 정확도 측면에서 합리적인 수준에 도달하는 경우가 많지만, 법률 작성의 전문적인 스타일 규범과 언어적 관습을 따르지 못하는 경우가 빈번하다. 스타일 품질을 향상시키기 위해 신뢰할 수 있는 평가 방법을 확립하는 것이 중요한 첫 단계이다. 그러나 법률 전문가가 수동으로 이러한 지표를 개발하는 것은 비현실적이다. 법률 작성 관행에 내재된 암묵적 스타일 요구사항을 명시적 루브릭으로 형식화하기 어렵기 때문이다. 한편 기존 자동 평가 방법도 부족하다. 참조 기반(reference-based) 지표는 의미적 정확도와 스타일적 충실도를 혼동하고, LLM-as-a-judge 평가는 불투명성과 불일치 문제를 겪는다. 이러한 과제를 해결하기 위해 우리는 법률 텍스트의 스타일적 성능에 초점을 맞춘 하이브리드 평가 방법인 CLASE(Chinese LegAlese Stylistic Evaluation)를 제안한다. 이 방법은 1) 언어학적 특징 기반 점수와 2) 경험 가이드 LLM-as-a-judge 점수를 결합하는 하이브리드 채점 메커니즘을 포함한다. 특징 계수와 LLM 채점 경험 모두 실제 법률 문서와 LLM으로 복원한 대응 문서의 대조(contrastive) 쌍으로부터 학습된다. 이 하이브리드 설계는 표면 수준의 특징과 암묵적 스타일 규범을 모두 투명하고 참조 없는(reference-free) 방식으로 포착한다. 200개의 중국 법률 문서에 대한 실험에서 CLASE는 전통적 지표와 순수 LLM-as-a-judge 방법보다 인간 판단과의 정렬(alignment)이 상당히 높음을 보여준다. 향상된 정렬을 넘어, CLASE는 해석 가능한 점수 분해와 개선 제안을 제공하여 법률 텍스트 생성에서 전문적인 스타일 평가를 위한 확장 가능하고 실용적인 해결책을 제공한다(CLASE의 코드와 데이터는 https://github.com/rexera/CLASE에서 이용 가능).

원문 초록

Legal text generated by large language models (LLMs) can usually achieve reasonable factual accuracy, but it frequently fails to adhere to the specialised stylistic norms and linguistic conventions of legal writing. In order to improve stylistic quality, a crucial first step is to establish a reliable evaluation method. However, having legal experts manually develop such a metric is impractical, as the implicit stylistic requirements in legal writing practice are difficult to formalise into explicit rubrics. Meanwhile, existing automatic evaluation methods also fall short: reference-based metrics conflate semantic accuracy with stylistic fidelity, and LLM-as-a-judge evaluations suffer from opacity and inconsistency. To address these challenges, we introduce CLASE (Chinese LegAlese Stylistic Evaluation), a hybrid evaluation method that focuses on the stylistic performance of legal text. The method incorporates a hybrid scoring mechanism that combines 1) linguistic feature-based scores and 2) experience-guided LLM-as-a-judge scores. Both the feature coefficients and the LLM scoring experiences are learned from contrastive pairs of authentic legal documents and their LLM-restored counterparts. This hybrid design captures both surface-level features and implicit stylistic norms in a transparent, reference-free manner. Experiments on 200 Chinese legal documents show that CLASE achieves substantially higher alignment with human judgments than traditional metrics and pure LLM-as-a-judge methods. Beyond improved alignment, CLASE provides interpretable score breakdowns and suggestions for improvements, offering a scalable and practical solution for professional stylistic evaluation in legal text generation (Code and data for CLASE is available at: https://github.com/rexera/CLASE).

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2602.12639v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.