arXiv:2611.24055v1 cs.CL

독립적 기록에 대한 실행 가능 법률 규칙의 채점: 경과 규정과 한국 중소기업 지위

Grading Executable Legal Rules Against Independent Records: Transitional Provisions and Korean SME Status

Jinhyung Bae

제출 2026-11-19

한국어 초록

법률은 특정 날짜에 어떤 기업이 중소기업(SME)이었는지와 같이 사건을 판단하는 프로그램으로 점점 더 변환되고 있으며, 이제 대규모 언어 모델(LLM)이 이를 작성한다. 이러한 프로그램은 대개 같은 법을 읽은 사람이 작성한 답에 대해 채점되므로, 프로그램은 법을 올바르게 구현해서가 아니라 채점자와 해석을 공유해서 높은 점수를 얻을 수 있다. LexTemporis는 대신 실제로 일어난 일의 기록, 즉 한국 상장기업이 공시한 10,901개 기업-연도의 중소기업 지위와 적용 대상 규칙의 모든 버전에 대해 프로그램을 채점한다. 부록에서는 미국 소득세와 독일 병원 최소 시술량의 비교 사례를 추가한다. 날짜는 주로 법 본문 밖의 규정을 통해 결과를 바꾸며, 한 경과 규정은 공시와의 일치율을 83-86%에서 89-90%로 높인다. 공시는 또한 논쟁적인 규정에 대한 저자의 해석을 검증하며, 해석이 갈리는 189개 기업-연도 중 130개에서 저자의 해석을 지지한다. 네 개의 LLM이 법의 서로 다른 발췌본을 받아 규칙을 작성하였다. 사전 등록된 비교에서는 네 모델 모두에서 더 나은 조건이 발견되지 않는다. 탐색적 분석에서는 올바른 규정을 제공하는 것이 기록보다 저자의 해석에 대해 채점할 때 더 좋아 보인다. 세 모델에서는 이점이 줄어들고(한 모델은 원래 크기의 4분의 1에서 5분의 3 사이로), 기업-연도 단위로는 저자의 해석이 틀린 경우에 이점이 몇 배 더 큰데, 이는 그 경우 해당 해석을 더 충실히 재현할수록 불리해지기 때문에 부분적으로 구조상 그러하다. 법률 프로그램을 채점자 자신의 해석에 대해 채점하면 그 작동 수준이 과대평가될 수 있다.

원문 초록

Laws are increasingly turned into programs that decide cases, such as whether a firm was a small or medium enterprise (SME) on a given date, and large language models (LLMs) now write them. The programs are usually graded against answers written by someone who read the same law, so a program can score well by sharing the grader's reading rather than by getting the law right. LexTemporis grades them instead against records of what actually happened: 10,901 firm-years of SME status disclosed by Korean listed companies, with every version of the governing rules. An appendix adds comparison cases from US income tax and German hospital minimum volumes. The date changes outcomes mainly through provisions outside the main statutory text: one transitional provision raises agreement with the disclosures from 83-86% to 89-90%. The disclosures also test the author's reading of a contested provision, favouring it in 130 of 189 firm-years where readings diverge. Four LLMs wrote the rules, given different selections of the law. A pre-registered comparison finds no condition better across all four models. In exploratory analyses, supplying the right provisions looks better graded against the author's reading than against the records: the advantage shrinks for three models (for one, to between a quarter and three-fifths of its size), and per firm-year it is several times larger where the author's reading is wrong, partly by construction, since there reproducing that reading more faithfully must lose. Grading legal programs against the grader's own reading can overstate how well they work.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.24055v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.