arXiv:2606.06679v1 cs.CL

HKJudge: 법원의 사실 인정, 추론 과정 및 판결 내용 해석을 위한 법률 담화 주석 말뭉치

HKJudge: A Legal Discourse-Annotated Corpus for Interpreting What Courts Find, How They Reason, and What They Rule

Xi Xuan, Wenxin Zhang, Yufei Zhou, King-kui Sin, Chunyu Kit

제출 2026-06-04

한국어 초록

법원 판결은 법률 실무와 법학의 핵심이지만, 전문가 주석이 달린 말뭉치의 부재로 인해 홍콩 판결에 대한 담화 분석은 제한적인 관심을 받아왔습니다. 본 연구에서는 첫 번째 문장 수준 전문가 주석 법률 담화 말뭉치인 Hong Kong Judgment Discourse Dataset (HKJudge)를 소개합니다. HKJudge는 홍콩 법원 체계의 5개 계층에 걸친 형사 판결을 포함하며, 약 29만 개의 문장과 약 650만 개의 토큰으로 구성되어 있고 법률 언어학 전문가에 의해 완전히 주석이 달렸습니다. 우리는 법원이 어떤 사실을 인정하고, 어떻게 추론하며, 무엇을 판결하는지 포착하는 2단계 담화 스키마를 설계했습니다. 문장 수준에서 각 문장은 26개의 수사적 역할 중 하나로 할당됩니다. 구간(span) 수준에서 문장은 세 가지 양형 요소(혐의, 징역형, 벌금)로 추가 주석이 달립니다. 10명의 법률 언어학 주석자가 주석을 생성했으며, 주석자 간 일치도는 $κ= 0.8$입니다. 우리는 HKJudge에서 수사적 역할 분류(rhetorical role classification)와 법률 요소 추출(legal element extraction)이라는 두 가지 작업을 정의하고, 네 가지 BERT 기반 모델, 제로샷(zero-shot) 및 미세조정(fine-tuning) 설정의 두 가지 오픈소스 대규모 언어 모델(LLM), 그리고 네 가지 상용 LLM에 대한 첫 번째 벤치마크 평가를 제공합니다. 우리의 작업은 홍콩 판결의 구조를 모델링하기 위한 문장 수준 담화 주석의 가치를 입증하고, 향후 법률 판결 예측 연구를 위한 풍부한 데이터 기반을 제공합니다. HKJudge 데이터셋과 코드는 https://github.com/xuanxixi/HKJudge에서 확인할 수 있습니다.

원문 초록

Court judgments are central to legal practice and jurisprudence, yet discourse analysis of Hong Kong judgments has received limited attention, owing largely to the absence of expert-annotated corpora. We introduce the Hong Kong Judgment Discourse Dataset (HKJudge), the first sentence-level expert-annotated legal discourse corpus. HKJudge includes criminal judgments across all five levels of HK's court hierarchy, comprising $\sim$290k sentences and $\sim$6.5 million tokens, fully annotated by legal linguistics experts. We design a two-tier discourse schema that captures what facts a court finds, how it reasons, and what it rules. At the sentence level, each sentence is assigned one of 26 rhetorical roles. At the span level, sentences are further annotated with three sentencing elements (charge, imprisonment term, fine). Ten legal linguistics annotators produced the annotations with an inter-annotator agreement of $κ= 0.8$. We formulate two tasks on HKJudge, termed rhetorical role classification and legal element extraction, and provide the first benchmark evaluation of four BERT-based models, two open-source LLMs under zero-shot and fine-tuning settings, and four commercial LLMs on both tasks. Our work demonstrates the value of sentence-level discourse annotation for modeling the structure of HK judgments and provides a rich data foundation for future work on legal judgment prediction. The HKJudge dataset and code are available at https://github.com/xuanxixi/HKJudge.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.06679v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.15732v1cs.CL공통 태그 Text Classification, Benchmarking

NepPlural: 네팔 이주 담론의 페르소나 주석을 위한 인간 기반 벤치마크

NepPlural: A Human-Anchored Benchmark for Persona Annotation in Nepali Migration Discourse

다원주의적 정렬(Pluralistic alignment)은 언어 모델이 사회의 다양하고 대립하는 가치들을 하나의 지배적인 관점으로 축소하기보다 충실하게 표현할 것을 요구하지만, 대표적인 다원주의적 정렬 데이터셋들은 여전히 서구권 응답자에게 크게 치우쳐 있습니다. 본 연구에서는 청년층 이주 및 두뇌 유출에 관한 네팔의 공론장에서 나타나는 대립적인 사회문화적 페르소나를 모델링하기 위한 인간 기반 벤치마크인 NepPlural을 소개합니다. 우리는 2,148개의 코드 혼용(데바나가리 문자, 로마자 표기 네팔어, 영어) 유튜브 댓글을 수집하고, 4개 축으로 구성된 페르소나 분류 체계(의도, 주요 동인, 가치 지향, 정서)와 명시적인 '페르소나 없음(No-Persona)' 클래스에 따라 주석을 달았으며, 세 명의 네팔어 원어민 화자가 독립적으로 레이블을 지정한 300개 댓글 규모의 골드 세트(평균 Fleiss' $κ\approx 0.55$)를 구축했습니다. 이 골드 세트를 활용해 자동 주석의 신뢰도를 검증한 결과, 대규모 언어 모델(LLM) 주석의 신뢰도는 프로토콜에 따라 결정된다는 점을 발견했습니다. 채팅 인터페이스를 통해 일괄(batch) 수집된 레이블은 모델 간 일치도가 무작위 수준에 불과했습니다($κ\approx 0.17$). 한 번에 하나의 댓글씩 주석을 달 경우 일치도가 원어민 화자 수준 이상으로 증가했으나($κ\approx 0.72$), 일관성이 곧 타당성을 의미하지는 않았습니다. 강제 선택 방식(forced-choice schema)에서는 원어민 화자가 페르소나가 없다고 판단한 댓글의 39%에 대해서도 모델들이 페르소나가 존재한다고 합의하여, 인간 골드 기준 매크로 F1 점수가 0.50 수준에 머물렀습니다. 기권(abstention)을 허용하자 이 문제가 해결되었습니다. 모델은 0.79에서 0.87의 F1 점수로 '페르소나 없음' 댓글을 복원했으며, 1인 배제(leave-one-annotator-out) 참조 기준에 대해 개별 원어민 화자와 일치하거나 이를 능가했습니다(매크로 F1 0.75~0.86 대 0.75). 일괄 처리된 레이블로 파인튜닝(fine-tuning)한 인코더는 0.34에 불과했습니다. 마지막으로, 인간 평가 기반의 제어 가능성(steerability) 검증 결과 프론티어 모델 3종은 단일 페르소나 축을 59~77%의 충실도로 채택했으나 전체 페르소나를 완벽히 구성한 비율은 33%에 불과했으며, 이 규모에서는 서구 친화적 페르소나와 네팔 집단주의적 페르소나 간의 일치도 격차가 감지되지 않았습니다.

arXiv:2610.15870v1cs.CL공통 태그 Text Classification, Benchmarking

검증되지 않았는가, 아니면 억울하게 의심받는가? 카자흐어에서의 AI 생성 텍스트 탐지기 평가

Unchecked or Falsely Accused? Evaluating AI-Generated Text Detectors on Kazakh

AI 텍스트 탐지기는 이미 카자흐어 글쓰기에 적용되고 있지만, 공개적으로 이용 가능한 탐지기가 ChatGPT 이전에 작성된 것으로 확인된 카자흐어 텍스트를 얼마나 자주 (AI 생성으로) 플래그하는지 보고한 연구는 없다. 우리는 AINA-KK를 제시한다: ChatGPT 이전에 존재했음이 입증된 백과사전, 뉴스, 웹, 교육용 페이지에서 수집한 3,811개의 인간 작성 지문(passage)과, 카자흐어로 구축된 KazLLM과 Sherkala를 포함한 9개의 생성기에서 나온 5,597개의 기계 생성 및 그레이존(gray-zone) 지문으로 구성되며, 문자 체계(script) 및 길이에 대한 스트레스 테스트를 포함한다. Hugging Face Hub에서 가져온 영어로 학습된 5개의 탐지기는 인간 지문의 최대 81.4%와 공개된 학생 에세이의 79.6%를 (AI 생성으로) 플래그했다; 재보정(recalibration) 후에는 기계 생성 텍스트를 최대 1.3%만 탐지했다. 보정된 제로샷(zero-shot) 탐지기는 분포 내(in-distribution) 생성기의 기계 생성 텍스트를 최대 50.3%만 탐지했다. 파인튜닝된 인코더는 텍스트를 거의 완벽하게 순위화하지만, 기본 임계값에서 mDeBERTa는 50단어 분량의 인간 발췌문 중 24.4%를 플래그했는데, 이는 부분적으로 기계 생성 출력이 인간 텍스트보다 짧기 때문이다; 보정 후에는 KazLLM 지문의 47.1%와 Sherkala 지문의 62.7%만 탐지했다. 문자 체계 처리를 하지 않으면, 기계가 음차 표기(transliteration)한 Latin-2021 텍스트가 모든 탐지기를 무력화시켰다. 새로운 데이터가 필요 없는 수정 사항들(보정, 문자 체계 정규화(canonicalization), 문자 체계가 증강되고 길이가 일치된 학습, 그리고 제로샷 스코어러와의 OR 결합)을 결합하여 AINA-KK-Det을 구성한다. 테스트에서 이는 인간 지문의 0.9%를 플래그하며(95% 신뢰구간 0.4-2.7; 개발 데이터에서는 1.5%), 알려진 생성기의 기계 생성 텍스트 중 85.2%, 보지 못한(unseen) 두 개의 Gemini 계열 Gemma-4 모델에서 나온 텍스트 중 92.9%, 카자흐어로 구축된 생성기에서 나온 텍스트 중 61.3%를 탐지한다; 해당 구성은 테스트 결과를 고려하여 선택되었다. 우리는 데이터, 코드, 탐지기를 https://github.com/ozxmn/aina-kk 에서 공개한다.

arXiv:2610.13583v1cs.CL공통 태그 Text Classification, Benchmarking

기계 생성 텍스트 탐지기의 아티팩트 의존성 측정

Measuring Artifact Reliance in Machine-Generated Text Detectors

기계 생성 텍스트 탐지기는 과학 문헌 벤치마크에서 거의 완벽한 점수를 기록하는데, 이는 이러한 탐지기로 인간이 작성한 문서와 기계가 생성한 문서를 신뢰성 있게 구별할 수 있음을 암시한다. 우리는 여섯 개의 널리 사용되는 자료원에서 추출한 열 개의 과학 문서 서브셋을 살펴보았으며, 그중 여러 서브셋에서는 이러한 겉보기의 용이함이 문서가 구성된 방식에서 비롯된 부수 효과임을 확인했다. 27개의 표면적 특징(superficial feature)을 사용한 로지스틱 회귀(logistic regression)는 0.833-0.997의 매크로(macro) F1을 기록했으며, 세 개의 arXiv 서브셋에서는 우리가 평가한 모든 탐지기를 능가하여 0.951-0.997의 F1 점수를 보였다. 탐지기에 가장 강력한 단서는 PDF 추출 아티팩트(artifact)이다: 인간이 작성한 텍스트는 원래의 줄 바꿈을 유지하는 반면, 생성된 텍스트는 단일한 연속된 문장 블록으로 추출된다. 이 단서는 다른 세 가지 서식 특징과 함께 0.996의 AUC로 두 클래스를 구별해낸다. 이러한 신호를 포함하는 벤치마크와 그 신호에 의존하는 탐지기를 구별하기 위해, 우리는 서식 반사실(format counterfactual)을 도입한다: 단 한 단어도 바꾸지 않고 기계가 작성한 초록을 다시 줄바꿈하는 것만으로도 공개된 한 탐지기의 정확한 판단 중 20-27%가 뒤바뀐다. 학습 전에 서식을 정규화(normalizing)하면 일반화 격차(generalization gap)가 0.32에서 0.22로 줄어든다. 서식이 정제된 벤치마크에서는, 아티팩트가 포함된 서브셋으로 학습된 탐지기의 도메인 외(out-of-domain) 매크로 F1 또한 0.33에서 0.65로 향상된다.

arXiv:2610.02363v2cs.LG공통 태그 Benchmarking

ArrivalBench: 에이전트가 생성한 데이터 파이프라인은 단 한 번만 올바르고 시간에 따라 틀린다

ArrivalBench: Agent-Generated Data Pipelines Are Correct Once and Wrong Under Time

에이전트가 생성한 데이터 작업을 평가하는 기존 벤치마크는 고정된 스냅샷에 대해 파이프라인을 한 번 실행하여 채점합니다. 이와 달리 ArrivalBench는 적대적이지만 재현 가능한 전달 스케줄(지연, 중복, 순서 뒤바뀜, 재시도된 레코드) 하에서 에이전트가 남긴 파이프라인을 재실행하며, 최종 상태가 전체 로그에 대한 배치 재계산 결과와 동일할 것을 요구합니다. 오라클이 분류하는 대신 재계산하기 때문에, 잘못된 테이블과 비정상 종료(crash)는 명확히 구분된 판정으로 취급됩니다. 즉, 비정상 종료는 팀이 이미 운영 중인 모니터링을 통해 감지할 수 있지만 잘못된 테이블은 감지되지 않습니다. 저자들이 구축한 40개 작업에서 단일 실행 채점을 재구현한 결과 11개 모델이 생성한 파이프라인의 86~100%가 통과 판정을 받았으나, 동일한 산출물을 재실행하자 통과된 것 중 7.0~79.2%가 조용히 틀린 결과를 내는 것으로 나타났습니다. 이러한 격차는 복구 루프 때문에 발생하는 것이 아닙니다. 동일한 모델과 작업 내에서 스냅샷 테스트를 거쳐 수정된 파이프라인은 처음에 통과한 파이프라인과 거의 비슷한 빈도로 재실행에 실패합니다. 모든 모델에서 멱등성 위험(idempotency hazard)이 순서 관련 위험보다 더 자주 실패를 유발했습니다. 오답과 비정상 종료를 분리하는 것은 개입(intervention)의 해석 방식도 바꿉니다. 한 모델의 경우 위험 경고를 통해 무음 실패(silent failure)를 48.2%에서 10.5%로 줄였지만 비정상 종료율은 9.0%에서 37.0%로 증가하여 전체 실패율은 51.0%에서 44.0%로 소폭 이동하는 데 그쳤습니다. 11개 실험군 모두 독립적으로 재실행되었으며, 실패율 변동은 최대 5.9%포인트에 불과했습니다.

arXiv:2610.00224v2cs.AI공통 태그 Benchmarking

Build2SPARQL: 빌딩 지식 그래프 쿼리를 위한 대규모 Text-to-SPARQL 벤치마크 데이터셋

Build2SPARQL: A Large-Scale Text-to-SPARQL Benchmark Dataset for Building Knowledge Graph Querying

빌딩 자동화 시스템은 Brick 및 ASHRAE 223P와 같은 온톨로지를 사용하는 시맨틱 지식 그래프(KG)로 점점 더 많이 표현되고 있으며, 이는 인공지능 응용을 위한 기계 판독 가능한 기반을 형성합니다. 유망한 응용 분야 중 하나는 자연어 질문을 SPARQL로 변환하는 Text-to-SPARQL로, 빌딩 관리자가 언어 에이전트를 통해 이러한 그래프를 쿼리할 수 있게 해주지만 대규모 자연어/SPARQL 벤치마크의 부족으로 발전이 제한되고 있습니다. 본 논문에서는 지식 그래프 기반(KG-grounded) 파이프라인으로 생성된 빌딩 지식 그래프용 대규모 벤치마크인 Build2SPARQL을 제시합니다. 이 파이프라인은 SPARQL 쿼리를 전적으로 그래프 순회 코드로 생성 및 검증하는 반면, 대규모 언어 모델(LLM)은 자연어 질문만을 생성하도록 하여 쿼리의 정확성을 모델의 동작과 독립적으로 유지합니다. 해당 파이프라인은 선형 체인, 분기, UNION, 집계, OPTIONAL, 속성 필터링의 6가지 쿼리 패턴 패밀리를 추출하며, 각 쿼리를 5가지 어휘 레지스터에 걸쳐 표현합니다. 201개의 빌딩 지식 그래프(Brick 180개, ASHRAE 223P 21개)에 적용하여 6,136개의 실행 가능한 SPARQL 쿼리와 30,680개의 질문을 도출했습니다. 300개 질문에 대한 2인 평가자 인적 검증 결과 98.8%의 시맨틱 충실도, 98.8%의 자연스러움, 84.0%의 운영 타당성을 확인했습니다. 3개의 공개 가중치(open-weight) 언어 모델에 걸친 검색-증강 평가에서는 완전 일치(exact-match) 정확도가 0.2~20%(제로샷)에서 56~65%(3샷 검색)로 향상되었습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.