LegalPro-BERT: Classification of Legal Provisions by fine-tuning BERT Large Language Model
원문 초록
A contract is a type of legal document commonly used in organizations. Contract review is an integral and repetitive process to avoid business risk and liability. Contract analysis requires the identification and classification of key provisions and paragraphs within an agreement. Identification and validation of contract clauses can be a time-consuming and challenging task demanding the services of trained and expensive lawyers, paralegals or other legal assistants. Classification of legal provisions in contracts using artificial intelligence and natural language processing is complex due to the requirement of domain-specialized legal language for model training and the scarcity of sufficient labeled data in the legal domain. Using general-purpose models is not effective in this context due to the use of specialized legal vocabulary in contracts which may not be recognized by a general model. To address this problem, we propose the use of a pre-trained large language model which is subsequently calibrated on legal taxonomy. We propose LegalPro-BERT, a BERT transformer architecture model that we fine- tune to efficiently handle classification task for legal provisions. We conducted experiments to measure and compare metrics with current benchmark results. We found that LegalPro-BERT outperforms the previous benchmark used for comparison in this research.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Random Language Model의 스케일링 극한
Scaling limit of the Random Language Model
음성-텍스트 언어 모델에서 생성 모달리티 간극 정량화
Quantifying the Generation Modality Gap in Speech-Text Language Models
순수 음성 언어 모델(speech language model)은 일관성 있는 콘텐츠를 생성하는 데 있어 텍스트 및 음성-텍스트 언어 모델에 비해 뒤처지는 경우가 많지만, 음성과 텍스트 시스템이 일반적으로 서로 다른 지표로 평가되고 서로 다른 데이터로 학습(training)되기 때문에 이러한 간극을 정량화하기는 어렵습니다. 본 연구에서는 연속적인 음향 특징(feature) 생성을 위한 플로우 매칭(flow matching)을 기반으로 하는 일련의 음성 언어 모델 계열에서 음성-텍스트 모달리티 간극(modality gap)을 연구합니다. 일치된 데이터 분포에서 학습되고 일치된 생성 환경에서 평가되는 음성 전용, 텍스트 전용, 음성-텍스트 언어 모델을 비교하는 통합 생성 기반 평가 스위트를 구축합니다. 생성된 음성을 전사하고 참조 언어 모델로 점수를 매겨 측정한 의미론적 일관성(semantic coherence), 음소 n-그램 분포 통계로 측정한 국소적 음소 구조, 화자 일관성 및 음향 품질, 감정 기반 분포 지표 등 여러 차원에 걸쳐 생성된 연속 발화를 평가합니다. 데이터셋 전반에 걸쳐 음성-텍스트 결합 모델링이 의미론적 일관성을 크게 향상시킨다는 점을 확인했습니다. 그러나 이러한 개선이 모든 지표에서 균일하지는 않습니다. 음소 수준 지표는 미미하게만 변화하고, 음성-텍스트 연속 생성물에서 화자 유사도와 예측 품질은 더 낮은 반면 감정 기반 분포 지표는 향상됩니다. 더 큰 규모의 음성 전용 모델과 비교할 때, 제안하는 음성-텍스트 모델은 전사 기반 의미론적 일관성에서 스케일링(scaling) 격차의 상당 부분을 좁히며, 이는 텍스트가 음성 언어 모델링에 효율적인 의미론적 학습 신호를 제공함을 시사합니다.
매끄러운 스케일링 법칙이 단계적 토큰 학습을 감추다
Smooth Scaling Laws Hide Stepwise Token Learning
언어 모델 손실은 모델 및 데이터 크기에 걸쳐 놀라울 정도로 규칙적인 스케일링 법칙을 따르지만, 집계 손실이 왜 거듭제곱 법칙 형태를 나타내는지는 여전히 불분명하다. 기존의 설명들은 이 규칙성을 자연어에서 패턴 난이도의 중꼬리(heavy-tailed) 스펙트럼에 귀인하는 경우가 많지만, 이 견해는 대규모 실제 데이터 학습에서 토큰 수준의 세밀도로 직접 검증된 바 없다. 우리는 스케일링 법칙을 개별 문맥화된 토큰의 국소적 학습 이벤트로 분해하는 토큰 수준 프레임워크를 제시한다. 토큰 손실 궤적을 시그모이드로 피팅함으로써, 토큰 학습이 국소적 전환에 집중되어 있음을 보이며, 이로부터 스케일링 법칙의 형태를 지배하는 학습 시간 스펙트럼이 도출됨을 확인한다. 현대적인 대규모 언어 모델(LLM) 아키텍처를 사용하여 크고 다양한 실제 언어 코퍼스에서 100회 이상의 사전학습 실행에 걸쳐—최대 60억 개의 파라미터와 3,000억 개의 학습 토큰으로 스케일업—측정된 학습 시간 스펙트럼은 학습 스텝 $T$, 데이터 스케일 $D$, 모델 스케일 $M$ 축을 따른 검증 손실 도함수를 정량적으로 재구성한다. 나아가 동일한 신호가 실행 가능함을 보인다. 토큰이 학습 가능해지는 시점에 따라 학습 분포를 재구성함으로써 최적화 궤적을 변경하고, 검증 손실 감소를 11% 가속화한다. 이러한 결과들은 스케일링 법칙이 주로 토큰 수준 학습 시간의 분포에 의해 지배된다는 직접적인 경험적 증거를 제공하며, 이 분포가 스케일링 동작을 설명하는 데 그치지 않고 학습 성능을 향상시키는 데에도 활용될 수 있음을 보인다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
활성화 오라클이 읽지 않는 법을 배울 때: 파인튜닝된 오라클의 개념별 사각지대
When Activation Oracles Learn Not to Read: Concept-Specific Blind Spots in Fine-Tuned Oracles
활성화 오라클(Activation Oracles, AOs)은 다른 모델의 내부 활성화에 대한 자연어 질문에 답하도록 학습된 언어 모델이다. 이들은 모델 상태에서 숨겨진 정보를 읽어내는 유연한 인터페이스를 제공하며, 특히 관련 정보가 내부적으로 표현되어 있지만 가시적 행동에서는 부재하거나 불완전한 경우에 유용하다. 그러나 AOs는 그 자체가 학습된 시스템이다. 이들의 답변은 표현된 정보의 중립적 판독이 아니라, 학습 데이터, 목표(objective), 그리고 학습된 보고(reporting) 행동에 의해 형성된다. 이를 통제된 금기어(Taboo Word) 추측 설정에서 연구한다. 여기서 피험 모델(subject model)은 직접적 공개를 피하면서 내부적으로 숨겨진 개념(concept)을 사용하도록 파인튜닝된다. 이러한 피험 모델에 대해 학습된 AO가 전문 판독자(specialist reader)가 될 것이라는 기대와 달리, 파인튜닝된 AO는 개념별 반판독자(concept-specific anti-reader)가 될 수 있음을 발견한다. 즉, 자신의 학습 동안 지속적으로 존재하는 개념을 선택적으로 회복하지 못한다. 이 실패는 단순히 피험 모델이나 오라클 표현에서 해당 개념이 부재하기 때문이라고 설명되지 않는다. 표적 개념은 오라클 내부에서 여전히 디코딩 가능하며, LogitLens 및 층(layer) 절제(ablation) 분석은 이 실패가 AO 판독(readout) 경로에서 발생함을 시사한다. 우리의 결과는 행동적 누출(behavioral leakage), 표현 수준의 디코딩 가능성(representation-level decodability), AO 언어화 가능성(AO-verbalizability)이 서로 분리될 수 있음을 보여주며, 학습된 해석 가능성(interpretability) 인터페이스에 대한 신뢰성 우려를 제기한다.
언어 모델링을 위한 토큰 시간 연속 확산
Token Time Continuous Diffusion for Language Modeling
본 논문에서는 토큰 시간 연속 확산(token time continuous diffusion, TTCD)을 소개한다. TTCD는 (a) 연속 공간에서 동작하며, 가우시안 노이즈를 최종 토큰 캔버스(token canvas)로 결정론적으로 매핑하고 추가 샘플링 없이 완료하는 새로운 확산 언어 모델이며, 중요하게도 (b) 토큰별 시간(per-token times)이라는 새로운 개념을 도입하여, 일부 토큰은 다른 토큰보다 더 빠른 속도로 노이즈에서 토큰으로 진행한다. 연속 공간 모델링은 TTCD가 여러 토큰의 병렬 샘플링을 피하도록 돕는다. 이는 순수하게 이산 공간에서만 반복하는 모델들이 높은 가속(speedup)에서 겪는 부정확성의 주요 원인이다. 토큰별 시간 개념은 TTCD가 조건부 생성(conditional generation)을 더 잘 모델링하도록 돕고, 더 확실한 토큰이 더 빠른 속도로 진행할 수 있게 하며, 정제(refinement) 과정에서 토큰 간 영향을 차별화할 수 있게 한다. TTCD는 높은 가속에서 이산 모델보다 우수한 성능을 보인다. OpenWebText에서 160M 매개변수 TTCD 모델을 학습한 뒤 자기 지식 증류(self-distill)를 수행했으며, 높은 가속에서 무조건부 생성 품질은 동일 데이터에서 학습하고 자기 지식 증류를 적용한 유사 크기의 기존 모델들과 비슷한 수준이고, 조건부 생성에서는 이들을 능가함을 확인했다. 수도쿠(Sudoku) 풀이에서도 유사한 성능 향상을 달성했다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.