일반·문학 텍스트 관계 추출(RE)에서 360M~3B 규모 소형 언어 모델(SLM)을 과제별 미세조정하면 9개 벤치마크에서 제로샷 프론티어 LLM을 능가할 수 있으며, Qwen2.5-0.5B는 일반 도메인 micro-F1 0.83으로 GPT-5.4(0.69)보다 높다. 성능 이득은 생성적 디코딩보다 표적화된 과제 적응에서 비롯되며, 단일 소비자용 GPU에 배포 가능한 4-bit 모델로도 정확하고 프라이버시를 보호하는 RE가 가능하다.
페르시아어 사전학습 언어 모델(PLM)은 대규모 고품질 사전학습 말뭉치의 부족과 표준 분류(classification) 및 개체명 인식(NER) 작업을 넘어선 평가의 부족으로 인해 여전히 제한적입니다. 본 논문에서는 Sepahr-Danesh 컬렉션의 45GB 큐레이션된 서브셋(약 70~80억 토큰)에서 RoBERTa-base 인코더(1.25억 파라미터)를 사용하여 처음부터 학습된 단일 언어 페르시아어 PLM인 IHUBERT를 제시합니다. 말뭉치 품질을 개선하고 중복성을 줄이기 위해, 정규화(normalization), 정확 및 근접 중복 제거, 익명화, 그리고 도메인 및 레지스터 전반의 분포 균형 제어를 위한 벡터 데이터베이스 기반 시맨틱 중복 제거를 포함하는 다단계 전처리 파이프라인을 사용합니다. 또한, 페르시아어 형태론과 표기법 변이를 더 잘 포착하기 위해 전체 사전학습 말뭉치에 대해 어휘 크기 139k의 BPE 토크나이저를 학습했습니다. IHUBERT는 개체명 인식(NER), 감성 분석(sentiment analysis), 주제 분류, 자연어 추론(NLI), 추출형 질의응답, 관계 추출을 포함하는 7개의 페르시아어 자연어 이해(NLU) 벤치마크에서 평가되었으며, 작업별 표준 지표(엔티티 수준 F1, Macro-F1, EM/F1)를 사용했습니다. IHUBERT는 추출형 질의응답에서 가장 강력한 성과를 보여 PQuAD (F1 88.3542)와 ParsiNLU-RC (F1 49.0987) 모두에서 1위를 차지했으며, FarsTail (Macro-F1 0.8350)에서도 최고의 결과를 달성했습니다. 개체명 인식(NER)과 주제 분류에서는 경쟁력 있는 성과를 보였으나(예: ParsTwiNER에서 F1 0.8308; DigiMag에서 Macro-F1 0.7953), 관계 추출은 여전히 주요한 개선이 필요한 부분으로 남아 있습니다(PERLEX에서 Macro-F1 0.6684). IHUBERT 사전학습 말뭉치에 대한 통제된 토크나이저 소거(ablation) 실험 결과, 동일한 어휘 크기에서 BPE가 WordPiece보다 서브워드 파편화가 약간 더 낮은 것으로 나타나 우리의 토큰화(tokenization) 설계를 뒷받침합니다. 전반적으로 IHUBERT는 의미적으로 큐레이션된 대규모 사전학습과 분류 및 이해 지향적 작업에 걸친 광범위한 평가를 통해 페르시아어 언어 모델링을 고도화했습니다.
법정 절차는 인신 밀매 네트워크에 대한 귀중한 증거를 포함하고 있지만, 이 정보는 종종 구조화되지 않고 전문 용어가 많은 법률 문서 속에 묻혀 있습니다. 대규모 언어 모델(LLM)이 자동화된 정보 추출을 통해 지식 그래프 구축을 지원할 수 있지만, 기존 접근 방식은 이 도메인에서 요구되는 개체 및 관계 정의에 맞춰지지 않은 범용 모델에 의존합니다. 우리는 개체명 인식 및 관계 추출(NER-RE)을 위해 파인튜닝된 LLM을 중심으로 구축된 간소화된 지식 그래프 구축 파이프라인인 FineREX를 소개합니다. 512개의 텍스트 청크로 구성된 수동 주석 데이터셋을 사용하여, FineREX는 더 큰 범용 기준선(baseline)과 비교했을 때 각각 개체 및 관계 F1 점수에서 15.50%와 31.46%의 절대적 향상을 달성했습니다. 이러한 개선은 더 고품질의 지식 그래프로 이어져, 법률 노이즈를 거의 절반으로 줄이고 긴 문서에서의 노드(node) 중복을 17.78%에서 11.17%로 낮추었습니다. 문서 재작성 및 중복 추출 단계를 제거함으로써 FineREX는 엔드 투 엔드 처리 시간도 50.0% 단축했습니다. 우리의 결과는 도메인 특화 파인튜닝이 더 큰 범용 모델을 상당히 능가하면서 불법 네트워크 분석을 위한 지식 그래프 구축의 품질과 효율성을 모두 향상시킬 수 있음을 보여줍니다.
최근 비전-언어 모델(vision-language models)의 발전으로 점차 긴 비디오 시퀀스를 처리할 수 있게 되었지만, 확장된 토큰(token) 스트림을 처리하는 능력이 긴 영상의 서사 구조(narrative structure) 이해로 이어지지는 않습니다. 기존 긴 영상 벤치마크(benchmarks)는 저수준 행동이 이벤트를 구성하는 방식, 이벤트가 시간을 걸쳐 상호작용하는 방식, 그리고 서사가 전개되는 방식을 평가하기보다는 needle-in-a-haystack 검색에 초점을 맞춥니다. 예를 들어, 모델이 긴 시간 간격, 중간 장면, 또는 발생한 사건을 재구성하는 플래시백(flashbacks)에도 불구하고 초기의 역경(예: 실직)과 후기의 이별을 연결할 수 있는지를 평가하지 못합니다. 우리는 NEST(Narrative Event Structures in Time for Long Video Understanding)를 소개합니다. 이는 1,005편의 장편 영화(평균 98분)로 구성된 데이터셋(dataset)으로, 각 영화에는 시각적 콘텐츠, 대화, 오디오에 기반한 102개의 멀티모달 서사 이벤트에 주석이 달려 있습니다. NEST는 시각적 콘텐츠, 대화, 오디오에 기반한 구조화된 주석으로 멀티모달 서사 이벤트를 포착하며, 시간적 순서(temporal ordering), 계층적 구성(hierarchical composition), 장거리 의존성(long-range dependencies)을 포함하여 서사 구조를 반영하는 관계를 통해 이들을 연결합니다. 우리는 이벤트 트리거 감지(event trigger detection, ETD), 이벤트 지역화(event localization, EL), 이벤트 인자 추출(event argument extraction, EAE), 이벤트 관계 추출(event relation extraction, ERE)에 대한 베이스라인(baselines)을 제시합니다. 이 벤치마크는 그라운딩된(grounded) 이벤트 발견에 있어 매우 도전적이어서, ETD는 8% 미만, EL은 6% 미만, EAE는 11% 미만의 수치를 기록했습니다. 대조적으로, 이벤트가 주어지면 ERE는 더 다루기 쉬워져서, 제로샷(zero-shot)에서 35.45% F1, 파인튜닝 후에는 44.42% F1에 도달했습니다.
멀티모달 정보 추출(MIE)은 멀티모달 개체명 인식(MNER), 관계 추출(MRE), 이벤트 추출(MEE)와 같은 작업을 포함하며, 멀티미디어 콘텐츠 이해에 필수적이지만 심각한 데이터 희소성으로 인해 여전히 제약이 있습니다. 데이터 증강은 유망한 해결책이지만, 기존 접근 방식은 조잡한 모달 간 정렬과 공유 시맨틱 지식을 활용하지 못하는 파편화된 작업 특화 설계로 인해 한계가 있습니다. 이러한 한계를 극복하기 위해, 우리는 고품질의 태스크 인식 합성 데이터를 생성하는 통합 프레임워크인 시맨틱 앵커 정렬 멀티모달 증강(SAMA)을 소개합니다. SAMA는 ground-truth 레이블에서 구조화된 시맨틱 앵커를 구성하여 협업형 다중 전문가 멀티모달 대규모 언어 모델(CME-MLLM)을 안내하며, 이 모델은 공유 시맨틱을 위한 유니버설 어댑터와 태스크 특화 어댑터를 통합하여 다양하면서도 제약 조건을 준수하는 텍스트 샘플을 생성합니다. 이미지 합성을 위해 SAMA는 앵커 가중치 프롬프트와 잠재 조건을 사용하여 시각적 맥락을 다양화하는 동시에 핵심 시맨틱 앵커를 유지하는 앵커 보존 디퓨전(Anchor-Preserving Diffusion) 메커니즘을 사용합니다. 수동 검증의 필요성을 제거하기 위해 SAMA는 모달 간 일관성과 앵커 충실도를 기반으로 합성 샘플을 선택하는 이중 제약 필터링(Dual-Constraint Filtering) 모듈을 추가로 도입합니다. MNER, MRE, MEE에 대한 벤치마크 데이터셋에서 수행한 광범위한 실험을 통해 SAMA가 완전 지도 및 저자원 설정 모두에서 최첨단 증강 기준선을 일관되게 능가함을 입증하였으며, 이는 그 다양성, 견고성, 그리고 효과성을 강조합니다.
멀티모달 감정-원인 쌍 추출(MECPE)에서 기존 쌍 수준 교차 엔트로피는 경쟁 원인 간 상대적 신뢰도를 충분히 제약하지 못해 쌍 신뢰도 취약성을 남기므로, 학습 전용 프레임워크 RPCL(Robust Pair Confidence Learning)은 신뢰도 차이 마진으로 정답 쌍을 행 단위 hard negative와 분리하고 손상된 문맥 뷰와의 예측 정렬로 안정성을 높인다. ECF, MECAD, MEC4에서 추론 파이프라인은 그대로 두고 Pair F1을 2.58~2.83%p, Pair AUPRC를 모두 개선했다.
정보 추출(IE)에서 문맥 내 학습(ICL)은 모델 규모에 따라 성능이 들쭉날쭉하고 체계적 최적화가 부족한 한계가 있어, BCL은 레이블을 의미 단위로 분해한 뒤 파티클 필터링과 베이지안 업데이트로 표현을 반복 정제하는 최적화 프레임워크를 제안한다. 초기화, 관찰, 가중치 업데이트, 리샘플링 네 단계로 시퀀스 라벨링과 관계 분류 모두에 적용 가능하며, 실험에서 기존 접근 대비 상당하고 일관된 성능 개선을 보였다.
우리는 힌두, 불교, 자이나교의 고전 철학 전통을 아우르는 125,000개 이상의 텍스트 기록으로 구성된 Darshana Graph를 소개합니다. 이 말뭉치는 바가바드 기타, 브라마 수트라, 주요 우파니샤드, 팔리 경전, 핵심 자이나교 텍스트를 포함한 공개 도메인 및 오픈 라이선스 번역본에서 추출되었습니다. 이 말뭉치의 독특한 기여는 약 8,500개의 힌두 및 자이나 기록으로 구성된 구조적으로 독특한 부분 집합에 있습니다. 여기서는 베단타 학파 5개와 다른 다르샤나(darshanas)를 대표하는 18명의 역사적 주석가에 걸쳐 동일한 근본 구절이나 수트라(sutra)가 정렬되어 있어, 독립적인 해석 전통이 동일한 원본 자료를 어떻게 읽는지 직접 비교할 수 있습니다. 우리가 아는 한, 이 규모에서 비교 가능한 주석가 간 정렬을 제공하는 공개적으로 이용 가능한 자원은 없습니다. 우리는 이 말뭉치를 기반으로 구축된 두 가지 분석을 제시합니다. 첫째, 머신러닝(machine learning)이 필요 없는 투명한 문체론적 비교를 통해 경전 인용 밀도, 명시적 반박률, 문장 복잡성으로 논증 스타일을 측정합니다. 이 분석은 인용 밀도와 반박률 사이의 중간 정도의 음의 상관관계, 관련 교리적 계통에 속한 세 명의 주석가에 걸친 반박률의 현저한 증가, 그리고 팔리 경전 내부의 측정 가능한 장르 수준의 차이를 발견했습니다. 둘째, 미리 정의된 관계 어휘와 결정론적 사후 검증(validation)을 사용하여 개념 간의 유형화된 철학적 관계를 추출하는 제약된 대규모 언어 모델(LLM) 파이프라인을 설명합니다. 결과 그래프는 학파 간 불일치 패턴을 드러내는 동시에, 독립적인 임베딩(embedding) 기반 분석이 그래프에서 도출된 발견과 일치하지 않는 경우를 포함하여 중요한 추출 한계를 보여줍니다. 우리는 전체 말뭉치, 추출된 관계 그래프 및 모든 소스 코드를 공개합니다.
이 가이드라인은 사법 판결에서 법적 논증 구조를 표현하기 위한 체계적이고 실현 가능한 어노테이션 프레임워크를 제시합니다. 법적 추론 및 논증 이론에 기반하여, 이 프레임워크는 사법적 추론의 논리적 구조를 드러내고 계산적 분석을 위한 신뢰할 수 있는 기반을 제공하는 것을 목표로 합니다. 요소 수준에서, 이 가이드라인은 비명제 층(non-propositional layer)과 명제 층(propositional layer)을 구별합니다. 비명제 층은 쟁점(Issue)과 비논증적 구성 요소(Non-argumentative Component)라는 두 가지 요소로 구성됩니다. 명제 수준에서, 이 가이드라인은 일반 규범적 판단(General Normative Judgment), 개별 규범적 판단(Particular Normative Judgment), 일반 사실적 판단(General Factual Judgment), 개별 사실적 판단(Particular Factual Judgment)의 네 가지 명제 유형을 정의합니다. 관계 수준에서, 논증 구조를 나타내기 위해 지지(Support), 공격(Attack), 결합(Joint), 일치(Match), 동일성(Identity)의 다섯 가지 관계 유형이 정의됩니다. 이러한 관계는 긍정적 및 부정적 논증 연결, 결합적 추론 구조, 법적 규범과 사건 사실 간의 대응 관계, 그리고 명제 간의 동일성 또는 의미적 동등성을 포착합니다. 이 가이드라인은 기본 구조와 중첩 구조 모두에 대한 형식적 표현 규칙과 시각화 규칙을 추가로 명시하여, 복잡한 논증 패턴의 일관된 시각화를 가능하게 합니다. 또한, 어노테이션된 데이터의 재현성과 신뢰성을 보장하기 위해 표준화된 어노테이션 워크플로우와 일관성 제어 메커니즘을 수립합니다. 명확한 개념적 모델, 형식적 표현 규칙, 실용적인 어노테이션 절차를 제공함으로써, 이 가이드라인은 사법적 추론의 대규모 분석과 법적 논증 마이닝(legal argument mining), 법적 추론의 계산적 모델링, AI 보조 법적 분석 분야의 향후 연구를 지원합니다.
직접 선호도 최적화(DPO)가 구조화된 생성에서 겪는 그라디언트 희석 및 토큰 침식 문제를 해결하기 위해, 토큰 수준 적응형 장벽을 활용한 TAB-PO를 제안한다. 이 방법은 SciERC 벤치마크에서 기존 SFT 및 DPO 변형 모델들보다 온톨로지 관련 메트릭에서 평균 11.59%의 성능 향상을 달성했다.
원시 텍스트에서 구조화된 정보를 추출하는 것은 문서 검색, 순위 매기기, 관련성 추정을 포함한 많은 자연어 처리(NLP) 애플리케이션의 기본 구성 요소입니다. 고품질 추출은 종종 도메인 특화 정확도, 전문 분류 체계에 대한 최신 이해, 그리고 새로운 전문 용어와 희귀 이상치를 통합할 수 있는 능력을 필요로 합니다. 의료, 법률, 인사(HR)와 같은 많은 도메인에서 추출 모델은 또한 변화하는 용어에 적응해야 하며 구조화된 지식에 대한 명시적 추론의 이점을 활용해야 합니다. 우리는 사용됨에 따라 지속적으로 개선되는 DySECT, 즉 동적 자가 진화 추출 및 관리 툴킷을 제안합니다. 이 시스템은 대규모 언어 모델(LLM)이 추출한 트리플로 다재다능하고 자가 확장 가능한 지식 베이스(KB)를 점진적으로 채웁니다. KB는 확률적 지식과 그래프 기반 추론의 통합을 통해 자체적으로 더욱 풍부해지며, 점차적으로 도메인 개념과 관계를 축적합니다. 풍부해진 KB는 프롬프트 튜닝, 관련 퓨샷 예제의 샘플링, 또는 KB 기반 합성 데이터를 사용한 미세조정을 통해 LLM 추출기에 다시 피드백됩니다. 그 결과, 이 시스템은 추출이 지식을 지속적으로 개선하고 지식이 추출을 지속적으로 개선하는 공생적 폐루프 사이클을 형성합니다.