PyTorchKR Papers

최신 논문

총 1,297편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:1806.00692

Stress Test Evaluation for Natural Language Inference

Natural language inference (NLI) is the task of determining if a natural language hypothesis can be inferred from a given premise in a justifiable manner. NLI was proposed as a benchmark task for natural language understanding. Existing models perform well at standard datasets for NLI, achieving impressive results across different genres of text. However, the extent to which these models understand the semantic content of sentences is unclear. In this work, we propose an evaluation methodology consisting of automatically constructed "stress tests" that allow us to examine whether systems have the ability to make real inferential decisions. Our evaluation of six sentence-encoder models on these stress tests reveals strengths and weaknesses of these models with respect to challenging linguistic phenomena, and suggests important directions for future work in this area.

arXiv:1806.05645공식 코드 · Papers with Code

Grounded Textual Entailment

Capturing semantic relations between sentences, such as entailment, is a long-standing challenge for computational semantics. Logic-based models analyse entailment in terms of possible worlds (interpretations, or situations) where a premise P entails a hypothesis H iff in all worlds where P is true, H is also true. Statistical models view this relationship probabilistically, addressing it in terms of whether a human would likely infer H from P. In this paper, we wish to bridge these two perspectives, by arguing for a visually-grounded version of the Textual Entailment task. Specifically, we ask whether models can perform better if, in addition to P and H, there is also an image (corresponding to the relevant "world" or "situation"). We use a multimodal version of the SNLI dataset (Bowman et al., 2015) and we compare "blind" and visually-augmented models of textual entailment. We show that visual information is beneficial, but we also conduct an in-depth error analysis that reveals that current multimodal models are not performing "grounding" in an optimal fashion.

arXiv:1806.05662

GLoMo: Unsupervisedly Learned Relational Graphs as Transferable Representations

Modern deep transfer learning approaches have mainly focused on learning generic feature vectors from one task that are transferable to other tasks, such as word embeddings in language and pretrained convolutional features in vision. However, these approaches usually transfer unary features and largely ignore more structured graphical representations. This work explores the possibility of learning generic latent relational graphs that capture dependencies between pairs of data units (e.g., words or pixels) from large-scale unlabeled data and transferring the graphs to downstream tasks. Our proposed transfer learning framework improves performance on various tasks including question answering, natural language inference, sentiment analysis, and image classification. We also show that the learned graphs are generic enough to be transferred to different embeddings on which the graphs have not been trained (including GloVe embeddings, ELMo embeddings, and task-specific RNN hidden unit), or embedding-free units such as image pixels.

arXiv:2610.15941v1cs.CL

치의학 교육에서 읽기 자료와 학습 목표의 정렬 및 주제 균형 평가를 위한 자연어 처리

Natural Language Processing for Aligning Readings with Learning Objectives and Assessing Topic Balance in Dental Education

교육과정 개발팀은 지정된 읽기 자료가 학습 목표(LO)를 뒷받침하는지, 그리고 주제 범위가 균형 있게 다루어지는지 검토할 시간이 부족한 경우가 많습니다. 본 연구에서는 근거 기반의 읽기 자료 목록 큐레이션을 지원하는 자연어 처리(NLP) 워크플로를 제시합니다. 이 워크플로는 검색을 위한 PubMedBERT 문장 임베딩(embedding) 및 코사인 유사도, 근거 확인을 위한 자연어 추론(NLI), 그리고 범위 분석을 위한 토픽 모델링을 결합합니다. 치의학 교육 분야에서 13개의 강좌 수준 LO와 PubMed 기반의 3,837개 LO-초록 쌍으로 구성된 코퍼스를 활용해 이 접근법을 테스트했습니다. 13개 LO 전반에서 중앙값 코사인 유사도는 0.86에서 0.91 사이로 나타나 전반적으로 높은 의미적 유사성을 보였습니다. 토픽 모델링 결과 영역별로 1~2개의 지배적인 토픽이 나타나며 범위는 넓으나 불균형한 것으로 확인되었습니다. 읽기 자료를 선정하는 데는 유사도만으로는 충분하지 않았습니다. 높은 유사도를 보인 쌍(코사인 0.90~1.00) 중 22.9%가 NLI에 의해 중립(neutral) 또는 모순(contradictory)으로 분류되었습니다. 전문가가 라벨링한 49개 쌍의 검증(validation) 세트에서 코사인 기반 검색(코사인 >= 0.90)은 0.69의 정확도를 기록한 반면, 코사인과 NLI를 결합한 접근법은 전문가 정렬(alignment) 라벨 대비 0.73의 정확도를 달성했습니다. 전반적으로 이 워크플로는 오탐(false positive)을 줄이고 의도한 LO에 더 잘 부합하는 읽기 자료 선정을 지원함으로써 AI가 교육과정 정렬을 어떻게 도울 수 있는지 보여줍니다.

arXiv:2610.10971v1cs.CL

인용이 오도할 때? 법률 환각 탐지를 위한 주장 수준의 벤치마크

When Citations Mislead? A Claim-Level Benchmark for Legal Hallucination Detection

대규모 언어 모델(LLM)이 법률 연구 및 문서 작성에 점차 많이 활용되고 있으나, 인용된 출처의 뒷받침 없이도 그럴듯하게 들리는 주장을 여전히 생성할 수 있습니다. 본 연구에서는 법률적 주장이 근거 권위(underlying authority)에 의해 뒷받침되는지 검증하기 위한 벤치마크인 PARCEL을 소개합니다. 최근 뉴욕주 항소법원 판결을 활용하여 뒷받침됨(Supported), 반박됨(Refuted), 또는 발견되지 않음(Not Found)으로 라벨링된 3,396개의 괄호형(parenthetical-style) 주장 데이터셋을 구축합니다. 본 연구는 이 과제를 삼항 자연어 추론 문제로 설정하고, 제로샷(zero-shot) 환경에서 여러 최신 LLM을 평가합니다. 가장 우수한 모델은 최대 0.97의 정확도에 도달하지만, 전체 판결문 텍스트가 제공되는 경우에도 모델이 뒷받침되지 않는 주장을 뒷받침되는 것으로 잘못 표시하는 중요한 취약점 또한 결과에서 드러납니다. 모든 모델에 걸쳐 근거의 부재를 탐지하는 것이 직접적인 모순을 탐지하는 것보다 어려우며, 위조되었으나 그럴듯한 인용이 가장 큰 성능 저하를 유발합니다. 전반적으로 PARCEL은 법률 RAG 시스템에서 주장 수준의 그라운딩(groundedness)을 테스트하기 위한 실용적인 벤치마크를 제공합니다.

arXiv:2607.15870v3cs.CL

형식 의미 구조는 인간 라벨 변이를 얼마나 설명하는가? NLI에서의 집단 수준 효과와 항목 수준 상한

How Much Human Label Variation Does Formal Semantic Structure Explain? Group-Level Effects and Item-Level Ceilings in NLI

자연어 추론(NLI)에서 인간 라벨 변이(human label variation)는 제거해야 할 노이즈가 아니라 측정해야 할 신호로 점점 더 많이 다루어지고 있습니다. 본 연구에서는 이러한 신호의 후보 원인 중 하나인 부정, 수화(quantification), 단조성(monotonicity)과 같은 형식 의미 구조가 어노테이터(annotator) 간 불일치의 정도와 불일치하는 내용을 변화시키는지 질문을 던집니다. 각각 100명의 어노테이터가 라벨링한 ChaosNLI의 SNLI 및 MNLI 항목에 규칙 기반 단조성 태거(tagger)로 태그를 지정하고, 동일한 항목의 표본에 대해 태거를 수작업으로 검증한 뒤 세 가지 질문에 답합니다. 집단 수준에서는 순수하게 상향 단조적이지 않은 가설들이 다소 더 많은 불일치를 유발하지만, 오류 민감도 분석 결과 이러한 차이는 태거 오류에 민감한 것으로 나타났습니다. 항목 수준에서 형식 구조는 변이의 수 퍼센트만을 설명할 뿐이며 높은 불일치를 유발하는 항목을 가려내지 못합니다. 구성 측면에서 VariErr 및 LiTEx에 의해 기록된 불일치 유형은 형식적 경계에 걸쳐 감지할 수 있을 정도로 다르지 않습니다. 따라서 형식 구조는 작고 제한된 가중치(weight)를 지닌 채 불일치 원인 목록에 포함됩니다. ChaosNLI는 일치도가 낮은 항목들로 구축되었으며, 모든 주장은 해당 범위 내에서 유효합니다. 분석 결정은 해당 결과가 계산되기 전에 버전 관리되는 연구 로그에 기록되었으며, 부정적 결과(negative results) 또한 완전히 보고됩니다.

arXiv:2606.22272v2cs.CL

MixedPEFT: 비지도 도메인 적응을 위해 혼합 목적함수로 여러 PEFT 기법을 결합하는 방법

MixedPEFT: Combining Multiple PEFT Methods with Mixed Objectives for Unsupervised Domain Adaptation

사전학습된 언어 모델을 전체 미세조정(fine-tuning)을 통해 새로운 도메인에 적용하는 것은 연산 비용이 많이 들고 치명적 망각(catastrophic forgetting)이 발생하기 쉽습니다. 이러한 한계를 해결하기 위해, 본 논문에서는 맞춤형 PEFT 아키텍처와 혼합 목적함수 학습(training)을 결합한 비지도 도메인 적응(unsupervised domain adaptation)을 위한 새로운 매개변수 효율적 전략을 소개합니다. 제안된 방법은 가역 어댑터(invertible adapter)와 LoRA(Low-Rank Adaptation)를 통합하며, 레이블이 지정된 소스 도메인 데이터에 대한 분류(classification)와 레이블이 지정되지 않은 타깃 도메인 데이터에 대한 마스크 언어 모델링을 공동으로 최적화합니다. 이러한 공동 학습 방식은 타깃 도메인의 지식을 보존하면서 태스크 적응을 지원합니다. 본 연구는 20개의 도메인 이동에 걸쳐 Multi-Genre Natural Language Inference(MNLI) 데이터셋(dataset)에서 해당 방법을 평가합니다. 제안하는 접근법은 모델(model) 매개변수(parameter)의 7%만 업데이트하면서도 매개변수 효율적 SOTA인 UDapter 대비 평균 1.41%p, 전체 미세조정된 DANN 기준선(baseline) 대비 1.26%p, DSN 대비 0.86%p의 성능 향상을 달성합니다. 이러한 결과는 매개변수 효율적 비지도 도메인 적응에 대한 새로운 SOTA 결과를 확립하며, 동시 최적화를 갖춘 정교하게 설계된 PEFT 조합이 매개변수 효율적 접근법과 기존의 전체 미세조정 접근법 모두를 능가할 수 있음을 입증합니다.

arXiv:2610.02516v1cs.LG

효율적인 LLM 작업 라우팅을 위한 학생 모델 주도 교사 증류: Jev 방식 System-1 분류기와의 포지셔닝

Student-Guided Teacher Distillation for Efficient LLM Task Routing: Positioning Against Jev-Style System-1 Classifiers

제로샷(zero-shot) 분류기는 사용자 요청을 특화된 LLM 작업으로 라우팅하는 데 유용하지만, 모든 요청을 대규모 후보 집합에 대해 채점하는 것은 비용이 많이 든다: 제로샷 NLI(자연어 추론) 분류기는 레이블마다 전제-가설(premise-hypothesis) 쌍을 하나씩 평가해야 하므로, 비용이 분류 체계(taxonomy) 크기에 선형적으로 증가한다. 우리는 60개의 LLM 작업 범주로 구성된 고정된 분류 체계에 대해 학생 모델 주도 교사 증류 파이프라인을 연구한다: 소형 ModernBERT 분류기가 한 번의 순전파(forward pass)로 전체 범주 분포를 예측하고 소규모 top-k 후보 집합을 검색하며, 더 큰 DeBERTa-v3 제로샷 NLI 분류기는 60개 레이블 전체가 아니라 이 후보들만 재순위화(rerank)한다; 그 결과로 생성된 교사 레이블은 반복적으로 학생 모델을 개선하며, 이는 다음 라운드에서 더 정교한 후보를 생성한다. 극단적 다중 레이블 분류(extreme multi-label classification)에서 사용되는 일반적인 임베딩 검색이나 클러스터링 기반 숏리스트와 달리, 우리의 후보 생성기는 대상 분류 체계에 대해 종단간(end-to-end)으로 학습되며, 프로덕션 트래픽을 모델 서빙(model serving)하는 것과 동일한 모델이다. 이는 후보 모델들 사이를 라우팅하는 LLM 라우팅 연구와, 학습 방법론이 문서화되지 않았거나 강화학습(RL) 기반인 동시대의 System-1 인코더-분류기 제안들(예: TypeSafe AI의 Jev 및 오픈소스 Laya 프로젝트)과 구별된다. 우리의 최고 성능 학생 체크포인트는 200개 예제로 구성된 평가셋에서 77.5%의 교사 일치율(teacher agreement)을 달성하며, 예비 커버리지(coverage) 측정 결과 Coverage@16이 91-100%로 나타나, top-k 집합이 교사의 결정에 관련된 정보 대부분을 유지함을 시사한다. 우리는 또한 잘린(truncated) top-k 교사 점수를 KL 증류를 위한 전체 60개 클래스 소프트 타겟(soft target)으로 취급해서는 안 됨을 보인다: 잘리지 않은 클래스를 0으로 만드는 것은 소프트 레이블 증류가 의존하는 다크 지식(dark knowledge)을 파괴하며, 이는 무해한 희소 근사(sparse approximation)가 아니라 체계적인 바이어스(bias)를 유발한다. 보류 평가셋(held-out set)에서 여러 k 값에 대한 커버리지, 임베딩 검색 기준선(baseline), 그리고 사람이 검토한 더 큰 테스트셋을 포함하는 완전한 평가는 아직 진행 중이다.

arXiv:2610.02116v1cs.AI

제로샷 의학 논문 초록 분류에서 DeBERTa-v3를 위한 비교 설명가능성 프레임워크

A Comparative Explainability Framework for DeBERTa-v3 in Zero-Shot Medical Abstract Classification

본 연구에서는 의학 논문 초록의 제로샷(zero-shot) 분류 환경에서 DeBERTa-v3를 감사(audit)하기 위한 비교 설명가능성(explainability) 프레임워크를 제시한다. 이 연구는 서로 다른 기여도 산출(attribution) 방식이 동일한 입력과 예측에 대해 상이한 설명을 생성하는 설명가능한 인공지능(XAI)의 불일치 문제를 다룬다. Medical Abstracts 말뭉치를 기반으로 진단 범주당 5개의 보강된 가설과 클래스당 1,000개의 균형 잡힌 텍스트 샘플을 활용하여 자연어 추론(NLI) 엔진을 구현한다. 모델 불가지론적(model-agnostic) 접근법인 SHAP과 LIME, 딥러닝 특화 접근법인 오클루전(occlusion)과 Input x Gradient, 트랜스포머 특화 접근법인 Attention x Gradient 등 다섯 가지 설명 방법을 비교한다. 설명은 상위 토큰 기여도를 통해 표준화되며, 쌍별 일치도는 자카드 지수(Jaccard index)를 사용하여 정량화된다. 잘 정의된 임상 영역에서는 높은 예측 정확도를 달성하지만, 의미적 모호성이 높은 상황에서는 성능이 저하된다. 설명의 안정성은 예측 확신도를 직접적으로 반영하여 일가적(univalent) 범주에서는 강한 수렴을 보이고 진단 불확실성 하에서는 뚜렷한 하락을 나타낸다. 나아가 정성적 오류 감사를 통해 어휘적 과민성, 의미적 중첩, 기여도 일관성 손실이라는 세 가지 시스템적 실패 메커니즘을 밝혀낸다. 이러한 결과는 의학 텍스트 분류에서 트랜스포머 기반 모델을 감사할 때 여러 설명 방법과 정량적 일치도 지표를 결합하여 사용할 것을 지지하며, 광범위한 진단 레이블보다 구체적인 임상 온톨로지를 우선시할 것을 시사한다.

arXiv:2609.28290v1cs.CL

기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다

Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings

의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.

arXiv:2609.27678v1cs.CL

같은 점수, 다른 결정: 법률 문서 이해를 위한 JEV와 언어 모델 평가

Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding

계약 추론은 하나의 공유 문서에 대한 여러 판단을 필요로 하지만, 집계 정확도는 개별 결정의 변화를 가릴 수 있다. 반복된 일치만으로도 충분하지 않으며, 모델이 지속적으로 잘못된 답을 반환할 수 있다. 본 논문에서는 ContractNLI에서 Jev와 아홉 개의 언어 모델을 비교하며, 추론 비용, 응답 시간, 평균 정확도, 반복 요청 조건에서의 정확도를 평가한다. 통제된 비교에서는 계약과 목표 판단을 고정한 채 가설 가시성, 요청된 출력, 출력 순서를 달리한다. 평가된 구성 중 Jev는 최저 비용과 중간값 응답 시간을 보이는 반면, 호스팅된 언어 모델은 더 높은 기준선 정확도를 달성한다. 기준선 정확도에 따른 순위는 모든 조건과 반복에서 정확도에 따른 순위와 다르며, 후자에서의 작은 차이가 일반적인 안정성 우위를 입증하지는 않는다. 개발 진단은 상쇄하는 수정과 퇴행뿐 아니라 지속적인 오류도 추가로 드러낸다. 이러한 결과는 요청 구성이 바뀔 때 개별 판단이 여전히 올바른지와 함께 비용과 응답 시간을 평가할 필요를 제기한다. Code: https://github.com/ZF-Utokyo/Jev-Benchmark

arXiv:2609.27607v1cs.CL

Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델

Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.

arXiv:2609.27376v1cs.CL

베트남 노동법 교차 언어 법률 QA: 검색, 번역, 검증기 기반 교정

Cross-Lingual Legal QA for Vietnamese Labour Law: Retrieval, Translation, and Verifier-Guided Correction

교차 언어 법률 질의응답은 근거 없는 법적 주장을 막으면서 여러 언어에 걸쳐 법령을 검색(retrieval)해야 한다. 본 연구는 베트남 노동법에서 수집한 231개의 베트남어-영어 질문-답변 쌍으로 구성된 이중언어 평가 스위트를 제안한다. 이 중 75개는 다섯 가지 어려운 법률 추론 현상에 대해 추가 주석이 달려 있다. 답을 주장(claim)으로 분해하고, 인용의 도달 가능성(reachability)과 함의(entailment)를 검사하며, 인용 실패와 모순을 교정하는 검증기(verifier) 기반 파이프라인을 평가한다. 또한 검색된 증거에 대한 충실성(faithfulness)을 위한 여섯 가지 자동 진단 지표를 제안하며, 인용, 양상(modality), 예외, 절차, 결론, 증거적 지지를 다룬다. 실험 결과, 학습 기반 sparse 검색(learned-sparse retrieval)은 영어→베트남어 검색에서 성능이 낮으며(R@5~=~0.032), dense 검색은 0.358에 도달해 hybrid 검색을 약간 능가한다. 통제 비교 및 민감도 분석에서 번역 배치(translation placement)는 이러한 자동 진단 지표에 통계적으로 검출 가능한 영향을 주지 않았다. 검증기 기반 교정은 시스템 수준에서 인용 보존을 $0.022$--$0.034$만큼 개선하지만, 나머지 차원에서는 신뢰할 만한 향상을 보이지 않는다. Human evaluation은 자동 진단 지표가 답변 품질에 대한 인간 판단과 완전히 일치하지 않음을 추가로 보여준다.

arXiv:2609.27064v1cs.CL

팩트 검증 점수가 향상되면 무엇이 달라지는가? 학습된 검증기와 LLM 전반에 걸친 증거 및 답변 분해 분석

What Changes When Fact-Verification Scores Improve? Evidence and Answer Accounting Across Trained Verifiers and LLMs

결합 팩트 검증 점수(joint fact-verification score)는 답변과 제출된 증거를 함께 평가한다. 점수가 향상될 때, 답변을 고정하면 그 향상분 중 얼마나 남는가? FEVEROUS에서 엄격 점수(strict score)는 정답을 맞히고 제출된 증거에 주석이 달린 완전한 증거 그룹이 포함된 주장(claim)의 비율(%)이다. 학습된 DeBERTa 체크포인트 4개와 7,890개의 주장에 걸쳐, DCUF 증거를 UnifEE 증거로 교체하면 엄격 점수는 9.61%p 상승하는 반면 답변 정확도는 1.96%p 상승한다. 엄격 점수 향상에 대한 쌍체(paired) 95% 구간은 [8.77, 10.43]이며, 이는 해당 체크포인트들을 조건으로 한다. DCUF 또는 UnifEE 증거에서 생성된 답변을 각각 유지한 채 스코어러에 전달되는 증거만 교체하면, 각각 7.92%p 또는 9.08%p가 설명된다. 이러한 증거 향상이 평가 선택에 따라 어떻게 달라지는지 살펴보기 위해, 두 개의 8B LLM으로 FEVER, FEVEROUS, SciFact 데이터셋에서 두 가지 답변 형식과 두 가지 컨텍스트 예산 조건 아래 470,400개의 응답을 생성한다. 컨텍스트를 256 토큰에서 2,048 토큰으로 늘리면 FEVEROUS에서 답변 고정 증거 향상이 Qwen과 Llama에서 각각 3.84%p와 3.10%p 상승한다. 이 효과는 사전에 지정한 데이터셋 간 기준에 미치지 못하며, 일부 구간은 2%p 소효과 한계를 넘어선다. 사후 분석(post-hoc analysis)은 답변과 제출된 증거의 변화를 정량화하고, 집계 정확도와 증거 포함률(evidence-coverage rate)이 주장 수준의 패턴을 놓치는 경우를 보여준다. 답변-증거 점수의 네 가지 조합은 종단 지표(endpoint metric)와 집계 지표가 해소하지 못하는 변화를 드러낸다.

arXiv:2603.05308v4cs.CL

Med-V1: 제로샷 및 확장 가능한 생의학적 근거 귀속을 위한 소형 언어 모델

Med-V1: Small Language Models for Zero-shot and Scalable Biomedical Evidence Attribution

기사가 주장을 뒷받침하는지 평가하는 것은 환각(hallucination) 탐지와 주장 검증(claim verification)에 필수적이다. 대규모 언어 모델(LLM)은 이 작업을 자동화할 잠재력이 있지만, 강한 성능을 달성하려면 GPT-5와 같은 프론티어 모델이 필요하며, 이는 대규모 배포에는 지나치게 비용이 많이 든다. 생의학적 근거 귀속을 효율적으로 수행하기 위해, 우리는 단 30억 개의 파라미터만을 갖춘 소형 언어 모델 계열인 Med-V1을 제시한다. 본 연구에서 새롭게 개발한 고품질 합성 데이터로 학습된 Med-V1은 검증 형식으로 통합된 다섯 가지 생의학 벤치마크에서 베이스 모델 대비 (+27.0%에서 +71.3%) 상당히 우수한 성능을 보인다. 더 작은 크기에도 불구하고 Med-V1은 GPT-5와 같은 프론티어 LLM과 비슷한 수준의 성능을 내며, 예측에 대한 고품질 설명도 함께 제공한다. 우리는 Med-V1을 사용하여 서로 다른 인용 지시(citation instructions) 하에서 LLM이 생성한 답변의 환각을 정량화하는 최초의 사용 사례 연구를 수행한다. 결과는 형식 지시(format instruction)가 인용 유효성과 환각에 강하게 영향을 미치며, GPT-5가 더 많은 주장을 생성하지만 GPT-4o와 유사한 환각 비율을 보인다는 것을 보여준다. 또한 Med-V1이 임상 진료 지침에서 고위험(high-stakes) 근거 오귀속(misattributions)을 자동으로 식별할 수 있음을 보여주는 두 번째 사용 사례를 제시하며, 이는 그렇지 않으면 대규모로 식별하기 어려운 잠재적 부정적 공중 보건 영향을 드러낸다. 전반적으로 Med-V1은 실용적이고 실제 세계의 생의학적 근거 귀속을 위해 프론티어 LLM에 대한 효율적이고 정확한 경량 대안을 제공한다. Med-V1은 https://github.com/NLM-DIR/Med-V1 에서 이용할 수 있다.

arXiv:2609.26610v1cs.CL

자연어 추론을 위한 의미적 추상화: 대규모 언어 모델의 의미 지식 및 추론 격차 발견과 보완을 위한 방법론적 프레임워크

Semantic Abstraction for Natural Language Inference: a Methodological Framework for Discovering and Compensating Semantic Knowledge and Reasoning Gaps in Large Language Models

많은 NLP 과제에서 뛰어난 성능을 보임에도 불구하고, LLM은 의미적 추상화와 관련해 심각한 어려움에 직면한다. 본 연구에서는 LLM이 자연어 추론(NLI)에서 추상적 의미 지식을 어떻게 활용하는지 이해하는 데 관심을 둔다. NLI는 암시적 의미, 맥락적 개념 관계, 단어 및 구 간의 의미적 연결을 해석하기 위해 정교한 언어 능력을 요구한다. 이를 위해 더 높은 수준의 추상화에서 새로운 의미 지식을 구성하는 방법론적 프레임워크를 제안하며, 이를 NLI를 위한 의미적 호환성(semantic compatibility)과 비호환성(semantic incompatibility) 개념 하에 정의한다. 이 프레임워크에서 전제(premise)와 가설(hypothesis) 간의 어휘-의미 관계의 의미를 재구성하여, LLM에서 서로 다른 추론 경로를 유도하는 보다 유연한 의미 네트워크를 달성한다. 이러한 새로운 경로들은 단일 응답에 대한 합의를 가능하게 하는 일관된 응답 패턴을 보인다. 결과는 제안이 NLI에서 LLM의 의미 지식 격차를 발견하고 보완할 수 있음을 보여주며, 정확도에서 유의미한 향상을 달성하고, 일부 모델에서는 10%를 넘는 개선을 이루었으며, 특히 non-entailment 클래스에서 두드러진다. 추론 격차를 메우기 위해서는 LLM이 단순히 더 많은 데이터가 아니라 구조화된 지식을 필요로 한다는 점이 핵심이다. 하이브리드 접근법은 간과된 단어 관계에 어텐션을 두어 모델이 누락된 정보를 합성할 수 있게 한다. 미래는 모델 크기를 키우는 것이 아니라 인간 사고의 유연성을 모방하는 의미적 스캐폴딩(semantic scaffolding)을 만드는 데 있다고 본다. 바라건대, 제안이 더 견고한 에이전트와 해석 가능한 추론의 개발을 가능하게 하고, AI를 신뢰할 수 있는 언어 이해로 이끌 것이다.

arXiv:2609.25046v1cs.CL

Peerify: 동료 심사 주장 검증 벤치마킹

Peerify: Benchmarking Peer-Review Claim Verification

동료 심사는 학술 출판에서 핵심적인 역할을 하지만, 리뷰어 주장이 원고 증거에 의해 뒷받침되는지 검증하는 일은 여전히 대부분 수동적이고 시간이 많이 드는 과정으로 남아 있다. 본 논문은 동료 심사 주장의 원고 기반(grounded) 검증을 위한 파이프라인인 Peerify를 제시한다. 원고와 리뷰 코멘트가 주어지면 Peerify 파이프라인은 리뷰를 원자적 주장으로 분해하고, 관련 원고 증거를 검색(retrieve)하며, 각 주장이 논문에 의해 뒷받침되는지 판별한다. 파이프라인의 개발과 평가(evaluation)를 지원하기 위해, NeurIPS 2024와 ICLR 2024에서 수집한 실제 동료 심사 상호작용에서 파생된 800개 주장으로 구성된 벤치마크를 구축하였으며, 자동 supervision을 감사(audit)하는 데 사용되는 300개 주장의 수동 라벨링 부분집합을 포함한다. Peerify 파이프라인 내에서 최신(state-of-the-art) 언어 모델과 검색(retrieval) 전략을 함께 함의(entailment) 기준선과 함께 평가한다. 결과는 검색 중심 검증과 주장 분해의 중요성을 보여 주며, 모호하고 해석적인 리뷰어 주장이 제기하는 난제를 부각한다. 감사된 주장의 90.3%에서 자동 라벨이 인간 합의와 일치하며 ($\kappa = 0.87$), 기성 함의(entailment) 모델은 macro-F1 0.24 미만에 머문다.

arXiv:2604.25031v3cs.CL

라운드트립 검증과 수정을 통한 충실한 자동 형식화

Faithful Autoformalization via Roundtrip Verification and Repair

LLM이 자연어를 형식화(formalize)할 때, 그 출력이 원문에 충실한지 어떻게 알 수 있을까? 본 논문은 정답 주석(ground-truth annotation)을 필요로 하지 않는 라운드트립 검증(roundtrip verification) 방식을 제안한다. 이 방식은 문장을 형식화하고, 그 결과를 다시 자연어로 번역한 뒤, 이를 재형식화하여 형식 도구(formal tool)로 논리적 동치성을 검사한다. 두 형식화 결과가 일치하면 이는 충실한 형식화임을 뒷받침하는 증거가 된다. 두 결과가 일치하지 않으면 단계 수준(stage-level) 진단을 통해 오류가 발생한 특정 번역 단계를 국소화하고, 범위 한정 수정 연산자(scoped repair operator)가 해당 단계를 바로잡으려 시도한다. 우리는 두 가지 법령 도메인(텍사스 교통법(Texas Transportation Code)과 텍사스 공원·야생동물법(Texas Parks and Wildlife Code))에서 두 가지 LLM(Claude Opus~4.6과 GPT-5.2)과 세 가지 수정 베이스라인을 사용하여 이 프레임워크를 평가한다. 진단 기반 범위 한정 수정이 가장 효과적인 방법이었으며, 그 효과는 진단 함수의 신뢰성에 좌우된다. 두 도메인과 두 모델 전반에서, 우리의 전체 수정 시스템 하에서 동치성 검사를 통과하지 못한 규칙은 통과한 규칙보다 자연어 추론(NLI) 드리프트(drift)가 1.4배에서 2.5배 더 크게 나타난다.

arXiv:2604.13706v2cs.CL

Co-FactChecker: 대규모 추론 모델을 활용한 인간-AI 협업 주장 검증 프레임워크

Co-FactChecker: A Framework for Human-AI Collaborative Claim Verification Using Large Reasoning Models

전문 팩트체커는 주장을 검증하기 위해 도메인 지식과 깊은 문맥 이해에 의존한다. 대규모 언어 모델(LLM)과 대규모 추론 모델(LRM)은 그러한 그라운딩(grounding)이 부족하며 주로 이용 가능한 증거만으로 추론하기 때문에, 전문가 주도 검증과 완전 자동화된 주장 검증 사이에 불일치가 발생한다. 이러한 격차를 완화하기 위해, 실세계 지식과 도메인 전문성에 기반한 전문가 피드백이 모델의 추론을 안내하는 인간-AI 협업을 더 유망한 전진 경로로 제시한다. 그러나 기존 LRM은 특히 다중 턴 상호작용 설정에서 자연어 피드백에 맞게 조정하기 어렵다. 인간-AI 협업 주장 검증을 위한 프레임워크인 Co-FactChecker를 제안한다. 모델의 사고 추적(thinking trace)을 공유 스크래치패드(shared scratchpad)로 취급하는 새로운 상호작용 패러다임을 도입한다. Co-FactChecker는 전문가 피드백을 trace-edit으로 변환하여 추적에 대상화된 수정을 도입함으로써 대화 기반 상호작용의 단점을 우회한다. trace-editing이 다중 턴 대화보다 장점을 제공함을 보이는 이론적 결과를 제공하며, 자동 평가를 통해 Co-FactChecker가 기존 자율형 및 인간-AI 협업 접근법을 능가함을 보여준다. 인간 평가는 또한 Co-FactChecker가 다중 턴 대화보다 선호되며, 상대적으로 해석하기 쉽고 더 유용한 사고 추적과 함께 더 높은 품질의 추론과 판정을 생성함을 보여준다.

arXiv:2410.17021v2cs.CL

SG-FSM: 유한 상태 머신 기반 다중 홉 질의응답을 위한 자기 유도 제로샷 프롬프팅 패러다임

SG-FSM: A Self-Guiding Zero-Shot Prompting Paradigm for Multi-Hop Question Answering Based on Finite State Machine

OpenAI-o1과 같이 사고의 연쇄(Chain-of-Thought) 프롬프팅을 적용한 대규모 언어 모델(LLM)은 자연어 추론(inference) 태스크에서 인상적인 역량을 보여주었습니다. 그러나 다중 홉 질의응답(MHQA)은 환각(hallucination), 오류 전파, 제한된 컨텍스트 길이와 같은 문제로 인해 여전히 많은 기존 모델에 어려운 과제로 남아 있습니다. 이러한 문제를 해결하고 MHQA에 대한 LLM의 성능을 향상시키기 위해, 본 논문에서는 다중 홉 추론 역량을 강화하도록 설계된 자기 유도 프롬프팅 유한 상태 머신(SG-FSM)을 제안합니다. 기존의 사고의 연쇄 방식과 달리, SG-FSM은 복잡한 질문을 하위 질문으로 반복해서 분해하고 정확도를 높이기 위해 스스로를 교정함으로써 MHQA를 해결합니다. 이는 마치 오토마톤처럼 작동하여 한 번에 하나의 하위 질문을 처리하고, 현재 컨텍스트와 결과를 바탕으로 다음 단계를 동적으로 결정합니다. 다양한 벤치마크(benchmark)에 걸친 실험을 통해 제안하는 접근법의 효과를 입증하였으며, Musique와 같은 고난도 데이터셋(dataset)에서 강력한 베이스라인들을 능가하는 성능을 보였습니다. SG-FSM은 환각을 줄여 중간 오류가 발생하더라도 최종 정답을 복구할 수 있도록 합니다. 또한 지정된 출력 형식 준수 성능을 향상시켜 평가(evaluation)를 크게 단순화합니다.