FactLLaMA: Optimizing Instruction-Following Language Models with External Knowledge for Automated Fact-Checking
원문 초록
Automatic fact-checking plays a crucial role in combating the spread of misinformation. Large Language Models (LLMs) and Instruction-Following variants, such as InstructGPT and Alpaca, have shown remarkable performance in various natural language processing tasks. However, their knowledge may not always be up-to-date or sufficient, potentially leading to inaccuracies in fact-checking. To address this limitation, we propose combining the power of instruction-following language models with external evidence retrieval to enhance fact-checking performance. Our approach involves leveraging search engines to retrieve relevant evidence for a given input claim. This external evidence serves as valuable supplementary information to augment the knowledge of the pretrained language model. Then, we instruct-tune an open-sourced language model, called LLaMA, using this evidence, enabling it to predict the veracity of the input claim more accurately. To evaluate our method, we conducted experiments on two widely used fact-checking datasets: RAWFC and LIAR. The results demonstrate that our approach achieves state-of-the-art performance in fact-checking tasks. By integrating external evidence, we bridge the gap between the model's knowledge and the most up-to-date and sufficient context available, leading to improved fact-checking outcomes. Our findings have implications for combating misinformation and promoting the dissemination of accurate information on online platforms. Our released materials are accessible at: https://thcheung.github.io/factllama.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
다중 턴 LLM 오염에서의 인식적 정책 분기: 프로토콜-그래디언트 기반 조사
Epistemic Policy Divergence in Multi-Turn LLM Contamination: A Protocol-Gradient Investigation
대규모 언어 모델(LLM)은 대화 기록을 검증되지 않은 컨텍스트로 취급하므로, 이전 턴에 주입된 거짓 전제가 사실로 채택될 수 있으며, 본 논문에서는 이러한 실패 모드를 세션 수준 오염(session-level contamination)이라고 정의한다. 저자들은 거짓 전제는 일정하게 유지하면서 인식적 프레이밍(epistemic framing)을 변화시키는 출처-권위 그래디언트(source-authority gradient)에 따라 배열된 5가지 오염 프로토콜을 도입하고, 10개 지식 도메인에 걸쳐 temperature 0 조건(22,500턴)에서 GPT-5.4 Mini, Gemini-3.1 Flash-Lite, GLM-4.5-Air를 평가하였다. 평가는 인간 골드 스탠다드를 기준으로 검증된 이중 트랙 자동 평가기(이진 채택에 대해 코헨 카파 = 1.000, 붕괴 심각도에 대해 선형 가중 0.92)를 통해 판정되었다. GPT-5.4 Mini는 500개 세션 전체에서 채택률 0건을 기록했으며, 베이스 모델 로짓 프로브에 따르면 결정 마진이 교란되기는 하지만 여전히 크고 유한함을 보여준다. Gemini-3.1 Flash-Lite는 가파른 권위 그래디언트를 따랐다. 즉, 자체 귀속된 거짓 정보에 대해서는 0.1% 채택, 사용자가 인용한 출처에 대해서는 23.5%, 시스템이 주입한 권위에 대해서는 68.2%, 지시 오버라이드 하에서는 94.0%의 채택률을 보였다. GLM-4.5-Air는 더 완만한 그래디언트(15.8% 대 84.2%)를 보였으며, 이는 단일 아키텍처 내에서 권위 복종과 지시 준수가 서로 다른 메커니즘을 작동시킨다는 점과 부합하는 68포인트의 해리(dissociation)를 나타낸다. 회복 양상도 엇갈렸다. GLM은 영향을 받은 세션의 94.5%에서 회복한 반면, 영향을 받은 Gemini 세션의 26.1%는 전혀 회복하지 못했고 지시 오버라이드 하에서는 이 수치가 40.0%까지 증가했다. 대화 기록은 출처 인식(provenance-aware) 시스템 설계를 필요로 하는 신뢰할 수 없는 공격 표면이며, 전체 평가 프레임워크는 오픈소스 아티팩트로 공개된다.
정렬 관성: 정책 오버라이드 저항을 통한 학습 데이터 영향의 지속성 감사
Alignment Inertia: Auditing the Durability of Training Data Influence Through Policy Override Resistance
플랫폼 운영자는 모델 행동을 제어하기 위해 시스템 프롬프트와 미세조정(fine-tuning)에 점점 더 의존하고 있지만, 이러한 개입이 이전 학습(training)에서 물려받은 행동을 얼마나 안정적으로 오버라이드(override)하는지는 여전히 불분명합니다. 우리는 운영자의 개입이 이전 행동을 변경하는 데 성공하거나 실패하는 시점을 측정하기 위해 오버라이드 성공률(OSR)과 정렬 관성(alignment inertia)을 제안합니다. 의학적 허위 정보 및 혐오 발언 분야에서 Llama와 Mistral을 대상으로 제로샷(zero-shot) 프롬프팅과 LoRA 미세조정을 평가합니다. 정렬 관성은 두 모델 모두에서 지속되지만 모델, 도메인, 정책 방향에 따라 다릅니다. 특히 Mistral의 제한적인 혐오 발언 조건에서 LoRA는 관성을 46.5%포인트 증가시켜, 미세조정이 이전 행동을 오버라이드하기보다는 강화할 수 있음을 보여줍니다. 또한 우리는 관성이 더 약한 적응 신호와 연관되어 있는지 테스트하기 위해 TRAK을 사용합니다. TRAK은 8개 조건 중 7개에서 최소 0.85의 AUC를 달성하며, 관성의 예측 인자로서 모델 신뢰도, TF-IDF 유사도, 임베딩(embedding) 유사도보다 우수한 성능을 보입니다. 이러한 결과는 이전 학습이 다운스트림 모델 거버넌스를 제약하는 지점에 대해 운영자 관점의 감사를 제공합니다.
ufakzeka-1: 밑바닥부터 구축하고 평가한 1억 5,100만 매개변수의 튀르키예어 언어 모델
ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch
본 논문에서는 클라우드 GPU, API, 노트북 사용 시간을 합쳐 총 약 286달러의 비용으로 공개 라이선스 텍스트 135억 토큰(token)을 사용해 밑바닥부터 사전학습(pre-training)하고 대화용으로 인스트럭션 튜닝(instruction tuning)한 1억 5,100만 매개변수(임베딩 포함 시 1억 8,200만) 디코더 전용 튀르키예어 언어 모델인 ufakzeka-1을 소개한다. 본 연구의 기여는 이 크기의 모델에서 기대할 수 있는 수준인 모델의 성능 자체가 아니라, 이를 구축하고 측정한 기록에 있다. 즉, 단어당 1.77개 토큰 수준의 튀르키예어 바이트 단위 토크나이저, 3단계 사전학습 일정, 공개 라이선스 데이터와 생성 데이터의 사후 학습(post-training) 혼합, 그리고 출시 게이트(release gate), 규칙 검증을 거친 5,508개 대화 스윕, 판정 대화 및 수동 테스트로 구성된 평가 세트를 포함한다. 이 모든 평가는 학습(training) 데이터 구축 과정 내 오염 제거와 각 빌드 전에 실행되는 커밋된 불변성 검사 스크립트를 통해 강제하여 학습 데이터에서 제외된 프롬프트(prompt)로 수행되었다. 우리는 다른 소형 모델 연구에도 적용될 수 있다고 생각되는 세 가지 결과를 보고한다. 첫째, 자체 질문으로 작성된 학습 데이터로 "수정"되었던 안전성(safety) 게이트는 정직한 수치가 34/64였던 반면 64/64로 나타났다. 둘째, 학습 시드(seed) 간 분산이 우리가 시도한 모든 레시피 전반의 편차만큼 컸으므로 이 규모에서 단일 시드 비교는 유의미한 정보를 제공하지 않는다. 셋째, 데이터 라운드는 데이터에 부재했던 부분만을 복구했을 뿐 긴 문맥에서의 정체성 추적과 다중 턴(multi-turn) 산술 연산은 시도한 어떤 데이터 변화에도 개선되지 않았으며, 우리는 이를 데이터의 공백이라기보다는 모델 크기의 한계로 해석했고 이는 다음 대형 모델에서 검증될 것이다. 가중치, 데이터 레시피, 평가 코드, 지출 내역 장부는 Apache-2.0 라이선스로 공개된다.
정보 기반 마스킹: 확산 대규모 언어 모델의 강화학습을 위한 구조 인지 섭동
Informed Masking: Structure-Aware Perturbation for Reinforcement Learning in Diffusion Large Language Models
확산 대규모 언어 모델(dLLM)은 자기회귀 모델의 효율적인 대안으로 부상했으나, 이를 강화학습(RL)을 통해 정렬(alignment)하려면 롤아웃당 적은 몬테카를로 예산 하에서 마스킹된 재구성 하위 문제로부터 추정된 가능도 대리치(likelihood surrogates)가 필요합니다. 기존 기법들은 균등 무작위 마스킹을 통해 이러한 하위 문제를 구성하므로, 어떤 하위 문제를 우선시해야 하는지에 대한 의문이 남아 있습니다. 본 연구는 dLLM 롤아웃에서 체계적인 상류/하류(upstream/downstream) 구조를 규명합니다. 특정 토큰들은 공개되었을 때 아직 디코딩되지 않은 인접 위치에서 큰 신뢰도 변화를 유발하며, 이를 상류 토큰이라 부릅니다. 반면 다른 토큰들은 국소적으로 작은 변화만을 유발하므로 하류 토큰에 해당합니다. 연구진은 하류 토큰을 마스킹하는 것이 상류 토큰을 마스킹하는 것보다 실질적으로 훨씬 더 잘 정의된(better-posed) 하위 문제를 생성한다는 점을 발견했으며, 이 현상을 '하위 문제 난이도 비대칭성'이라 명명했습니다. 이러한 관찰을 바탕으로, 추가적인 추론 비용 없이 디노이징 궤적에서 토큰별 우선순위 점수를 도출하고 마스크 샘플링이 하류 토큰 쪽으로 편향되도록 하는 정보 기반 마스킹(Informed Masking, IM)을 제안합니다. IM은 플러그 앤 플레이(plug-and-play) 방식으로 적용할 수 있으며, LLaDA-8B-Instruct 기반 세 가지 최신 dLLM 강화학습 기법에 결합했을 때 향상된 학습 안정성과 함께 수학 및 계획 수립 벤치마크에서 각각 최대 2.01%, 8.68%, 5.77%의 상대적 평균 성능 향상을 달성합니다.
CREDO: 재생-보정된 크레딧 할당을 위한 분산 유도 루브릭 진화
CREDO: Variance-Guided Rubric Evolution for Replay-Corrected Credit Assignment
장기적(Long-horizon) 언어 에이전트는 희소한 최종 피드백을 받는 반면, 중간 루브릭(rubric)은 진행 상황에 대해 구조화되어 있지만 잠재적으로 잘못 명시될 수 있는 평가를 제공합니다. 재설정 가능한 학습 환경에서 반사실적 지속 롤아웃(counterfactual continuation rollout)을 통해 국소적 크레딧을 측정할 수 있지만, 완전한 재생(replay)은 비용이 많이 듭니다. 본 논문에서는 진화하는 의미론적 루브릭과 선택적 실행 기반 크레딧 보정을 결합한 프레임워크인 Credo를 제안합니다. 동결된 판별기(judge)는 가시적인 전이(transition)를 루브릭 특징에 매핑하고, 크레딧 헤드는 실현된 전이와 관련된 기대 최종 보상의 변화를 예측합니다. 독립적으로 샘플링된 양측 재생은 기록된 포함 확률을 사용하여 예측 잔차를 보정합니다. 본 연구는 조건부 비편향성과 두 가지 설계 선택(유지할 루브릭 특징 및 고정된 기대 재생 예산 할당 위치)을 연결하는 분산 분해를 유도합니다. 그 결과로 도출된 기준은 정책-점수 민감도와 누락된 재생 범위로 예측 오차에 가중치를 부여하며, 해당 할당 규칙은 지속 비용까지 추가로 고려합니다. 또한 최종 LOO(leave-one-out) 이점과의 실용적인 혼합을 설명하고, 클리핑 및 토큰 정규화가 적용된 PPO 구현을 이상적인 정책 그래디언트 추정량과 구별합니다. 이 예비 보고서는 방법론, 증명, 정확한 유한 모델 감사 및 통제된 평가 프로토콜을 제공하며, 언어 에이전트 벤치마크에서의 경험적 우수성은 주장하지 않습니다.
IKS-Instruct: 언어 모델에 인도 지식 체계를 가르치기 위한 24,000개 예시 다국어 데이터셋
IKS-Instruct: A 24,000-Example Multilingual Dataset for Teaching Language Models Indian Knowledge Systems
지시 미세조정(instruction tuning)은 대규모 언어 모델(LLM)이 인간의 의도를 따르도록 적응시키는 표준 방법이 되었지만, 기존 지시 데이터셋은 영어 일반 지식 과제가 지배적이며 전문 교육 영역에 대한 커버리지가 부족하다. 본 논문은 언어 모델이 인도 지식 체계(Indian Knowledge Systems, IKS)에 기반한 교육 콘텐츠를 제공하도록 가르치기 위한 24,795개의 지시-응답 쌍으로 구성된 데이터셋 IKS-Instruct를 제시한다. 이 데이터셋은 7개 언어(영어, 힌디어, 산스크리트어, 타밀어, 텔루구어, 칸나다어, 말라얄람어)에 걸쳐 있으며, 베다 구전 및 수학 전통의 41가지 교육 기법을 다루고, 중등교육 중앙위원회(Central Board of Secondary Education, CBSE) 6~12학년 교육과정에 맞춰져 있다. 쌍은 여섯 가지 출처 유형에서 파생된다: 고전 텍스트 코퍼스(Bhagavad Gita, Thirukkural, Sangam literature, Vedic texts), 교육과정에 맞춘 교육 템플릿, 베다 수학 수트라 시연, 이중언어 지시 쌍, 기법 기반 다중 턴 대화, 교차 전통 비교 분석. 품질은 독립적인 언어 모델이 기법 충실도, 교육적 품질, 사실적 정확성, IKS 문화적 깊이를 포함한 12개 차원에서 응답을 채점하는 다중 심사자 평가 프레임워크를 통해 평가된다. 균일한 5명의 외부 심사자 패널(1,201개 계층화 항목에 대한 중앙값 집계) 하에서, 소형 7B 모델의 가장 강력한 IKS-Instruct 미세조정은 중앙 심사자 점수 6.39에 도달하며, 이는 강력한 범용 참조 모델(Nemotron-Nano, 6.54)과 0.15 이내의 차이이면서 배포 비용은 그 일부에 불과하다. 반면 IKS 미세조정 없이 사용한 기본 모델은 IKS 특화 차원에서 거의 0점에 가깝다. 모델 품질은 데이터 큐레이션에 따라 단조롭게 증가하지 않으며, 우리는 이 결과를 해당 데이터 품질 향상과 함께 보고한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.