arXiv:2606.13171v1 cs.CL

NTS-CoT: 사고의 연쇄 추론을 활용한 LLM 기반 뉴스 타임라인 요약의 환각 완화

NTS-CoT: Mitigating Hallucinations in LLM-based News Timeline Summarization with Chain-of-Thought Reasoning

Feng Lyu, Huiqin Yan, Sijing Duan, Hao Wu, Shuang Gu, Xue Qiao, Weixu Zhang, Haolun Wu

제출 2026-06-11

한국어 초록

온라인 뉴스의 빠른 업데이트는 사건 발전 상황을 추적하는 것을 어렵게 만들며, 이는 타임라인 요약(TLS)의 필요성을 강조합니다. 대규모 언어 모델(LLM)이 생성한 콘텐츠가 원본 뉴스와 다른 현상인 환각(hallucinations)은 LLM 기반 TLS에서 여전히 중요한 문제로 남아 있으며, 기존 연구에서는 충분히 다루어지지 않았습니다. 이러한 격차를 해소하기 위해, 우리는 뉴스 요약 과정에서의 충실하지 않은 콘텐츠와 날짜-사건 요약에서의 정보 누락이라는 두 가지 주요 유형의 환각을 식별했습니다. 그 후, 우리는 TLS에서 환각을 완화하기 위해 사고의 연쇄(Chain-of-Thought, CoT) 추론을 활용하는 새로운 프레임워크인 NTS-CoT를 제안합니다. 이 프레임워크는 세 가지 핵심 모듈로 구성됩니다: i) 충실한 요약을 위해 필수적인 뉴스 요소를 포착하는 Element-CoT, ii) 타임스탬프 선택을 위해 시간적 현저성과 사건 현저성을 결합하는 Date Selection, iii) 날짜-사건 요약에서 인과 관계를 추론하고 누락을 줄이는 Causal-CoT. 세 가지 TLS 벤치마크에 대한 정량적 분석과 인간 평가를 포함한 광범위한 실험을 통해, NTS-CoT는 최첨단 기준 모델(state-of-the-art baselines)을 능가하며, 환각을 효과적으로 완화하고 LLM 기반 TLS 성능을 향상시킴을 입증했습니다. 우리의 소스 코드는 https://anonymous.4open.science/r/NTS-CoT 에서 확인할 수 있습니다.

원문 초록

The rapid updates of online news make tracking event developments challenging, highlighting the need for timeline summarization (TLS). Hallucinations, where LLM-generated content deviates from source news, still remain a critical issue in LLM-based TLS and are not well studied in existing works. To bridge this gap, we identify two primary types of hallucinations: unfaithful content during news summarization and information omission in date-event summarization. Then, we propose NTS-CoT, a novel framework that leverages Chain-of-Thought (CoT) reasoning to mitigate hallucinations in TLS. The framework consists of three key modules: i) Element-CoT to capture essential news elements for faithful summarization, ii) Date Selection to combine temporal saliency and event prominence for timestamp selection, and iii) Causal-CoT to infer causal relationships and reduce omissions in date-event summarization. Extensive experiments, including quantitative analysis on three TLS benchmarks and human evaluation, demonstrate that NTS-CoT outperforms state-of-the-art baselines, effectively mitigating hallucinations and improving LLM-based TLS performance. Our source code is available at https://anonymous.4open.science/r/NTS-CoT .

요약

LLM 기반 타임라인 요약(TLS)에서 발생하는 환각(hallucinations) 문제를 완화하기 위해 사고의 연쇄(Chain-of-Thought) 추론을 활용한 NTS-CoT 프레임워크를 제안한다. 제안된 방법은 충실하지 않은 내용 생성과 정보 누락을 줄여 다수의 벤치마크에서 최신 모델보다 우수한 성능을 달성했다.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2606.13171v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.27607v1cs.CL공통 태그 Text Generation, Hallucination

Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델

Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality

AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.

arXiv:2609.28004v1cs.CL공통 태그 Text Generation, chain-of-thought

질문형 대화의 속성별 제어 요약

Controlled Attribute-Specific Summarization of Interrogative Dialogues

효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.

arXiv:2609.27844v1cs.AI공통 태그 Text Generation, Hallucination

정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증

Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation

청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.

arXiv:2609.25039v1stat.ML공통 태그 Text Generation, chain-of-thought

사고의 연쇄(Chain-of-Thought) 엔트로피는 무엇을 측정하는가? 스캐폴딩, 라우팅, 콘텐츠에 대한 채널 감사

What Does Chain-of-Thought Entropy Measure? A Channel Audit of Scaffolding, Routing, and Content

사고의 연쇄 토큰에 대한 엔트로피는 어떤 토큰이 정책 그래디언트를 받는지, 어떤 토큰이 가지치기되는지, 한 실행(run)이 붕괴했는지를 결정하지만, 이러한 각 통계량은 세 가지 선택—연결 스캐폴딩(connective scaffolding)을 낼지 여부, 어떤 연결어를 쓸지, 실질적(substantive) 후속이 무엇이어야 하는지—를 섞은 다음 토큰(next-token) 분포를 읽는다. 스캐폴드 어휘 부분집합을 지정하면 엔트로피, Kullback–Leibler(KL) 발산, 소프트맥스 정책의 1차 엔트로피 속도(velocity)에 대해 이 세 가지를 정확히 분리한다. 우리는 raw 규약과 content 규약이 명시적 개 영역(open region)에서 어느 위치가 더 큰 분기(fork)인지에 대해 불일치함을 증명하고, 답 다양성(answer diversity)을 콘텐츠 채널(content channel)과 측정된 witness가 보증하는 leakage 항(leakage term)으로 상한(bound)한다. 23가지 구성(configuration) 전반에서 스캐폴드 측은 raw 고엔트로피 집합의 최대 41%를 차지한다. matched-tokenizer ladder에서는 coupling이 math-corpus 단계에서만 바뀌는 반면, 스캐폴드의 엔트로피 점유율은 지식 증류(distillation)를 거치며 계속 커진다. 한 채널 상관(correlation)으로부터의 닫힌 형(closed-form) 예측은 피팅 없이(unfitted) 54포인트 구간의 선택 유지(selection retention)를 5포인트까지 추적한다. 압축(compression)에서는 content 규약이 모든 셀(cell)에서 raw surprisal을 능가한다. 답 leakage 감사(audit)는 우리 자신의 헤드라인 대조(headline control)를 바로잡는다. 재투입(re-fed)된 사고의 연쇄는 재진술된 답(restated answers)으로 정확도의 4분의 1에서 절반을 얻으며, 이를 제거하면 어떤 토큰 스코어러(token scorer)도 무작위 연속 블록(random contiguous block)을 이기지 못한다.

arXiv:2609.21677v2cs.AI공통 태그 Hallucination, chain-of-thought

GUARD: Guided Answer-Reasoning Distillation을 통한 대규모 추론 모델의 자연스러운 망각

GUARD: Natural Forgetting in Large Reasoning Models via Guided Answer-Reasoning Distillation

최근 대규모 추론 모델(LRM)의 발전으로 머신 언러닝(machine unlearning)이 더욱 어려워졌는데, 이는 최종 답이 나오기 전 중간 사고의 연쇄(CoT) 경로에서 보호 대상 사실이나 안전하지 않은 근거가 드러날 수 있기 때문이다. 기존 언러닝 목적 함수는 대개 타깃 콘텐츠를 억제하거나 내부 표현을 재지향하지만, 망각 이후 궤적이 어떻게 이어져야 하는지는 명시하지 않아 환각(hallucination)에 기반한 대체물, 비정상적인 경계, 또는 반복적인 출력을 낳을 수 있다. 우리는 LRM 언러닝이 원래의 공개를 대체하는 일관된 비공개 CoT와 이에 이어지는 안정적인 거절 형태의 답변으로 이루어진 자연스러운 망각 궤적을 학습해야 한다고 주장한다. 이를 위해 모델이 생성한 안전하지 않은 공개를 안전한 종료(safe-exit) 궤적으로 바꾸고, 안내 토큰(guidance token)으로 동결된 LRM을 정렬(alignment)한 뒤, 이렇게 유도된 행동을 모델 파라미터로 증류(distillation)하는 GUARD(Guided Answer-Reasoning Distillation)를 제안한다. 유출 여부를 넘어 대체 품질을 재는 지표가 부족한 문제를 위해, 망각된 출력의 구조적 안정성, 유창성, 근거 없는 대체물을 반영하는 NFRS(Natural Forgetting Reasoning Score)를 도입한다. R-TOFU와 STAR-1 기반 유해 의도 설정에 대한 광범위한 실험에서 GUARD는 널리 쓰이는 두 증류 LRM에서 안전하지 않은 공개와 개인정보 유출을 크게 줄이면서 추론 유용성을 유지함을 보인다.

arXiv:2609.22537v1cs.AI공통 태그 Text Generation, Hallucination

EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축

EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability

기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.