구조적 귀속성 확보: 다중 문서 요약을 위한 주장 기반 출처 추적
Attributable by Construction: Claim-Anchored Provenance for Multi-Document Summarization
한국어 초록
대규모 언어 모델(LLM)은 유창한 다중 문서 요약을 생성하지만, 출처 귀속(attribution)은 일반적으로 전체 문서나 단락 수준으로 거칠고 사후(post hoc)에 생성되어 각 서술을 검증하기 어렵습니다. 본 논문에서는 귀속성이 사후 예측이 아닌 생성의 구조적 특성이어야 한다고 주장합니다. 이를 위해 축어적 인용문(verbatim quotes)부터 토큰(token) 스팬에 이르는 출처(provenance)를 결정론적으로 해결하는 원자 단위 주장(atomic claims)으로 모든 소스 문서를 분해하고, 문서 간 동등한 주장을 클러스터링하는 동시에 소스 간 상충을 식별하며, 지지 관계를 고려한 핵심 하위 집합을 선택하고, 모든 요약 문장이 소스 스팬으로 역추적되는 주장 식별자로 끝나도록 재작성하는 주장 기반 다중 문서 요약 프레임워크인 CAMS를 제안합니다. 이는 본 연구에서 명확히 구분하는 분리를 가능하게 합니다. 즉, 출처 추적성은 모델(model) 정확도와 무관하게 모든 생성된 문장에 유지되는 불변 특성인 반면, 충실도(faithfulness)는 선택, 제약 조건 기반 재작성, 검증을 통해서만 촉진할 수 있는 목표라는 점이며, 기존의 엔드투엔드 및 사후 시스템은 이 구분을 혼동하고 있습니다. 본 연구는 MultiNews, DiverseSumm, 그리고 WCEP에서의 제로샷(zero-shot) 환경에서 선택이나 검증에 전혀 사용되지 않은 지지 모델로 감사(audit)를 수행하고, 참조가 필요 없는 인용 품질과 정답 기준 정합 위치 파악을 분리하는 두 가지 체계의 프로토콜에 따라 평가를 진행합니다. CAMS는 요약 품질 면에서 강력한 엔드투엔드 및 스팬 귀속 베이스라인과 대등한 성능을 보이면서 충실도와 인용 정밀도(precision)를 개선하여, 인용 소스 수를 부풀리지 않고도 다중 소스 귀속 정확도를 38%에서 64%로 끌어올렸으며 주장당 사람의 검증 시간을 $3.4\times$ 단축했습니다. 재사용 가능한 세밀한 귀속 자원으로서 MultiNews에 대한 코드 및 ${\sim}320$K개의 주장-인용문-스팬 주석을 공개합니다.
원문 초록
Large language models produce fluent multi-document summaries, but their attributions are typically coarse---whole documents or passages---and generated post hoc, leaving each statement hard to verify. We argue that attribution should be a structural property of generation rather than a downstream prediction. We present CAMS, a Claim-Anchored Multi-document Summarization framework that decomposes every source document into atomic claims whose provenance is resolved deterministically from verbatim quotes to token spans, clusters equivalent claims across documents while flagging inter-source conflicts, selects a support-aware and salient subset, and rewrites it so that every summary sentence terminates in claim identifiers resolving back to source spans. This yields a separation we make explicit: provenance is an invariant holding for every emitted sentence independently of model accuracy, whereas faithfulness is an objective that selection, constrained rewriting, and verification only encourage---a distinction end-to-end and post-hoc systems conflate. We evaluate on MultiNews, DiverseSumm, and zero-shot on WCEP under a two-regime protocol separating reference-free citation quality from gold-aligned localization, audited by a support model never used for selection or verification. CAMSmatches strong end-to-end and span-attribution baselines on summary quality while improving faithfulness and citation precision, raising multi-source attribution accuracy from 38% to 64% without inflating the number of cited sources, and cutting human verification time per claim by $3.4\times$. We release code and ${\sim}320$K claim--quote--span annotations over MultiNews as a reusable fine-grained attribution resource.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.23989v4제출 시각 미확인
- arXiv:2606.23989v3제출 시각 미확인
- arXiv:2606.23989v2제출 시각 미확인
- arXiv:2606.23989v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.