감지, 재마스킹, 수정: 변화하는 문맥에 대한 충실한 요약의 디퓨전 편집
Detect, Remask, Repair: Diffusion Editing for Faithful Summarization of Evolving Contexts
한국어 초록
현실 세계 사건에 대한 요약은 문맥이 변화하고 새로운 정보가 도달함에 따라 구식이 될 수 있습니다. 일반적인 대응 방식은 업데이트된 문맥에서 새로운 요약을 생성하는 것이지만, 전체 재생성은 기존 초안을 폐기하고 변경 사항을 불분명하게 만들 수 있으며, 지원되지 않는 주장이 소수일 때는 불필요할 수 있습니다. 본 연구는 지원되는 내용은 보존하면서 기존 요약 내의 구식된 구간을 업데이트하는 국소적 충실도 수정(localized faithfulness repair)을 다룹니다. 마스킹된 디퓨전 언어 모델을 사용하여 구식된 영역을 식별, 재마스킹, 수정하는 디퓨전 기반 프레임워크인 DETECT-REMASK-REPAIR를 제안합니다. 변화하는 문맥 요약을 평가하기 위해 합성 이벤트 타임라인으로 구성된 벤치마크인 StreamSum을 소개합니다. DialogSum과 StreamSum에서의 실험 결과, 국소적 디퓨전 수정은 전체 재작성에 대한 제어 가능한 대안을 제공함을 보여줍니다. 충실도 유도 수정(faithfulness-steered repair)은 초기 초안을 개선하고, 원스텝 수정(one-step repair)은 수정 비용을 0.5초 미만으로 줄이며, 해당 프레임워크는 데이터셋 전반에서 충실도-속도-보존 간의 상충 관계 조절을 가능하게 합니다. 또한, 이 프레임워크는 자가회귀 시스템의 충실도를 높이는 사후 수정 단계로 활용될 수 있음을 확인했습니다.
원문 초록
Summaries of real-world events can become outdated as contexts evolve and new information arrives. A common response is to generate a new summary from the updated context, but full regeneration discards the previous draft, can obscure what changed, and may be unnecessary when only a few claims are unsupported. We study localized faithfulness repair: updating outdated spans in an existing summary while preserving supported content. We propose DETECT-REMASK-REPAIR, a diffusion-based framework that identifies, remasks, and repairs outdated regions with masked diffusion language models. To evaluate evolving-context summarization, we introduce StreamSum, a benchmark of synthetic event timelines. Experiments on DialogSum and StreamSum show that localized diffusion repair provides a controllable alternative to full rewriting: faithfulness-steered repair improves early drafts, one-step repair reduces repair cost to under half a second, with the framework enabling faithfulness-speed-preservation tradeoffs across datasets. We also find that the framework can provide a post-hoc correction step that improves faithfulness for autoregressive systems.
요약
문맥이 변화할 때 요약의 구식된 부분만 국소적으로 수정하는 디퓨전 기반 프레임워크인 DETECT-REMASK-REPAIR를 제안한다. 이 방법은 전체 재작성보다 빠르고 효율적으로 충실도(faithfulness)를 개선하며, 자가회귀 시스템의 사후 수정 단계로도 활용될 수 있음을 보여준다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.12807v2제출 시각 미확인
- arXiv:2606.12807v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Jev는 방사선학 보고서를 판정할 수 있는가? 임상 사실성 평가를 위한 System One 모델
Can Jev Judge Radiology Reports? Evaluating a System One Model for Clinical Factuality
AI가 생성한 방사선학 보고서는 이상 소견을 누락하거나, 근거 없는 소견을 추가하거나, 그 존재 여부를 뒤집는 등의 문제가 있으면서도 의사가 작성한 보고서와 유사해 보일 수 있다. 이러한 사실적 차이를 측정하는 것은 보고서 생성기를 평가하는 데 필수적이다. 우리는 의사가 작성한 참조 보고서와의 일치를 판정하는 단순하고 저비용의 judge로서 System One 의사결정 모델 Jev를 연구한다. 우리의 평가기는 각 진술이 다른 보고서에 의해 뒷받침되는지 검사하고, 근거 없는 주장과 누락을 포착하기 위해 양방향으로 이러한 판정을 결합한다. 단일 질문 구성은 전문가 오류 수를 기준으로 RadEvalX에서 Kendall 상관 0.573, RadEvalExpert에서 0.398에 이르며, 동일한 분해 및 집계 조건에서 공개 자연어 추론(NLI) judge를 능가한다. 진술당 support 질문 하나는 판정 입력 토큰을 43–45% 적게 사용하면서도 일곱 개 질문과 유사한 전문가 일치를 유지한다. 문서화된 API 가격 기준으로, 로컬 분해를 제외하면 판정 비용은 보고서 쌍 100개당 3센트 미만이다. 별도의 통제 오류 테스트에서 Jev는 AUROC 0.977로 false negation을 탐지한다. 로컬 RadMatch는 두 전문가 데이터셋 모두에서 임상적으로 중요한 오류에 대해, 공유 RadEvalExpert 부분집합에서는 전체 오류에 대해 더 강한 일치를 달성한다. 소견 수 및 오류 범위 분석은 벤치마크 일치가 의료 오류 탐지뿐 아니라 보고서 크기와 오류 정의에도 반영됨을 보여 준다. 이러한 결과는 생성된 방사선학 보고서의 사실적 차이를 측정하는 실용적인 판정 구성요소로서 Jev를 뒷받침하며, 더 정교한 평가가 여전히 가치 있는 지점을 밝힌다.
정책 제약 LLM 의료 이의 생성을 위한 에이전트 거버넌스 및 적대적 검증
Agentic Governance and Adversarial Verification for Policy-Constrained LLM Healthcare Appeal Generation
청구 거절 관리는 미국 의료에서 연간 약 2,600억 달러의 행정 부담 비용을 발생시킨다. 대규모 언어 모델(LLM)과 검색-증강 생성(RAG)은 유창한 임상 텍스트를 생성할 수 있지만, 단일 에이전트 아키텍처는 고위험 의료 환경에서 실패한다: 근거 없는 임상 세부사항을 도입하고 계층적 지불자(payer) 정책의 논리 구조를 잃는다. 우리는 명시적 정책 및 증거 제약 하에서 의료 필요성(medical-necessity) 이의 생성을 위한 다중 에이전트 아키텍처인 AGVF(Agentic Governance and Adversarial Verification Framework)를 제안한다. AGVF는 이의 합성을 다섯 에이전트—정책 형식화, 증거 검색, 격차 분석, 적대적 비평, 게이트된 합성—에 걸친 제약 마르코프 결정 과정(CMDP)으로 모델링한다. 고정된 정책 제약 그래프에 대한 정제(refinement)가 증거 결핍을 단조적으로 감소시키며, 완전한 만족 프론티어 또는 국소화된 증거 격차 중 하나로 종료됨을 증명한다. 결정론적 인용 그라운딩(citation-grounding) 게이트는 허용 가능한 증거 없이 단정이 공유 상태에 들어가는 것을 방지한다. 우리는 참조 구현을 제공하고, 비식별화된 공개 병원 퇴원 데이터에서 매개변수화한 1,000건의 합성 이의 사례에서 이를 검증한다. 검증 결과 모든 AGVF 사례에서 인용 그라운딩 위반이 0건임을 확인했고, 모든 에피소드에서 결핍의 단조 감소가 관찰되었다; 게이트를 제거(ablation)하면 위반이 100%로 증가하여 게이트가 핵심(load-bearing) 구성요소임을 확인했다. 본 연구는 실제 환자 기록을 사용하지 않으며 임상 효능을 측정하지 않는다. 따라서 AGVF는 의료 분야 정책 제약 LLM 생성을 위한 이론 기반 에이전트 아키텍처와 검증된 참조 구현을 기여한다.
EvidenT: 증거 그라운딩과 추적 가능성을 통한 신뢰할 수 있는 기업용 어시스턴트 구축
EvidenT: Building Trustworthy Enterprise Assistants through Evidence Groundedness and Traceability
기업용 AI 어시스턴트는 검증 가능하고 출처 증거까지 추적 가능한 응답을 생성해야 한다. 그러나 이질적인 기업 데이터에 대한 검색-증강 생성(RAG)은 인용 표류(citation drift), 근거 없는 내용, 약한 출처 추적 가능성 등의 문제를 겪을 수 있다. 본 논문은 EvidenT(T = Trust + Transparency + Traceability)를 제안한다. 이는 모델 재학습 없이 답변 생성 전에 추출된 증거를 검색된 문서와 대조하여 검증하는 경량 파이프라인이다. EvidenT는 구조화된 구절 추출과 결정론적 어휘 정렬(lexical alignment)을 결합하여 근거 없는 내용을 걸러내고, 인용 표류를 교정하며, 출처 구간(source-span) 추적 가능성을 유지한다. 실제 기업 쿼리 약 500건에서 EvidenT는 프롬프팅 베이스라인 대비 gold-source hit rate를 평균 29% 향상시키고, 검색되지 않은 URL에 대한 인용을 생성하지 않으며, 답변-출처 간 어휘 커버리지가 거의 포화 수준에 달한다.
구조화된 지식 트리를 통한 LLM 기반 탐정 게임의 서사 신뢰성 및 인식론적 페이싱 강제
Enforcing Narrative Reliability and Epistemic Pacing in LLM-Driven Detective Games via Structured Knowledge Trees
대규모 언어 모델(LLM)은 인터랙티브 게임에서 개방형 대화를 가능하게 하지만, 비결정적 출력 때문에 작가적 통제, 사실적 일관성, 의도된 정보 공개 순서를 유지하기 어렵다. 이러한 문제는 조기 공개나 날조된 세부사항이 플레이어 진행의 논리를 훼손할 수 있는 탐정 게임에서 특히 크다. 본 연구는 개방형 심문 게임에서 대화를 제어하기 위해 구조화된 지식 트리(Structured Knowledge Tree) 아키텍처와 3-에이전트 LLM 파이프라인을 제안한다. 이 시스템은 지식 검색, 대화 생성, 응답 검증을 분리하여 가상 용의자가 현재 서사 상태에서 허용된 정보만 공개하도록 한다. 플레이 가능한 탐정 게임 테스트베드인 The Interrogation of Adrian Gale과 환각 감소, 작가가 작성한 공개 순서 준수, 지각된 논리적 진행을 조사하는 공식 사용자 연구를 통해 접근법을 평가한다. 결과에 따르면 구조화된 아키텍처는 중대한 환각을 64.78% 감소시키고 서사의 조기 공개를 완전히 방지한다. 엄격한 기계적 제약이 강제적 대화 공개와 관련된 사용성 트레이드오프를 야기했지만, 시스템은 엄격한 인식론적 페이싱을 성공적으로 강제하고 플레이어에게 사건 해결을 향한 명확한 주관적 진행감을 제공한다.
대규모 언어 모델을 도메인 적응적·정밀·안전하게 튜터링하기
Tutoring Large Language Models to be Domain-adaptive, Precise and Safe
본 논문은 안전성, 윤리, 문화적 민감성에서 AI가 직면한 핵심 과제를 해결하기 위해 "responsible intelligence"를 위한 프레임워크를 제안한다. 세 가지 핵심 영역을 발전시킨다. 첫째, 능동 학습(active learning)과 그래프 기반 지식을 활용해 전문 분야에서의 도메인 적응을 개선하여 환각을 줄인다. 둘째, 실시간으로 유해한 텍스트 생성을 선제적으로 차단하는 새로운 디코딩 시점 정렬(decoding-time alignment) 메커니즘을 통해 윤리적 엄격성을 강화한다. 셋째, 다양한 언어적·사회적 규범을 존중하는 언어별 스티어링(steering)을 통해 문화적·다국어 안전성을 보장한다. 궁극적으로 본 연구는 맥락적으로 지식이 풍부하고, 윤리적으로 건전하며, 문화적으로 적응 가능한 차세대 AI를 구축하기 위한 청사진을 제공한다.
자본시장 LLM 신뢰성 점수(CM-LRS): 그럴듯함에서 실무 수용 가능성까지
Capital Markets LLM Reliability Score (CM-LRS): From Plausible to Bankable
자본시장 워크플로에서 핵심 질문은 대규모 언어 모델(LLM)이 유창한 초안을 만들 수 있는지가 아니라, 그 초안이 bankable한지—상대방이나 규제 당국 앞에서 손에 든 문서와 함께 방어할 수 있는지—입니다. 기존 방법들은 그 격차의 일부만 다룹니다. 개방형 QA 벤치마크는 표면적 정확도에 보상을 부여하고, 금융 벤치마크(FinanceBench, FinQA, ConvFinQA)는 문서 기반 및 수치 QA를 발전시키지만, 실무자들이 방어해야 하는 워크플로 출력물이 아닌 질문-답변 층에서 평가합니다. 우리는 CM-LRS(Capital Markets LLM Reliability Score, 자본시장 LLM 신뢰성 점수)를 도입하여, 사실 정확성, 증거 추적 가능성, 수치 일관성, 워크플로 완전성, 출처 규율, 의사결정 유용성, 검토 가능성/감사 가능성의 7개 차원에서 워크플로 출력 층의 출력물을 평가합니다. 각 차원은 규제 환경의 검토자들이 사용하는 신호에 기반한 루브릭에 따라 0–5점으로 채점되며, 종합 점수는 워크플로에 맞게 조정 가능합니다. 공개 SEC EDGAR 제출 서류, 공개 영국 인수 공시, 가상의 합성 보충 자료를 사용하여 5개 워크플로(DCM 거래 조건 추출, 선례 검색, 발행사 프로파일링, M&A 거래 비교 추론, ECM 거래 조건 추출)에서 CM-LRS를 시연하고, 3개 모델 패밀리에 걸친 4개의 독립 LLM 심사관으로 4개 모델을 채점했습니다. 세 가지 발견. 첫째, 최신 폐쇄형 소스 모델들은 4명 심사관 평균 CM-LRS에서 0.22점 이내로 밀집합니다(Sonnet 4.6 = 4.31, Opus 4.7 = 4.30, GPT-5.5 = 4.09); 4명의 심사관 모두 오픈 가중치 기준선(Llama 3.3 70B = 3.15)을 최하위로 평가합니다. 둘째, 그 격차는 추출(0.84)이 아니라 검색(2.23)과 합성(2.15)에 집중됩니다. 셋째, 의사결정 유용성(Decision Usefulness)은 모든 차원 중 교차 모델 분산이 가장 넓으며(발행사 프로파일링에서 4.0점), 심사관 간 일치도가 최상위입니다(평균 r = 0.52). 그럴듯함은 값싸다. 실무 수용 가능성이 기준이다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.