arXiv:2607.20833v2 cs.CL

REFACT: 간결하고 충실한 사고의 연쇄 추론을 위한 적응형 사실 재진술

REFACT: Adaptive Fact Restatement for Compact and Faithful Chain-of-Thought Reasoning

Zhensheng Jin, Xin Dai, Zhenghao Liu, Chaojun Xiao, Huiyuan Xie, Yu Gu, Ge Yu, Maosong Sun

제출 2026-07-23

한국어 초록

대규모 언어 모델(LLM)은 복잡한 작업을 해결하기 위해 장문 추론을 점점 더 많이 활용하고 있지만, 근거가 불완전하거나 노이즈가 있거나 파라메트릭 지식과 충돌할 때 추론 과정이 주어진 컨텍스트에서 벗어날 수 있습니다. 기존의 그라운딩(grounding) 접근 방식은 생성 후에 인용을 덧붙이거나 추론 중에 LLM이 근거를 검색하도록 유도하지만, 인용된 정보가 중간 추론과 최종 답변을 뒷받침하기에 충분한지 보장하지 못하는 경우가 많습니다. 이러한 한계를 해결하기 위해, 본 연구에서는 LLM이 문맥적 그라운딩이 필요한 시점을 판단하고 신뢰할 수 있는 추론을 위해 적절한 세부 수준으로 원본 사실을 선택적으로 재진술할 수 있도록 지원하는 적응형 사실 재진술 인용 프레임워크인 REFACT를 제안합니다. 추론 중 적응형 인용을 촉진하기 위해, REFACT는 먼저 교사 LLM을 활용하여 다양한 근거 길이를 갖는 다양한 컨텍스트 조건에서 고품질의 인용 인식 추론 궤적을 구축한 다음, 2단계 SFT-to-RL 프레임워크를 통해 학생 LLM을 최적화합니다. LongBench, LV-Eval, ConFiQA에 대한 실험 결과, REFACT는 추론 토큰 수를 대폭 줄이면서 긴 컨텍스트 질의응답 및 반사실적 충실성을 향상시키는 것으로 나타났습니다. 추가 분석에 따르면 REFACT는 더 적은 재진술로 답변과 관련된 사실을 더 많이 보존함으로써 더 높은 근거 밀도를 달성하여, 더 간결하면서도 더 잘 그라운딩된 추론 과정을 생성함을 보여줍니다. 모든 코드와 데이터는 https://github.com/NEUIR/REFACT 를 통해 공개될 예정입니다.

원문 초록

Large Language Models (LLMs) increasingly leverage long-form reasoning to solve complex tasks, yet their reasoning processes can deviate from the provided context when evidence is incomplete, noisy, or conflicts with parametric knowledge. Existing grounding approaches either append citations after generation or encourage LLMs to retrieve evidence during reasoning, but they often fail to ensure that cited information is sufficient to support intermediate inferences and final answers. To address this limitation, we propose REFACT, an adaptive fact-restatement citation framework that enables LLMs to determine when contextual grounding is needed and selectively restate source facts at appropriate levels of detail for reliable reasoning. To facilitate adaptive citation during reasoning, REFACT first leverages a teacher LLM to construct high-quality citation-aware reasoning trajectories under diverse context conditions with varying evidence lengths, and then optimizes the student LLM through a two-stage SFT-to-RL framework. Experiments on LongBench, LV-Eval, and ConFiQA demonstrate that REFACT improves long-context question answering and counterfactual faithfulness while substantially reducing the number of reasoning tokens. Further analysis reveals that REFACT achieves higher evidence density by preserving more answer-relevant facts with fewer restatements, producing reasoning traces that are more concise yet better grounded. All code and data will be released via https://github.com/NEUIR/REFACT.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2607.20833v2제출 시각 미확인
  2. arXiv:2607.20833v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.