RLDE: 해석 가능한 반복 문서 편집을 위한 강화학습 프레임워크
RLDE: A Reinforcement Learning Framework for Interpretable Iterative Document Editing
한국어 초록
긴 문서의 품질, 명확성, 흐름을 개선하는 일은 자연어 처리에서 여전히 어렵다. 사람은 보통 한 번에 다시 쓰기보다 여러 차례 다듬는다. 기존 자동 편집 시스템은 대개 내부 동작을 알기 어려운 생성기로 작동하거나 지도학습에 의존하므로 해석이 어렵고 수정의 순차적 성격을 포착하지 못한다. 이 논문은 평가지표를 활용하는 자동 종단 간 강화학습 프레임워크 RLDE를 제안한다. 문서 수정을 참조 답안이 없는 마르코프 의사결정 과정(MDP)으로 정식화하며 원문과 수정본의 쌍을 지도 데이터로 사용하지 않는다. 동작은 유지(NOOP), 삽입(INSERT), 삭제(DELETE), 교체(REPLACE)로 제한된다. RLDE는 포인터 신경망으로 토큰 단위의 편집 구간을 유동적으로 고르고, 생성이 필요한 동작은 가중치를 고정한 BART-base 모델에 보내 문맥에 맞는 제안을 얻는다. PPO 에이전트는 가독성, 펄플렉서티, 문법 지표를 바탕으로 한 다목적 보상 함수를 최적화한다. 과도한 삭제를 막기 위해 새로운 SBERT 기반 의미 보존 페널티를 제약으로 적용한다. BEA-2019 데이터셋에서 모든 평가지표가 통계적으로 유의했다(p < 0.01). 플레시 읽기 용이성 점수는 49.8에서 59.4로 높아졌고, 펄플렉서티는 63.7에서 39.8로 줄었으며, 의미 정보의 93%를 보존했다. 사고 과정 프롬프트를 적용한 GPT-4와 LLaMA-2 같은 모델과 비교해 RLDE는 추론 연산 비용이 매우 낮으면서도 높은 성능을 보였다. 사람의 평가에서 생성한 편집은 의미 보존 4.9/5점, 편집 품질 4.4/5점을 받았다.
원문 초록
Improving the quality, clarity, and flow of long documents remains a challenging problem in NLP, as human editing typically occurs through iterative refinement rather than a single-pass rewrite. Most existing automated systems act as black-box generators or rely on supervised learning, limiting interpretability and failing to capture the sequential nature of revisions. In this paper, we propose RLDE, an automated end-to-end metric-driven RL framework that formulates document revision as a reference-free MDP problem (unsupervised with respect to paired document-revision targets). Working with a limited action space (NOOP, INSERT, DELETE, REPLACE), RLDE leverages Pointer Networks for dynamic span selection at the token level and sends generative actions to the frozen BART-base model to obtain context-aware suggestions. PPO agents learn to optimize a multi-objective reward function based on readability, perplexity, and grammar metrics with the help of a novel SBERT-based Semantic Preservation Penalty constraint to avoid deletion degeneracy. Evaluations on the BEA-2019 dataset showed statistically significant results (p < 0.01) across all metrics, where Flesch Reading Ease increased from 49.8 to 59.4, perplexity decreased from 63.7 to 39.8, while preserving 93% of semantic information. When compared to Chain-of-Thought (CoT) prompt-engineered models like GPT-4 and LLaMA-2, RLDE shows high performance at a very low computational inference cost. Moreover, the quality of edits generated by RLDE has been verified via human evaluations, scoring 4.9/5 for meaning preservation and 4.4/5 for edit quality.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.22039v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.