arXiv:2611.20846v2 cs.CL

EDITORS는 문체를 안다: 문체에 따른 저자 식별과 모방을 위한 LoRA 부분공간 편집

EDITORS Know Your Style! Editing LoRA Subspaces for Stylistic Attribution and Imitation

Zixuan Wang, Gregory Kang Ruey Lau, Xiao Tian, Jue Fan, Caroline Chaux, Bryan Kian Hsiang Low

제출 2026-11-17

한국어 초록

문학 텍스트 모델링에서 문체와 의미 내용을 분리하는 것은 근본적인 과제다. 문체와 내용이 뒤섞이면 모델은 저자 식별(AA)에서 의미 내용에 의존하고, 문체 모방(SI)에서는 저자 고유의 내용을 암기하게 된다. 본 연구는 LoRA 부분공간 편집 프레임워크 EDITORS를 제안한다. 먼저 내용 방향을 진단한 뒤 그 영향을 줄여 사전학습 대규모 언어 모델을 적응시키고 문체 특징을 우선하도록 한다. 이를 통해 저자 식별과 문체 모방 양쪽에서 효과를 낸다. 먼저 학습 말뭉치에서 얻은 문체 중립적 문장으로 진단용 LoRA 어댑터를 학습해 내용에 대응하는 부분공간을 찾는다. 이후 찾은 내용 방향을 입력 활성값에서 투영으로 제거하면서 최종 문체 어댑터를 학습한다. 실험에서 EDITORS의 효과를 확인했다. 문학, 소셜 미디어, 뉴스에 걸친 저자 식별 벤치마크 세 개에서 최고 정확도를 기록했으며, 기존 기준선 중 최고 성능보다 최대 29% 높았다. 문체 모방에서는 요구한 내용을 준수하면서 원래 문체에 충실하고 다양한 글을 생성했다. 문체 유사도에서 기존 기준선을 앞섰다.

원문 초록

Disentangling writing style from semantic content is a fundamental challenge in literary text modeling. Style-content entanglement causes models to rely on semantic content for authorship attribution (AA) tasks and memorize author-specific content for style imitation (SI) tasks. We propose EDITORS (EditingLoRA Subspaces), a diagnose-then-deflate framework that adapts pretrained large language models and prioritizes stylistic features, making it effective for both AA and SI tasks. EDITORS first trains a diagnostic LoRA adapter using style-neutral statements derived from the training corpus to identify a content-oriented subspace. It then trains the final style adapter under activation-space deflation that projects input activations away from the identified content-oriented directions. We empirically demonstrate that EDITORS is effective. On three AA benchmarks spanning literature, social media, and news, EDITORS achieves state-of-the-art accuracy, outperforming the strongest existing baseline by up to 29%. On SI, EDITORS generates stylistically faithful and diverse passages, outperforming baselines in achieving style similarity while adhering to content specifications.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2611.20846v2제출 시각 미확인
  2. arXiv:2611.20846v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.