arXiv:2110.15871

From Theories on Styles to their Transfer in Text: Bridging the Gap with a Hierarchical Survey

Enrica Troiano, Aswathy Velutharambath, Roman Klinger

제출 2021-10-29

원문 초록

Humans are naturally endowed with the ability to write in a particular style. They can, for instance, re-phrase a formal letter in an informal way, convey a literal message with the use of figures of speech or edit a novel by mimicking the style of some well-known authors. Automating this form of creativity constitutes the goal of style transfer. As a natural language generation task, style transfer aims at rewriting existing texts, and specifically, it creates paraphrases that exhibit some desired stylistic attributes. From a practical perspective, it envisions beneficial applications, like chatbots that modulate their communicative style to appear empathetic, or systems that automatically simplify technical articles for a non-expert audience. Several style-aware paraphrasing methods have attempted to tackle style transfer. A handful of surveys give a methodological overview of the field, but they do not support researchers to focus on specific styles. With this paper, we aim at providing a comprehensive discussion of the styles that have received attention in the transfer task. We organize them in a hierarchy, highlighting the challenges for the definition of each of them, and pointing out gaps in the current research landscape. The hierarchy comprises two main groups. One encompasses styles that people modulate arbitrarily, along the lines of registers and genres. The other group corresponds to unintentionally expressed styles, due to an author's personal characteristics. Hence, our review shows how these groups relate to one another, and where specific styles, including some that have not yet been explored, belong in the hierarchy. Moreover, we summarize the methods employed for different stylistic families, hinting researchers towards those that would be the most fitting for future research.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.26634v1cs.CL공통 태그 Text Generation, Articles

지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)

Knowledge Pull Requests for Continual Document Authoring

우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.

arXiv:2607.23142v1cs.CL공통 태그 Text Generation, Articles

「정보 시스템을 위한 언어 이론의 함의」에 관한 Kalle Lyytinen 인터뷰

Interview with Kalle Lyytinen on "Implications of Theories of Language for Information Systems"

MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.

arXiv:2607.20442v1cs.CL공통 태그 Text Generation, Articles

Naver-News-KO: 오픈소스 요약 모델 미세조정을 위한 한국어 뉴스 요약 데이터셋

Naver-News-KO: A Korean News Summarization Dataset for Open-Source Fine-Tuning of Summarization Models

우리는 Naver-News-KO를 공개한다. 이는 2022년 7월 10일간 Naver News에서 수집한 27,400개의 (문서, 요약) 쌍으로 구성된 한국어 뉴스 요약 데이터셋이다. 두 카테고리(경제 및 IT/과학; 77/23 비율)에 걸쳐 수집되었으며, 학습/검증/테스트 분할은 22,194 / 2,466 / 2,740이고, 레코드당 문서-요약 문자 압축률 평균은 6.03배이다. 이 데이터셋은 2023년 1월부터 Hugging Face Hub에 공개 호스팅되어 왔으며, 2026년 5월 기준 월 약 33,000회 다운로드를 기록한다. 이 데이터셋으로 미세조정된 커뮤니티 유지 한국어 요약 모델에는 Gemma-2B-ko 및 Gemma2-9B 변형이 포함된다. 본 기술 보고서는 (i) 수집 프로토콜, 컬럼 스키마, 분할 구성을 문서화하고, (ii) 코퍼스 수준 통계(길이 분포, 압축률, 사용자가 인지해야 할 테스트와 학습 간 측정된 16.8%의 근사 중복 title-Jaccard 중첩)를 보고하며, (iii) 이 리소스를 다른 공개 한국어 요약 코퍼스와 비교·위치시키고, (iv) Lead-3 추출형 기준점(ROUGE-1 55.1, ROUGE-L 50.6)과 두 가지 재현 가능한 미세조정 베이스라인—KoBART(R-1 56.6, BERTScore-F1 81.5) 및 LoRA를 적용한 Gemma-2B-ko(R-1 55.3, BERTScore-F1 78.3)—을 공개 시점 학습 스크립트와 함께 제공하며, (v) 이 리소스의 라이선스 및 의도된 사용 범위를 명확히 한다. 목표는 새로운 벤치마크를 제안하는 것이 아니라, 이미 이 데이터셋을 사용하는 하위 작업을 위한 인용 가능한 참고 자료를 제공하는 것이다.

arXiv:2607.21284v1cs.CL공통 태그 Text Generation, Articles

news-crawler-LM: 고품질 뉴스 크롤링을 위한 소형 장문맥 모델

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.

arXiv:2607.20253v1cs.SD공통 태그 Style Transfer, Text Generation

전곡 생성의 한계 확장: 계층적 자기회귀 계획과 플로우 매칭 렌더링

Pushing the Frontier of Full-Song Generation: Hierarchical Autoregressive Planning Meets Flow-Matching Rendering

본 보고서에서는 가사, 텍스트 설명, 음악적 속성으로부터 고품질의 전곡 음악을 생성할 수 있는 통합 노래 생성 프레임워크를 제시한다. 제안된 프레임워크는 세 가지 작업을 지원한다: 텍스트 설명, 가사, 음악적 속성으로부터 완전한 노래를 생성하는 Lyrics-to-Song Generation; 보컬 없이 음악을 생성하는 Instrumental Music Generation; 멜로디 내용을 보존하면서 다른 스타일로 기존 곡을 재해석하는 Cover Song Generation. 아키텍처적으로 본 시스템은 네 가지 주요 구성 요소로 이루어진다: semantic-aware tokenizer, hybird-LM, FullDiT, 2단계 melody module. 토크나이저는 오디오를 효율적인 이산 음악 표현을 위해 8-codebook RVQ 토큰으로 인코딩한다. 이러한 토큰을 기반으로 hybird-LM은 전곡 생성을 위해 계층적 자기회귀(autoregressive) 오디오-토큰 모델링을 수행한다. 오디오 충실도를 높이기 위해 FullDiT는 codec 토큰, 가사, 텍스트 캡션을 조건으로 하는 연속 VAE 잠재 공간에서 전곡 flow matching을 수행한다. Cover Song Generation의 경우 melody module은 참조 오디오에서 멜로디 단서를 추출·이산화하여 원래 멜로디 내용을 보존하면서 생성을 안내한다. 마지막으로 hybird-LM에 대해 DPO, GRPO, OPD를 보상 기반 사후 학습 전략으로 검토하고, FullDiT에 flow-based GRPO를 적용하여 음악성과 렌더링 품질을 개선한다. 다국어 자동 벤치마크에 대한 실험 결과와 Artificial Analysis Music with Vocals 리더보드가 이를 보완하며, 제안된 프레임워크가 평가된 설정에서 경쟁력 있는 성능을 달성함을 보여준다.

arXiv:2607.11503v1cs.CL공통 태그 Text Generation, Articles

GEIS: 장문 기사 생성을 위한 에이전트 스킬의 생성-평가-개선 루프

GEIS: A Generation-Evaluation-Improvement Loop of Agent Skills for Long-Form Article Generation

장문 기사 생성은 긴 컨텍스트, 긴 인스트럭션, 긴 출력을 동시에 요구하기 때문에 대규모 언어 모델(LLM)에게 여전히 어려운 과제다. STORM과 같은 기존 멀티 에이전트 파이프라인은 역할 특화 에이전트를 시뮬레이션하여 정보 커버리지를 높이지만, 그 능력이 프롬프트와 고정된 절차에 얽혀 있어 검사, 재사용, 반복적 개선이 어렵다. 본 논문은 Wikipedia 스타일의 장문 기사 생성을 위한 이름 있는 선언적 스킬의 루프인 GEIS(Generation-Evaluation-Improvement loop of agent Skills)를 제안한다. Tasi Harness에서 구현 및 평가된 GEIS는 기사 작성, 브라우저 기반 근거 및 이미지 수집, 다이어그램 렌더링, PDF 인식 쌍별 평가, 규칙 수준 스킬 개선을 위한 스킬들을 조합한다. 핵심 작성 스킬은 요청(Request), 계획(Plan), 초안 작성(Draft), 감사(Audit), 정제(Refine), 전달(Deliver) 단계를 따르며, 쌍별 평가 스킬은 구조화된 품질 보고서를 생성하고, 개선 스킬은 20개 토픽 실험에서 반복적으로 발견된 사항을 작성 스킬에 대한 영구적 패치로 매핑한다. 우리는 GEIS를 20개의 Wikipedia 추천 기사 토픽으로 평가한다. 동일한 생성 백엔드 하에서 GEIS는 100점 만점의 PDF 품질 루브릭에서 Tasi Harness 기본 작성기 대비 8.0점 향상을 달성하며, 비교 가능한 두 가지 작성 차원인 구조적 품질과 콘텐츠 품질에서 STORM을 능가한다. 20개 토픽 개선 실험에서 패치된 작성 스킬은 평균 점수를 82.90에서 86.95로 높였으며, 20개 토픽 중 17개가 향상되었고 그 향상은 주로 콘텐츠 품질에서 비롯되었다. 이러한 결과는 장문 생성이 고정된 워크플로우에서 검사 가능하고 모듈화된 평가 기반 개선 루프로 재구성될 수 있음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.