Collocation2Text: Controllable Text Generation from Guide Phrases in Russian
원문 초록
Large pre-trained language models are capable of generating varied and fluent texts. Starting from the prompt, these models generate a narrative that can develop unpredictably. The existing methods of controllable text generation, which guide the narrative in the text in the user-specified direction, require creating a training corpus and an additional time-consuming training procedure. The paper proposes and investigates Collocation2Text, a plug-and-play method for automatic controllable text generation in Russian, which does not require fine-tuning. The method is based on two interacting models: the autoregressive language ruGPT-3 model and the autoencoding language ruRoBERTa model. The idea of the method is to shift the output distribution of the autoregressive model according to the output distribution of the autoencoding model in order to ensure a coherent transition of the narrative in the text towards the guide phrase, which can contain single words or collocations. The autoencoding model, which is able to take into account the left and right contexts of the token, "tells" the autoregressive model which tokens are the most and least logical at the current generation step, increasing or decreasing the probabilities of the corresponding tokens. The experiments on generating news articles using the proposed method showed its effectiveness for automatically generated fluent texts which contain coherent transitions between user-specified phrases.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)
Knowledge Pull Requests for Continual Document Authoring
우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.
「정보 시스템을 위한 언어 이론의 함의」에 관한 Kalle Lyytinen 인터뷰
Interview with Kalle Lyytinen on "Implications of Theories of Language for Information Systems"
MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.
Naver-News-KO: 오픈소스 요약 모델 미세조정을 위한 한국어 뉴스 요약 데이터셋
Naver-News-KO: A Korean News Summarization Dataset for Open-Source Fine-Tuning of Summarization Models
우리는 Naver-News-KO를 공개한다. 이는 2022년 7월 10일간 Naver News에서 수집한 27,400개의 (문서, 요약) 쌍으로 구성된 한국어 뉴스 요약 데이터셋이다. 두 카테고리(경제 및 IT/과학; 77/23 비율)에 걸쳐 수집되었으며, 학습/검증/테스트 분할은 22,194 / 2,466 / 2,740이고, 레코드당 문서-요약 문자 압축률 평균은 6.03배이다. 이 데이터셋은 2023년 1월부터 Hugging Face Hub에 공개 호스팅되어 왔으며, 2026년 5월 기준 월 약 33,000회 다운로드를 기록한다. 이 데이터셋으로 미세조정된 커뮤니티 유지 한국어 요약 모델에는 Gemma-2B-ko 및 Gemma2-9B 변형이 포함된다. 본 기술 보고서는 (i) 수집 프로토콜, 컬럼 스키마, 분할 구성을 문서화하고, (ii) 코퍼스 수준 통계(길이 분포, 압축률, 사용자가 인지해야 할 테스트와 학습 간 측정된 16.8%의 근사 중복 title-Jaccard 중첩)를 보고하며, (iii) 이 리소스를 다른 공개 한국어 요약 코퍼스와 비교·위치시키고, (iv) Lead-3 추출형 기준점(ROUGE-1 55.1, ROUGE-L 50.6)과 두 가지 재현 가능한 미세조정 베이스라인—KoBART(R-1 56.6, BERTScore-F1 81.5) 및 LoRA를 적용한 Gemma-2B-ko(R-1 55.3, BERTScore-F1 78.3)—을 공개 시점 학습 스크립트와 함께 제공하며, (v) 이 리소스의 라이선스 및 의도된 사용 범위를 명확히 한다. 목표는 새로운 벤치마크를 제안하는 것이 아니라, 이미 이 데이터셋을 사용하는 하위 작업을 위한 인용 가능한 참고 자료를 제공하는 것이다.
news-crawler-LM: 고품질 뉴스 크롤링을 위한 소형 장문맥 모델
news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling
뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.
GEIS: 장문 기사 생성을 위한 에이전트 스킬의 생성-평가-개선 루프
GEIS: A Generation-Evaluation-Improvement Loop of Agent Skills for Long-Form Article Generation
장문 기사 생성은 긴 컨텍스트, 긴 인스트럭션, 긴 출력을 동시에 요구하기 때문에 대규모 언어 모델(LLM)에게 여전히 어려운 과제다. STORM과 같은 기존 멀티 에이전트 파이프라인은 역할 특화 에이전트를 시뮬레이션하여 정보 커버리지를 높이지만, 그 능력이 프롬프트와 고정된 절차에 얽혀 있어 검사, 재사용, 반복적 개선이 어렵다. 본 논문은 Wikipedia 스타일의 장문 기사 생성을 위한 이름 있는 선언적 스킬의 루프인 GEIS(Generation-Evaluation-Improvement loop of agent Skills)를 제안한다. Tasi Harness에서 구현 및 평가된 GEIS는 기사 작성, 브라우저 기반 근거 및 이미지 수집, 다이어그램 렌더링, PDF 인식 쌍별 평가, 규칙 수준 스킬 개선을 위한 스킬들을 조합한다. 핵심 작성 스킬은 요청(Request), 계획(Plan), 초안 작성(Draft), 감사(Audit), 정제(Refine), 전달(Deliver) 단계를 따르며, 쌍별 평가 스킬은 구조화된 품질 보고서를 생성하고, 개선 스킬은 20개 토픽 실험에서 반복적으로 발견된 사항을 작성 스킬에 대한 영구적 패치로 매핑한다. 우리는 GEIS를 20개의 Wikipedia 추천 기사 토픽으로 평가한다. 동일한 생성 백엔드 하에서 GEIS는 100점 만점의 PDF 품질 루브릭에서 Tasi Harness 기본 작성기 대비 8.0점 향상을 달성하며, 비교 가능한 두 가지 작성 차원인 구조적 품질과 콘텐츠 품질에서 STORM을 능가한다. 20개 토픽 개선 실험에서 패치된 작성 스킬은 평균 점수를 82.90에서 86.95로 높였으며, 20개 토픽 중 17개가 향상되었고 그 향상은 주로 콘텐츠 품질에서 비롯되었다. 이러한 결과는 장문 생성이 고정된 워크플로우에서 검사 가능하고 모듈화된 평가 기반 개선 루프로 재구성될 수 있음을 보여준다.
PrefReward: 개인화 텍스트 생성을 위한 사용자 선호 행렬 학습
PrefReward: Learning User Preference Matrix for Personalized Text Generation
대규모 언어 모델(LLM)은 사용자 이력과 문맥 단서를 활용하여 개인화된 콘텐츠를 생성하는 데 뛰어난 능력을 보여 왔다. 그러나 기존 개인화 접근법 대부분은 모델 파라미터 내부의 암묵적 표현에 의존하므로 사용자별 선호를 해석하거나 긴 문맥 의존성을 효과적으로 처리하기 어렵다. 이러한 문제를 해결하기 위해, 구조화된 선호 행렬을 통해 사용자 스타일을 명시적으로 모델링하고 이를 보상 신호로서 디코딩 과정에 통합하는 새로운 선호 인식 생성 프레임워크 PrefReward를 제안한다. PrefReward는 두 단계로 구성된다. (1) 개인의 문체 경향을 요약하는 사용자별 선호 행렬을 추출하고, (2) KL 발산 기반 보상 함수를 통해 이 행렬로 생성을 안내한다. LongLaMP 데이터셋에 대한 실험에서 PrefReward는 생성 품질과 개인화 해석 가능성 모두에서 검색 기반 베이스라인 및 컨텍스트 스티어링 방법을 능가하였다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.