arXiv:1805.05557

Simplifying Sentences with Sequence to Sequence Models

Alexander Mathews, Lexing Xie, Xuming He

제출 2018-05-15

원문 초록

We simplify sentences with an attentive neural network sequence to sequence model, dubbed S4. The model includes a novel word-copy mechanism and loss function to exploit linguistic similarities between the original and simplified sentences. It also jointly uses pre-trained and fine-tuned word embeddings to capture the semantics of complex sentences and to mitigate the effects of limited data. When trained and evaluated on pairs of sentences from thousands of news articles, we observe a 8.8 point improvement in BLEU score over a sequence to sequence baseline; however, learning word substitutions remains difficult. Such sequence to sequence models are promising for other text generation tasks such as style transfer.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.25797v1cs.CL공통 태그 Word Embeddings, Text Generation

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.

arXiv:2609.26634v1cs.CL공통 태그 Text Generation, Articles

지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)

Knowledge Pull Requests for Continual Document Authoring

우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.

arXiv:2607.23142v1cs.CL공통 태그 Text Generation, Articles

「정보 시스템을 위한 언어 이론의 함의」에 관한 Kalle Lyytinen 인터뷰

Interview with Kalle Lyytinen on "Implications of Theories of Language for Information Systems"

MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.

arXiv:2607.20442v1cs.CL공통 태그 Text Generation, Articles

Naver-News-KO: 오픈소스 요약 모델 미세조정을 위한 한국어 뉴스 요약 데이터셋

Naver-News-KO: A Korean News Summarization Dataset for Open-Source Fine-Tuning of Summarization Models

우리는 Naver-News-KO를 공개한다. 이는 2022년 7월 10일간 Naver News에서 수집한 27,400개의 (문서, 요약) 쌍으로 구성된 한국어 뉴스 요약 데이터셋이다. 두 카테고리(경제 및 IT/과학; 77/23 비율)에 걸쳐 수집되었으며, 학습/검증/테스트 분할은 22,194 / 2,466 / 2,740이고, 레코드당 문서-요약 문자 압축률 평균은 6.03배이다. 이 데이터셋은 2023년 1월부터 Hugging Face Hub에 공개 호스팅되어 왔으며, 2026년 5월 기준 월 약 33,000회 다운로드를 기록한다. 이 데이터셋으로 미세조정된 커뮤니티 유지 한국어 요약 모델에는 Gemma-2B-ko 및 Gemma2-9B 변형이 포함된다. 본 기술 보고서는 (i) 수집 프로토콜, 컬럼 스키마, 분할 구성을 문서화하고, (ii) 코퍼스 수준 통계(길이 분포, 압축률, 사용자가 인지해야 할 테스트와 학습 간 측정된 16.8%의 근사 중복 title-Jaccard 중첩)를 보고하며, (iii) 이 리소스를 다른 공개 한국어 요약 코퍼스와 비교·위치시키고, (iv) Lead-3 추출형 기준점(ROUGE-1 55.1, ROUGE-L 50.6)과 두 가지 재현 가능한 미세조정 베이스라인—KoBART(R-1 56.6, BERTScore-F1 81.5) 및 LoRA를 적용한 Gemma-2B-ko(R-1 55.3, BERTScore-F1 78.3)—을 공개 시점 학습 스크립트와 함께 제공하며, (v) 이 리소스의 라이선스 및 의도된 사용 범위를 명확히 한다. 목표는 새로운 벤치마크를 제안하는 것이 아니라, 이미 이 데이터셋을 사용하는 하위 작업을 위한 인용 가능한 참고 자료를 제공하는 것이다.

arXiv:2607.21231v1cs.CL공통 태그 Word Embeddings, Text Generation

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

arXiv:2607.21284v1cs.CL공통 태그 Text Generation, Articles

news-crawler-LM: 고품질 뉴스 크롤링을 위한 소형 장문맥 모델

news-crawler-LM: A Small Long-Context Model For High-Quality News Crawling

뉴스 페이지에서 구조화된 콘텐츠를 추출하는 것은 이질적인 HTML 레이아웃, 불일치하는 마크업, 내비게이션 요소 및 광고와 같은 상당한 보일러플레이트(boilerplate)로 인해 여전히 어려운 과제입니다. 규칙 기반 뉴스 크롤러는 사이트별 구조를 인코딩함으로써 높은 추출 정확도를 달성할 수 있지만, 새로운 출판사에 일반화하려면 수동 설정이 필요합니다. 대규모 언어 모델(LLM)은 수작업 규칙의 필요성을 줄여 더 유연한 대안을 제공하지만, 높은 계산 비용이 실용적 배포를 제한합니다. 본 논문에서는 Fundus 뉴스 크롤링 라이브러리의 고품질·인간 검증 추출 결과로 파인튜닝(fine-tuning)한 소형 장문맥 언어 모델인 news-crawler-LM을 소개합니다. 우리 모델은 원시 HTML을 평문(plaintext)과 구조화된 JSON으로 변환하며, 헤드라인, 저자, 게재일, 기사 본문 등의 필드를 포함합니다. 실험에서 news-crawler-LM은 HTML-to-Markdown 및 HTML-to-JSON 추출에서 강력한 베이스라인을 능가하며, HTML-to-Markdown 과제에서 BLEU +4.8, METEOR +6.1, HTML-to-JSON 과제에서 BLEU +2.2, METEOR +4.1의 성능 향상을 보였습니다. 다만, 이전에 보지 못한 출판사에 대한 평가에서 HTML-to-plaintext 과제에서는 다른 규칙 기반 파싱 라이브러리와 비교해 우리 모델이 약간만 더 나은 수준임을 확인했습니다. 모든 모델과 산출물을 연구 커뮤니티에 공개합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.