arXiv:2101.01391

Political Depolarization of News Articles Using Attribute-aware Word Embeddings

Ruibo Liu, Lili Wang, Chenyan Jia, Soroush Vosoughi

제출 2021-01-05

원문 초록

Political polarization in the US is on the rise. This polarization negatively affects the public sphere by contributing to the creation of ideological echo chambers. In this paper, we focus on addressing one of the factors that contributes to this polarity, polarized media. We introduce a framework for depolarizing news articles. Given an article on a certain topic with a particular ideological slant (eg., liberal or conservative), the framework first detects polar language in the article and then generates a new article with the polar language replaced with neutral expressions. To detect polar words, we train a multi-attribute-aware word embedding model that is aware of ideology and topics on 360k full-length media articles. Then, for text generation, we propose a new algorithm called Text Annealing Depolarization Algorithm (TADA). TADA retrieves neutral expressions from the word embedding model that not only decrease ideological polarity but also preserve the original argument of the text, while maintaining grammatical correctness. We evaluate our framework by comparing the depolarized output of our model in two modes, fully-automatic and semi-automatic, on 99 stories spanning 11 topics. Based on feedback from 161 human testers, our framework successfully depolarized 90.1% of paragraphs in semi-automatic mode and 78.3% of paragraphs in fully-automatic mode. Furthermore, 81.2% of the testers agree that the non-polar content information is well-preserved and 79% agree that depolarization does not harm semantic correctness when they compare the original text and the depolarized text. Our work shows that data-driven methods can help to locate political polarity and aid in the depolarization of articles.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28004v1cs.CL공통 태그 Text Generation, Attribute

질문형 대화의 속성별 제어 요약

Controlled Attribute-Specific Summarization of Interrogative Dialogues

효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.

arXiv:2609.25797v1cs.CL공통 태그 Word Embeddings, Text Generation

인간 및 AI 생성 언어의 양자 구조에 관한 코멘트 arXiv:2512.07881 및 arXiv:2601.06104에 대한 답변

Reply to comments arXiv:2512.07881 and arXiv:2601.06104 on quantum structure in human and AI-generated language

본 논문에서는 인간 언어에서의 양자역학적 통계(arXiv:2407.14924) 및 AI 생성 언어의 양자 구조(arXiv:2511.21731)에 관한 본 연구진의 연구에 대해 M. Sienicki와 K. Sienicki가 작성한 코멘트(arXiv:2512.07881)와 K. Sienicki가 작성한 코멘트(arXiv:2601.06104)에 답변한다. 저자들의 면밀한 검토에 감사하며, 본 연구진이 주요 비판점으로 생각하는 다음 내용들을 다룬다: 대규모 언어 모델(LLM)을 활용한 실험에 사용된 프로토콜의 탐색적 특성; 얽힘(entanglement) 식별에 있어 주변 법칙 위반과 기본 맥락성(Contextuality-by-Default) 기준의 역할; 단독으로 고려된 보스-아인슈타인(Bose-Einstein) 피팅의 제한적인 진단 가치; 가장 빈번한 단어에 가장 낮은 에너지 준위를 할당하는 의미; 그리고 LLM이 사용하는 벡터 공간과 양자 상태 공간 간의 관계. 또한 보고된 CHSH 값에는 영향을 주지 않는 arXiv:2511.21731의 표 3에 있는 오타를 정정한다.

arXiv:2609.26634v1cs.CL공통 태그 Text Generation, Articles

지속적 문서 작성을 위한 지식 풀 리퀘스트(Knowledge Pull Requests)

Knowledge Pull Requests for Continual Document Authoring

우리는 각 변경 사항을 해석 가능하게 만드는 지속적 문서 작성(continual document authoring) 프레임워크인 지식 풀 리퀘스트(Knowledge Pull Requests, KPR)를 소개한다. 문서는 다른 출처, 언어 또는 시점에서 새로운 지식이 나타남에 따라 지속적인 수정이 필요하지만, 기존 접근법은 어떤 지식이 바뀌었는지에 대한 설명 없이 편집하거나 처음부터 다시 생성한다. KPR은 주장(claim)을 추출하고, 이를 필터링하여 각 섹션으로 라우팅하며, 기존 내용과의 충돌을 표시함으로써 새로운 지식을 문서에 통합한다. 그 결과 어떤 지식이 바뀌는지(주장 제안)와 텍스트가 어떻게 바뀌는지(문서 diff)를 분리하는 ChangeLog를 생성한다. 우리는 언어 간 위키백과(Wikipedia) 수정과 RAGTIME에서의 쿼리 기반 보고서 업데이트를 통해 KPR을 평가한다. KPR은 출처로부터 다시 작성하거나 처음부터 다시 생성하는 방식보다 더 많은 정보를 통합하고 기존 내용을 더 잘 보존하며, 생성된 토큰당 추가되는 정보량은 가장 많다. 또한 KPR로 수정된 문서는 검색을 사용하는 최첨단 모델(frontier model)보다 질의응답의 그라운딩(grounding)을 더 잘 수행하는데, 검색을 사용하는 최첨단 모델은 다른 언어로만 기록된 지식을 찾아내지 못한다.

arXiv:2607.23142v1cs.CL공통 태그 Text Generation, Articles

「정보 시스템을 위한 언어 이론의 함의」에 관한 Kalle Lyytinen 인터뷰

Interview with Kalle Lyytinen on "Implications of Theories of Language for Information Systems"

MIS Quarterly에 「정보 시스템을 위한 언어 이론의 함의」가 최초 발표된 지 40년이 넘은 후, Lyytinen은 자신의 논문의 기원과 지난 수십 년간 이 연구 분야의 발전을 되돌아본다. 본 인터뷰에서 Lyytinen은 정보 시스템의 언어학적 핵심을, 특히 대규모 언어 모델(LLM)과 생성형 AI와 관련된 최근 동향과 발전을 고려하여 논의한다. 정보 시스템(IS) 연구에 대한 언어학적 관점을 따르는 향후 연구 방향이 제시된다.

arXiv:2607.20442v1cs.CL공통 태그 Text Generation, Articles

Naver-News-KO: 오픈소스 요약 모델 미세조정을 위한 한국어 뉴스 요약 데이터셋

Naver-News-KO: A Korean News Summarization Dataset for Open-Source Fine-Tuning of Summarization Models

우리는 Naver-News-KO를 공개한다. 이는 2022년 7월 10일간 Naver News에서 수집한 27,400개의 (문서, 요약) 쌍으로 구성된 한국어 뉴스 요약 데이터셋이다. 두 카테고리(경제 및 IT/과학; 77/23 비율)에 걸쳐 수집되었으며, 학습/검증/테스트 분할은 22,194 / 2,466 / 2,740이고, 레코드당 문서-요약 문자 압축률 평균은 6.03배이다. 이 데이터셋은 2023년 1월부터 Hugging Face Hub에 공개 호스팅되어 왔으며, 2026년 5월 기준 월 약 33,000회 다운로드를 기록한다. 이 데이터셋으로 미세조정된 커뮤니티 유지 한국어 요약 모델에는 Gemma-2B-ko 및 Gemma2-9B 변형이 포함된다. 본 기술 보고서는 (i) 수집 프로토콜, 컬럼 스키마, 분할 구성을 문서화하고, (ii) 코퍼스 수준 통계(길이 분포, 압축률, 사용자가 인지해야 할 테스트와 학습 간 측정된 16.8%의 근사 중복 title-Jaccard 중첩)를 보고하며, (iii) 이 리소스를 다른 공개 한국어 요약 코퍼스와 비교·위치시키고, (iv) Lead-3 추출형 기준점(ROUGE-1 55.1, ROUGE-L 50.6)과 두 가지 재현 가능한 미세조정 베이스라인—KoBART(R-1 56.6, BERTScore-F1 81.5) 및 LoRA를 적용한 Gemma-2B-ko(R-1 55.3, BERTScore-F1 78.3)—을 공개 시점 학습 스크립트와 함께 제공하며, (v) 이 리소스의 라이선스 및 의도된 사용 범위를 명확히 한다. 목표는 새로운 벤치마크를 제안하는 것이 아니라, 이미 이 데이터셋을 사용하는 하위 작업을 위한 인용 가능한 참고 자료를 제공하는 것이다.

arXiv:2607.21231v1cs.CL공통 태그 Word Embeddings, Text Generation

점진적 크래밍: 신뢰할 수 있는 토큰 압축과 그것이 드러내는 것

Progressive Cramming: Reliable Token Compression and What It Reveals

토큰 크래밍은 시퀀스를 학습된 임베딩으로 압축하여 거의 완벽한 재구성을 달성하지만, 고정된 토큰 예산과 99% 정확도 임계값 때문에 잔여 오류가 최적화 실패를 반영하는 것인지 근본적 한계를 반영하는 것인지 불분명하다. 우리는 목표 접두 문맥을 토큰 단위로 점진적으로 확장하고, 고정된 최적화 예산 내에서 재구성이 더 이상 달성 불가능해질 때에만 중단하는 점진적 크래밍(progressive cramming)을 제안한다. 점진적 궤적은 임베딩 공간에서 저차원 구조를 차지한다. 크래밍된 임베딩을 앞에 붙이면 원본 접두 문맥이 컨텍스트에 있음에도 객관식 벤치마크에서 중간 수준이지만 일관된 정확도 하락을 유발하며, 생성형 평가에서는 능력이 거의 완전히 붕괴된다. 인과적 어텐션 차단(attention-knockout) 개입은 이러한 성능 저하를 모델 초기 층에서의 임베딩 상호작용으로 추적한다. 이러한 결과는 점진적 크래밍을 압축 한계 연구 도구로 자리매김하며, 전이 가능한 의미론이 아닌 취약한 조향을 통해 달성 가능한 완벽한 재구성만으로는 의미 있는 압축에 충분하지 않음을 보여준다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.