A Sentiment-Controllable Topic-to-Essay Generator with Topic Knowledge Graph
원문 초록
Generating a vivid, novel, and diverse essay with only several given topic words is a challenging task of natural language generation. In previous work, there are two problems left unsolved: neglect of sentiment beneath the text and insufficient utilization of topic-related knowledge. Therefore, we propose a novel Sentiment-Controllable topic-to-essay generator with a Topic Knowledge Graph enhanced decoder, named SCTKG, which is based on the conditional variational autoencoder (CVAE) framework. We firstly inject the sentiment information into the generator for controlling sentiment for each sentence, which leads to various generated essays. Then we design a Topic Knowledge Graph enhanced decoder. Unlike existing models that use knowledge entities separately, our model treats the knowledge graph as a whole and encodes more structured, connected semantic information in the graph to generate a more relevant essay. Experimental results show that our SCTKG can generate sentiment controllable essays and outperform the state-of-the-art approach in terms of topic relevance, fluency, and diversity on both automatic and human evaluation.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git
Agora: Git as Shared Memory for Collective AutoResearch
서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.
FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로
FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation
대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.
Coherent Visual Storytelling via Parallel Top-Down Visual and Topic Attention
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
Apollo Restore: 고대 그리스어 텍스트의 Fill-in-the-Middle 복원에 최적화된 역사적 그리스어용 기반 대규모 언어 모델
Apollo Restore: A Foundation LLM for Historical Greek Optimized for Fill-in-the-Middle Restoration of Ancient Greek Texts
본 논문에서는 단편적인 고대 그리스어 텍스트의 결손(lacunae, 물리적 공백)을 복원하기 위한 240억 개 매개변수(parameter) 대규모 언어 모델(LLM)인 Apollo Restore를 소개합니다. Fill-in-the-middle 목표로 Mistral Small을 파인튜닝(fine-tuning)한 Apollo Restore는 결손 길이에 대한 오라클(oracle) 지식 없이도 누락된 구간을 재구성합니다. 우리가 아는 한, 이는 역사적 그리스어를 위한 최초의 대규모 디코더 모델이자 고대 지중해 언어를 통틀어 최초의 모델입니다. 선행 연구와 동일하게 최대 10자의 짧은 결손에 대해 평가했을 때, Apollo Restore는 문서 파피루스, 문학 파피루스, 석문 비문 결손의 80.6%/54.6%/61.0%에서 올바른 복원 결과를 상위 20개 후보 안에 올렸으며, 발표된 가장 강력한 모델들을 $1.6\times$/$2.6\times$/$1.4\times$ 능가했습니다. 그러나 기존 평가 프로토콜은 사소하게 짧은 결손 쪽으로 쏠린 바이어스(bias)로 인해 점수를 부풀립니다. 길이 균형 메트릭에서 발표된 가장 강력한 모델 대비 Apollo Restore의 우위는 $2.3\times$/$3.5\times$/$1.6\times$로 증가하며, 부정확한 길이 힌트가 주어지더라도 성능이 완만하게 저하됩니다. 블라인드 연구에서 파피루스학, 비문학, 문헌학 전문가 20명은 가장 강력한 기준선(baseline)보다 Apollo Restore를 강하게 선호했으며, 77%의 사례에서 그 성능이 인간의 복원만큼 우수하다고 판단했습니다. 또한 Apollo Restore는 서기 79년 베수비오 화산 폭발로 탄화되어 Apollo Restore의 학습(training) 데이터가 구축된 이후 디지털 방식으로 펼쳐지고 편집된 파피루스 두루마리인 PHerc. 1667의 발표된 판독 결과를 개선합니다. Apollo Restore는 오스트리아 과학 아카데미가 주도하는 역사적 언어 및 필사본 특화 LLM 구축을 위한 Decoding Antiquity 이니셔티브의 결과물입니다.
PERSONAWEAVER: 절차적 캐릭터 생성에서 기존의 전형을 뛰어넘는 제어 가능한 다양성 확보
PERSONAWEAVER: Controllable Diversity Beyond Conventional Archetypes in Procedural Character Generation
절차적 캐릭터 생성(procedural character generation)은 게임, 시뮬레이션 및 기타 가상 세계를 다양한 캐릭터로 채우는 것을 목표로 합니다. 대규모 언어 모델(LLM)은 이 작업을 확장(scaling)하기 위한 유망한 기반을 제공합니다. 그러나 LLM 기반 절차적 캐릭터 생성은 아직 초기 단계에 머물러 있습니다. 기존 방식은 캐릭터를 직접 생성하거나 페르소나 뱅크에서 검색한 프로필을 조정하는 방식입니다. 본 연구에서 보여주듯이 두 접근법 모두 행동적으로 동질화된 집단을 형성합니다. 캐릭터들은 긍정적인 도덕적 규범에 압도적으로 동의하며, 질문에 대해 도움이 되는 어시스턴트 같은 반응을 보입니다. 이러한 동질화를 완화하기 위해, 본 논문에서는 세계관 구축과 행동 명세를 분리하고 수작업으로 큐레이션된 다양하고 보편적인 도덕적 입장 및 대화 반응 뱅크를 통해 행동을 모델링하는 PersonaWeaver를 소개합니다. 이러한 설계를 통해 여러 배경 설정 전반에서 LLM이 기본 행동 패턴을 넘어 얼마나 확장될 수 있는지 테스트할 수 있습니다. 10개의 현실적 및 판타지적 배경 설정과 3개의 LLM을 대상으로 한 실험에서, PersonaWeaver는 이전 연구보다 더 넓은 도덕적 및 상호작용적 반응 분포를 생성합니다. 또한 PersonaWeaver의 유도는 대인 언어, 응답 길이, 감정을 다양화하며, 덜 전형적인 세계관 속성 조합을 생성합니다. 코드는 https://github.com/mqraitem/PersonaWeaver 에서 확인할 수 있습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.