arXiv:1909.05364

TransSent: Towards Generation of Structured Sentences with Discourse Marker

Xing Wu, Dongjun Wei, Liangjun Zang, Jizhong Han, Songlin Hu

제출 2019-09-05

원문 초록

Structured sentences are important expressions in human writings and dialogues. Previous works on neural text generation fused semantic and structural information by encoding the entire sentence into a mixed hidden representation. However, when a generated sentence becomes complicated, the structure is difficult to be properly maintained. To alleviate this problem, we explicitly separate the modeling process of semantic and structural information. Intuitively, humans generate structured sentences by directly connecting discourses with discourse markers (such as and, but, etc.). Therefore, we propose a task that mimics this process, called discourse transfer. This task represents a structured sentence as (head discourse, discourse marker, tail discourse), and aims at tail discourse generation based on head discourse and discourse marker. We also propose a corresponding model called TransSent, which interprets the relationship between two discourses as a translation1 from the head discourse to the tail discourse in the embedding space. We experiment TransSent not only in discourse transfer task but also in free text generation and dialogue generation tasks. Automatic and human evaluation results show that TransSent can generate structured sentences with high quality, and has certain scalability in different tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23648v1cs.CL공통 태그 Text Generation, Dialogue Generation

EmoTrace: 심리 지원 대화 생성을 위한 감정 궤적 중심 프레임워크

EmoTrace: An Emotion Trajectory-Centered Framework for Psychological Support Dialogue Generation

대규모 언어 모델(LLM)을 활용한 심리 상담 지원은 자연어 처리(NLP) 분야의 중요한 과제이다. 고품질 심리 지원 대화 코퍼스 구축은 상담 지향 대화 모델 학습을 위한 핵심 기반이 된다. 그러나 기존 데이터 생성 접근법은 일반적으로 감정적으로 안정적인 내담자, 감정 역학의 제한적 다양성, 상담사 지도에 대한 높은 순응성 등 여러 한계를 갖는다. 이러한 문제로 인해 LLM은 감정적으로 불안정한 상황에 효과적으로 대응할 수 있는 능력이 부족해진다. 또한 상담사 응답은 일반적으로 문제 해결 목표에 의해 주도되어, 심리 상담에 필수적인 감정 중심 상호작용의 역할을 간과한다. 이러한 공백을 해소하기 위해, 우리는 내담자의 감정 궤적 모델링을 중심으로 한 다중 턴 대화 코퍼스 생성 프레임워크인 EmoTrace를 제안한다. 내담자의 인지 프로필을 구성하고, 감정 스키마와 관련 활성화 메커니즘을 갖춘 내담자 모듈, 상담사 모듈, 감정 궤적 제어 모듈을 도입하여 내담자의 감정 표현 계층화와 상담사의 표적 공감 표현을 강화한다. 실험 결과, 제안 방법이 감정적 풍부함과 공감 품질 측면에서 기존 접근법을 능가함을 보여준다.

arXiv:2607.22136v1cs.CL공통 태그 Text Generation, Dialogue Generation

공감적 응답 생성을 위한 동적 상식 조율

Dynamic Commonsense Coordination for Empathetic Response Generation

공감적 응답 생성(Empathetic Response Generation, ERG)은 모델이 사용자의 감정을 인식하고 공감적 응답을 생성해야 한다. 상식 지식이 이러한 추론을 지원하는 것으로 알려져 있지만, 기존 접근법은 이해와 생성 단계 전반에 걸쳐 고정된 상식 표현을 재사용하는 경우가 많아, 서로 다른 단계에서 이러한 지식을 조율하는 능력을 제한한다. 본 연구는 DCC(Dynamic Commonsense Coordination)라는 동적 상식 조율 프레임워크를 제안하며, 이는 세 가지 상호 보완적 모듈로 구성된다: 맥락적·상황적 상식 표현을 통합하는 잔차 기반 상식 상호작용(SCE-AttnRes), 낮은 관련성의 상식 관계 가중치를 낮추는 연관성 기반 상식 필터링(Association-Guided Commonsense Filtering, AGCF), 생성 중 상식 메모리를 동적으로 검색하는 반복적 상식 인지 디코딩(Iterative Commonsense-Aware Decoding, ICAD). Empathetic-Dialogues 벤치마크에서의 실험 결과, DCC는 CEM 기준선 대비 감정 분류 정확도와 응답 다양성을 향상시키면서 perplexity는 유사한 수준을 유지한다. LLM 기반 블라인드 평가는 DCC가 더 나은 관련성, 일관성, 정보성을 갖춘 응답을 생성함을 추가로 보여준다. 코드와 구현 세부사항은 https://github.com/Hanabi-Q/DCC-ERG 에서 공개될 예정이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.