Controllable Paraphrase Generation with a Syntactic Exemplar
원문 초록
Prior work on controllable text generation usually assumes that the controlled attribute can take on one of a small set of values known a priori. In this work, we propose a novel task, where the syntax of a generated sentence is controlled rather by a sentential exemplar. To evaluate quantitatively with standard metrics, we create a novel dataset with human annotations. We also develop a variational model with a neural module specifically designed for capturing syntactic knowledge and several multitask training objectives to promote disentangled representation learning. Empirically, the proposed model is observed to achieve improvements over baselines and learn to capture desirable characteristics.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LinSlot: 슬롯 기반 객체 표현에서 비지도 속성 발견을 위한 선형 표현 가설의 활용
LinSlot: Exploiting Linear Representation hypothesis for unsupervised attribute discovery from slot based object representation
본 논문에서는 가공되지 않은 비정형 이미지 데이터로부터 객체와 그 속성의 얽힘 해제된 표현(disentangled representation)을 학습하는 문제를 연구합니다. 슬롯 기반(slot-based) 방식은 이미지로부터 객체 표현을 비지도 학습하는 데 있어 상당한 성과를 보여주었습니다. 블록-슬롯 어텐션 기반 방식은 객체 표현이 속성으로 균일하게 분해(factorization)된다고 가정하여 이 프레임워크를 속성 표현으로 확장하지만, 이는 차선책일 수 있으며 결과적으로 학습된 표현의 품질을 제한할 수 있습니다. 이에 따라 저자들은 객체 및 속성 표현을 공동으로 발견하기 위한 프레임워크를 조사합니다. 본 연구의 핵심 기여는 구성 가능한 개념이 슬롯 표현 내에서 선형적으로 가산적인 부분공간으로 표현될 수 있다고 가정하는 선형 표현 가설(LRH)을 활용하는 것입니다. 이러한 통찰을 바탕으로 이미지, 슬롯(객체), 블록(속성)을 연결하는 확률적 모델을 제안합니다. 또한 블록 어텐션을 활용하여 속성 표현을 슬롯에 연결하고, 객체 및 속성 표현 공간 모두에 LRH를 통합하는 아키텍처를 제시합니다. 이 아키텍처는 제안된 그래피컬 모델의 증거 하한(ELBO)을 효과적으로 최적화합니다. 실험을 통해 (i) 얽힘 해제된 객체 및 속성 표현의 효과적인 발견, (ii) 슬롯 공간에서 LRH에 대한 실증적 증거, (iii) 학습된 표현의 얽힘 해제되고 해석 가능한 특성 덕분에 이미지 편집을 수행할 수 있는 능력을 입증합니다. 여러 데이터셋에 대한 실험 결과, 기존 최고 수준(SOTA) 방식 대비 DCI 점수에서 향상된 성능을 보여줍니다.
손실 압축 텍스트 오토인코더
Lossy Compressive Text Autoencoders
본 연구는 데이터 압축과 표현 학습(representation learning)의 접점에서 텍스트의 압축된 잠재 표현(latent representation)을 학습하는 방법을 탐구합니다. 우리는 잔여 저차원 이산 병목(residual low-dimension discrete bottleneck)과 함께 시간 축을 따라 은닉 표현의 잔여 다운스케일링 및 업스케일링을 수행하는 오토인코더 아키텍처를 제안합니다. 다양한 양자화(quantization) 방법, 학습(training) 목표 및 데이터셋에 대해 제안하는 접근 방식을 분석합니다. 다양한 압축 수준에 대해 표면적 수준(BLEU)과 의미론적 수준(대규모 언어 모델(LLM) 기반 판정기) 모두에서 원본 텍스트와 재구성된 텍스트 간의 유사도를 평가합니다. 또한 질의응답 및 의미론적 텍스트 유사도 다운스트림 벤치마크에서 모델을 평가합니다. 제안된 접근 방식은 웹 텍스트 데이터에서 바이트당 2.24비트로 무손실 텍스트 압축 알고리즘과 동등한 수준의 압축 표현을 산출하는 동시에, 우수한 재구성 및 다운스트림 태스크 성능을 달성합니다.
뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머
Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond
뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.
질문형 대화의 속성별 제어 요약
Controlled Attribute-Specific Summarization of Interrogative Dialogues
효과적인 질문형 대화 요약은 법의학 및 수사 환경에서 중요한 과제이며, 높은 사실적 정확도, 일관성, 속성별 관련성을 요구한다. 본 연구에서는 CASPER를 제안한다. 이는 사고의 연쇄(Chain-of-Thought) 기반 속성별 프롬프팅을 활용한 평가형 요약(Evaluative Summarization)의 새로운 프레임워크로, 구조화된 프롬프팅과 반복적 정제를 통해 심문관-증인 상호작용의 고품질 요약을 생성한다. MIND 코퍼스를 확장한 데이터셋 MINDSum을 구축하였으며, 이는 사건 세부사항, 사실 진술, 인물 묘사, 필러(filler)로 주석이 달린 6,000개의 발화 쌍으로 구성된다. CASPER는 RoleEval을 사용한다. 이는 여러 역할(경찰관, 조사관, 고급 조사관)이 사전 정의된 기준에 따라 요약을 반복적으로 평가하는 계층적 평가 메커니즘이다. 개체 추출(entity extraction)과 구조화된 피드백 루프를 통합함으로써 CASPER는 기존 기준선 대비 사실적 일관성과 문맥적 완전성을 크게 향상시킨다. 실험 결과는 본 프레임워크가 어휘(ROUGE) 및 의미(BERTScore) 지표 모두에서 표준 요약 모델을 능가함을 보여주며, 인간 평가는 전문가 추론과의 정렬(alignment)을 확인한다. 본 연구 결과는 고위험(high-stakes) 도메인에서 제어 가능한 요약의 잠재력을 강조하며, AI 기반 법의학 정보 분석(forensic intelligence)의 길을 연다.
기하학보다 계산: 의미 동일성은 임베딩에 담겨 전달되는 것이 아니라 계산된다
Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
의미 동일성(표현이 바뀐 뒤에도 두 문장이 같은 내용을 말하는지 여부)은 검색과 RAG에서 독립적으로 인코딩된 문장 벡터의 기하학적 사실로 취급된다. 본 논문은 고정된(frozen) 기성 인코더와 언어 모델에서는 그렇지 않음을 보인다. 동일성은 두 문장이 하나의 순전파를 공유할 때 계산되며, 해당 시스템들이 제공하는 임베딩 기하학의 속성이 아니다. 중첩(overlap)을 맞춘 PAWS-X에서 목적 특화 인코더(BGE, E5, GTE, MiniLM, E5-Mistral-7B)는 영어 confirm AUC가 0.55-0.65에 그친다(dense 최고치 0.70). Llama 3, Mistral, Qwen의 독립적으로 인코딩된 마지막 토큰 상태도 더 나은 성능을 보이지 못하며, 두 벡터의 후기 융합(late fusion)은 우연 수준에 가깝다. 반면 동일한 프로브를 결합된 순전파에 적용하면 1.5B에서 32B까지 0.90-0.96에 도달하고, 짝을 섞으면(partner shuffle) 성능이 붕괴하며, 중간 깊이에서 나타나고, 3B 무렵 0.94 부근에서 포화되며, GPT-2 XL에서는 더 약하게(0.76) 나타난다. 이러한 격차는 Llama 계열을 넘어 다른 인과적 언어 모델, 양방향 인코더(DeBERTa, RoBERTa), 인코더-디코더(Flan-T5, T5, BART)에서도 유지된다. 고정된 독립 인코딩 위의 고정형 또는 선형 리더는 동일성을 끝내 복원하지 못하며, 비선형 쌍(pair) 리더는 전체 49k 쌍의 PAWS 학습 분할에서만 일부를 복원한다(0.68-0.87). 기성 리랭커는 결과가 갈린다. BGE-reranker-large는 0.94에 도달하는 반면, MS-MARCO와 Jina는 0.55-0.64에 머문다. 독립적으로 학습된 모델 계열들이 동일한 관계를 계산하며, 1.5B 결합 리더는 레이블 없는 교사(teacher) 점수로부터 이를 지식 증류할 수 있지만, 교사 자신의 독립 벡터에 대한 어떤 선형 함수로도 이는 불가능하다. 바이 인코더(bi-encoder)를 PAWS에 맞게 파인튜닝할 수는 있으나(0.87-0.93), 전이 성능과 STS-B 성능이 저하된다. 코사인 유사도는 표현의 이웃 관계를 비교할 뿐이며, 동일성은 어느 쪽 문장 벡터의 속성도 아닌, 저렴하게 계산되는 연산자이다.
DCRL: 정책-보상 매니폴드 정렬을 통한 강화학습의 분리와 결합
DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment
강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.