arXiv:1906.06401

"My Way of Telling a Story": Persona based Grounded Story Generation

Shrimai Prabhumoye, Khyathi Raghavi Chandu, Ruslan Salakhutdinov, Alan W. black

제출 2019-06-14

원문 초록

Visual storytelling is the task of generating stories based on a sequence of images. Inspired by the recent works in neural generation focusing on controlling the form of text, this paper explores the idea of generating these stories in different personas. However, one of the main challenges of performing this task is the lack of a dataset of visual stories in different personas. Having said that, there are independent datasets for both visual storytelling and annotated sentences for various persona. In this paper we describe an approach to overcome this by getting labelled persona data from a different task and leveraging those annotations to perform persona based story generation. We inspect various ways of incorporating personality in both the encoder and the decoder representations to steer the generation in the target direction. To this end, we propose five models which are incremental extensions to the baseline model to perform the task at hand. In our experiments we use five different personas to guide the generation process. We find that the models based on our hypotheses perform better at capturing words while generating stories in the target persona.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.26631v2cs.CV공통 태그 Decoder

효율적인 다중 턴 반복 멀티모달 추론을 위한 적응형 시각 KV 캐시 재사용

Adaptive Visual KV Cache Reuse for Efficient Multi-Turn Iterative Multimodal Reasoning

다중 턴 시각 추론은 반복적인 크롭과 국소 검사를 통해 증거를 확보하지만, 관측 영역이 겹치면 시각 인코딩과 프리필이 중복된다. 본 논문은 추가적인 이미지 세부 정보에 대한 접근을 유지하면서 반복 처리를 줄이는 적응형 시각 KV 캐시 재사용 프레임워크를 제안한다. 핵심적인 어려움은 시각 프리필을 생략하면 새로운 관측과 현재 추론 사이의 상호작용도 함께 사라진다는 점이다. 과거의 키는 이전 위치에 묶여 있고, 과거의 값에는 크롭 사이에서 형성된 의도가 반영되어 있지 않다. 본 프레임워크는 먼저 크롭 크기와 캐시 가용성에 따라 전체 재인코딩과 영역 재사용 중 하나를 선택한다. 재사용 경로에서는 위치 키 재결합(Positional Key Rebinding, PKR)이 새로운 위치에서의 어텐션 매칭을 보정하고, 의도 유도 값 강화(Intent-guided Value Enhancement, IVE)가 크롭 이전의 추론 어텐션을 이용해 현재 목표와 관련된 내용을 강화한다. 전체 재인코딩된 크롭의 소스 상태는 이후의 검색과 재사용을 위해 보존된다. 본 프레임워크는 재사용이 적중한 경우 추가 학습이 필요하지 않으며, 선택된 시각 토큰에 대해 시각 인코더와 프리필을 건너뛴 뒤 일반적인 텍스트 추론을 재개한다. 실험 결과, 제안한 방법은 중간 크롭 이미지에 의존하는 다중 턴 시각 추론의 전체 정확도를 유지하면서 추론 시간을 줄인다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.03236v2cs.CL공통 태그 Decoder

TACG: 확산 언어 모델 디코딩을 위한 궤적 인식 커밋 게이팅

TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding

확산 언어 모델은 각 노이즈 제거 단계에서 많은 마스크 위치를 예측하지만, 효율성과 출력 품질은 어떤 예측이 진화하는 문맥에 들어가는지에 달려 있다. 신뢰도는 이 결정에 유익하지만 불완전하다. 신뢰도가 같더라도 정체성과 지지 이력이 다른 제안은 서로 다른 1단계 수정률을 보인다. 우리는 현재 토큰 제안과 이를 확정할지에 대한 결정을 분리하는 학습 불필요 디코더인 궤적 인식 확정 게이팅(Trajectory-Aware Commit Gating, TACG)을 제안한다. TACG는 현재 제안의 로짓을 이전 로짓의 지수 이동 평균과 대비하여 그 제안의 시간적 지지도를 점수화하고, History Gate를 통해 제안의 정체성이 유지될 것을 요구하며, 단계당 상한이 있는 개수의 추가 위치를 승격한다. 게이트는 어떤 위치를 언제 확정할지를 결정하며, 기록되는 모든 토큰은 동시점의 기본 제안으로 유지된다. 명시된 단일 시드 프로토콜 하에서 4개 과제 전체에 대한 LLaDA 평가에서, 측정된 과제별 동작점은 평균 모델 평가 67.82회로 평균 정확도 51.02\%에 도달하며, 이는 Native Confidence의 48.00\%와 76.59회에 비해 우수하다. 이벤트별 확정 개수를 일치시킨 리플레이에서, 이력 기반 선택은 샘플당 NFE가 동일할 때 신뢰도 순위 방식보다 정확도가 8.3포인트 높다. 이력 참조 개입은 기본 제안 기록 규칙을 유지하면서 확정 시점을 변경한다. Dream과 LLaDA2-Mini에 대한 실험은 여러 백본과 생성 길이에 걸쳐 품질-비용 거동을 규명한다. 코드는 https://github.com/Clarence-CV/TACG-DLLM 에 공개되어 있다.

arXiv:2607.05721v3cs.CL공통 태그 Decoder

SpanUQ: 대규모 언어 모델 생성을 위한 스팬 수준 불확실성 정량화

SpanUQ: Span-Level Uncertainty Quantification for Large Language Model Generation

불확실성 추정은 LLM의 신뢰할 수 있는 배포에 필수적이다. 이는 자기 정제를 뒷받침하고, 검증기에서 협업 에이전트에 이르는 하위 시스템의 의사결정 신호로 쓰인다. 그러나 기존 접근법은 최적이 아닌 단위에서 동작한다. 토큰 수준 점수는 의미적 일관성이 부족하고, 시퀀스 수준 점수는 오류를 국소화하지 못한다. 우리는 불확실성에 자연스러운 단위, 즉 각각 평가 가능한 하나의 의미 단위를 전달하는 의미적으로 일관된 텍스트 스팬을 대상으로 하는 새로운 과제인 스팬 수준 불확실성 추정(SLUE)을 정식화한다. 이 과제를 해결하기 위해, 비용이 큰 다중 샘플 추론의 불확실성 지식을 LLM 은닉 상태에 대한 단일 순전파로 증류하는 경량 프로브 SPANUQ를 제안한다. SPANUQ는 DETR 방식의 스팬 디코더를 사용하여 스팬을 검출하는 동시에 베타 분포 혼합을 통해 그 불확실성을 추정하며, 베타 NLL 회귀와 대조적 순위 목적함수를 원칙적으로 결합하여 학습된다. 우리는 다중 샘플 주장 검증에서 도출한 연속적인 소프트 레이블과 함께 2만 개의 프롬프트와 29만 3천 개의 주석된 스팬으로 구성된 최초의 스팬 수준 불확실성 벤치마크 SPANUQ-BENCH를 구축한다. 다섯 가지 LLM 백본에 대한 실험에서 SPANUQ는 일관되게 최고의 스팬 수준 불확실성 품질을 달성하여, 가장 강력한 프로브 기준선과 모든 샘플링 기반 방법을 능가하면서도 10~20배 빠르다. DETR 기반 스팬 검출기는 0.910 F1을 달성하여 최고의 휴리스틱을 39.4% 앞서며, 시퀀스 수준 방법이 제공할 수 없는 정밀한 오류 국소화를 가능하게 한다. 동일한 아키텍처는 두 모델 계열에 걸친 다섯 가지 LLM에 적용되며 백본마다 프로브를 하나씩 학습한다. 또한 시퀀스 수준 불확실성이 부분적으로 분해 가능함을 관찰하였으며, 이는 스팬 수준 추정이 시퀀스 수준 추정을 특수한 경우로 포함함을 시사한다. 프로젝트 페이지는 damon-demon.github.io/SpanUQ 에서 확인할 수 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.