arXiv:2004.02211

Syntax-driven Iterative Expansion Language Models for Controllable Text Generation

Noe Casas, José A. R. Fonollosa, Marta R. Costa-jussà

제출 2020-04-05

원문 초록

The dominant language modeling paradigm handles text as a sequence of discrete tokens. While that approach can capture the latent structure of the text, it is inherently constrained to sequential dynamics for text generation. We propose a new paradigm for introducing a syntactic inductive bias into neural text generation, where the dependency parse tree is used to drive the Transformer model to generate sentences iteratively. Our experiments show that this paradigm is effective at text generation, with quality between LSTMs and Transformers, and comparable diversity, requiring less than half their decoding steps, and its generation process allows direct control over the syntactic constructions of the generated text, enabling the induction of stylistic variations.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.28080v1cs.CL공통 태그 Language Modeling, Diversity, Text Generation

개방형 텍스트 생성에서 일관성과 다양성의 참조 기반 분석

Reference-Based Analysis of Coherence and Diversity in Open-Ended Text Generation

개방형 텍스트 생성을 평가하려면 연속(continuation)의 여러 속성이 체감 품질과 어떻게 연관되는지 이해해야 한다. 본 연구는 일관성과 다양성을 세 가지 관점에서 살펴보는 참조 기반 프레임워크를 제시한다: 인간 궤적과의 변화 정렬, 동일 프롬프트에 대한 인간 연속과의 요약 비교, 인간 참조 분포 하에서의 가능도 추정. 인간 품질 평가 실험에 따르면 다양성 기반 정렬과 평균 기반 비교는 품질 관련 변동을 포착하는 것으로 보이나, 비교만으로는 시간적 정렬이 더 단순한 베이스라인보다 예측적으로 유리하다는 점은 입증되지 않는다. 참조 가능도 역시 평가와 양의 연관을 보이며, 결과는 참조 설정과 스코어링 구간에 따라 달라진다. 이 분석들은 측정된 일관성·다양성이 인간 판단과 어떻게 연관되는지 구조적으로 검토하는 방법을 제공하며, 인간 참조와의 유사성과 품질 그 자체를 구분한다. 코드 및 분석 자료는 https://github.com/EstebanGarces/likely_human 에서 이용할 수 있다.

arXiv:2609.18094v3cs.LG공통 태그 Language Modeling, Diversity, Text Generation

Agora: 집단적 자동 연구를 위한 공유 메모리로서의 Git

Agora: Git as Shared Memory for Collective AutoResearch

서로 다른 세션에서 작업하는 연구 에이전트(agent)는 다른 에이전트가 무엇을 시도했는지, 어떤 결과를 기반으로 발전시킬 수 있는지 알아야 합니다. Agora는 이들의 기여를 Git 내의 추가 전용(append-only) 방향성 비순환 그래프(DAG)로 저장합니다. 각 커밋은 결과, 인사이트, 가설, 검증 또는 보고서를 기록하고 이를 이전 작업과 연결합니다. 검색 가능한 뷰는 선도적인 결과, 방치된 브랜치, 검증 상태를 보여주며, 다양성을 고려한 추천은 현재 선도 모델을 넘어선 실험을 제안합니다. 본 논문에서는 할당된 작업이나 중앙 플래너 없이 13개의 언어 모델 워커가 Agora를 사용하여 가중치 이전(weight-transfer) 문제를 해결한 약 12일간의 실행 과정을 보고합니다. 141개의 사전학습(pre-training)된 기증자(donor) 모델과 어떤 기증자와도 차원이 일치하지 않는 동결된 119.6M 매개변수 어텐션-SSM 하이브리드가 주어졌을 때, 워커들은 학습 데이터나 그래디언트 업데이트 없이 타깃을 초기화해야 했습니다. 워커들은 1,703건의 기여를 게시하였으며, 개발 평가자 점수를 바이트당 3.39비트에서 1.899비트로 낮춰 학습된 GPT-2 124M과의 격차를 62% 줄였습니다. 가장 우수한 방법은 기증자의 다음 토큰 통계를 타깃의 임베딩 및 출력 헤드로 압축한 후, 어텐션, 피드포워드, 상태 공간(state-space) 블록에 대한 희소 편집을 통해 단거리 문맥을 추가합니다. 이 방법의 145개 커밋 계보는 15개 계정에 걸쳐 있습니다. 참가자들은 또한 95개 타깃에 걸쳐 165회의 독립적인 재현을 게시했으며 보고된 실패는 없었습니다. 이번 실행은 에이전트가 공유된 작업을 어떻게 재사용하고 검증했는지를 기록합니다. 연산 단위당 발견 효과를 측정하려면 대조 비교가 필요합니다.

arXiv:2609.27657v1cs.LG공통 태그 Language Modeling, Diversity, Text Generation

FLEET: 텍스트 생성에서 로짓 엔트로피로부터 향상된 궤적으로

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

대규모 언어 모델(LLM) 기반의 솔루션은 완성 분포(completion distribution)에서 여러 샘플을 추출해 종합함으로써 정확도와 안정성을 향상하기 위해 온도 샘플링(temperature sampling)에 자주 의존합니다. 그러나 이러한 무기억(memoryless) 접근법은 본질적으로 차선책입니다. 이전 생성 결과 및 해당 평가에 대한 인식이 부족하기 때문에, 더 많은 샘플을 추출할수록 의미론적으로 중복된 답변의 비율이 증가하여 수확 체감으로 이어집니다. 이러한 한계를 해결하기 위해 생성 과정에 메모리 메커니즘을 통합하는 새로운 방법인 FLEET을 도입합니다. FLEET은 엔트로피가 사전 정의된 임계값을 초과하는 상태를 통과하는 희소 궤적(sparse trajectory)으로 각 생성을 표현하며, 이러한 궤적을 사용하여 로짓을 조정하는 토큰(token)별 효용 점수를 추론합니다. 벤치마크(benchmark) 평가는 FLEET이 반복 샘플링 기준선(baseline)과 동일한 정확도를 3배 빠른 속도로 달성하며, 동일한 예산 내에서 복잡한 코딩 태스크의 정확도를 크게 향상함(LiveCodeBench Pass@32가 59.9%에서 66.2%로 증가)을 입증합니다. 나아가 본 논문에서 평가된 탐욕적 디코딩(greedy-decoding) 구성에서 이 접근법은 결정론적이며 단일 캘리브레이션 패스를 사용하여 주요 하이퍼파라미터를 도출하므로 기존 LLM 파이프라인에 대한 수정이 최소한으로만 필요합니다.

arXiv:2609.26249v2cs.CL공통 태그 Language Modeling, Text Generation

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2610.15836v1cs.CL공통 태그 Language Modeling, Inductive Bias

잠재 분류체계: 언어 모델 사전학습에서 속성 유도는 어떻게 발달하는가

Latent Taxonomies: How Property Induction Develops in Language Model Pre-training

로빈(robin)이 종자골(sesamoid bone)을 가진다는 말을 들으면, 사람들은 이 속성을 참새에게 확장할 가능성이 고래에게 확장할 가능성보다 훨씬 높다. 이러한 행동은 범주 기반 속성 유도(category-based property induction)라고 불리며 인간에게서는 잘 입증되어 있지만, 다음 토큰 예측만으로 학습된 언어 모델에서 이러한 능력이 발달하는지, 그리고 어떻게 발달하는지는 명확하지 않다. 이를 밝히기 위해 우리는 공유하는 속성에 따라 그룹화된 합성 개체(synthetic entity)들의 계층적 분류체계(taxonomy)를 구성한다. 그런 다음 이 잠재 분류체계로부터 얻은 사실들을 Pythia와 OLMo 2 모델(70M에서 7B 파라미터)의 지속적 사전학습(continued pre-training)에 주입하고, 유도적 행동의 발달 과정을 추적한다. 우리는 분류체계에 부합하는 유도가 다음 토큰 예측만으로도 나타난다는 것을 발견했다: 한 개체에 대해 학습된 속성은 동일한 분류 범주 내에서 범주 간보다 더 강하게 전이된다. 내부적으로는 더 깊은 범주를 공유하는 개체들이 활성화 공간(activation space)에서 더 유사해지며, 군집화(clustering)를 수행하면 개체 표현(entity representation)으로부터 전체 분류 트리를 복원할 수 있다. 스케일이 도움이 될 것이라는 일반적인 예상과 달리, 데이터 예산이 고정된 경우 모델 크기가 커질수록 유도 능력이 약화되는 것으로 나타났으며, 이는 더 큰 모델이 개별 사실들을 공유 구조로 압축하기보다는 그대로 암기한다는 것을 시사한다. 또한 유도 능력은 분류체계 주입 이전의 사전학습이 많을수록 강화되고, 새로운 문맥 내(in-context) 속성으로도 전이되며, 프롬프트가 암시하는 잠재 분류체계에 의해 무효화될 수 있다. 종합적으로 이러한 결과는 모델의 유도적 일반화가 학습 데이터의 잠재적 구조를 반영한다는 것을 보여주며, 이는 데이터 큐레이션(data curation)과 학습된 사실이 얼마나 널리 전파될지 예측하는 데에 함의를 지닌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.