arXiv:1909.09492

Controllable Length Control Neural Encoder-Decoder via Reinforcement Learning

Junyi Bian, Baojun Lin, Ke Zhang, Zhaohui Yan, Hong Tang, Yonghe Zhang

제출 2019-09-17

원문 초록

Controlling output length in neural language generation is valuable in many scenarios, especially for the tasks that have length constraints. A model with stronger length control capacity can produce sentences with more specific length, however, it usually sacrifices semantic accuracy of the generated sentences. Here, we denote a concept of Controllable Length Control (CLC) for the trade-off between length control capacity and semantic accuracy of the language generation model. More specifically, CLC is to alter length control capacity of the model so as to generate sentence with corresponding quality. This is meaningful in real applications when length control capacity and outputs quality are requested with different priorities, or to overcome unstability of length control during model training. In this paper, we propose two reinforcement learning (RL) methods to adjust the trade-off between length control capacity and semantic accuracy of length control models. Results show that our RL methods improve scores across a wide range of target lengths and achieve the goal of CLC. Additionally, two models LenMC and LenLInit modified on previous length-control models are proposed to obtain better performance in summarization task while still maintain the ability to control length.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.01687v1cs.CV공통 태그 Decoder, Reinforcement Learning

구조적 샘플링: 동결된 비전-언어 모델에서 계산적 다양성을 통한 테스트 시점 스케일링

Architectural Sampling: Test-Time Scaling via Computational Diversity in Frozen Vision-Language Models

테스트 시점 스케일링(test-time scaling)은 동결된 모델에서 여러 응답을 샘플링하여 더 나은 답변을 도출하고자 하지만, 기존의 온도 샘플링(temperature sampling)은 모든 후보를 동일하고 고정된 계산 경로를 따라 생성합니다. 본 논문에서는 디코더 레이어의 특정 블록을 재사용함으로써 서로 다른 순전파 계산 경로를 통해 후보군을 생성하는 무학습(training-free) 기법인 구조적 샘플링(architectural sampling)을 소개합니다. 블록의 위치와 반복 횟수를 다양화하면 모델 가중치를 업데이트하거나 보조 파라미터를 추가하지 않고도 계산적 다양성을 도입할 수 있습니다. 5개의 Qwen 체크포인트와 12개의 멀티모달 벤치마크에 걸쳐, 구조적 샘플링은 동일한 9개 후보 예산에서 표준 경로 온도 샘플링 대비 pass@9을 평균 6.58%p 향상시킵니다. 초기 레이어를 재사용할 때 가장 큰 성능 향상을 보였으며, 후보 커버리지의 개선은 그리디 디코딩(greedy decoding) 하에서도 지속됩니다. 이렇게 생성된 후보들은 어휘적 중복도가 낮으며, 라벨이 없는 테스트 시점 강화학습을 위한 롤아웃(rollout)으로 사용될 때 정확도를 향상시킵니다. 이러한 결과는 구조적 샘플링의 이점이 후보 커버리지를 넘어 확장되며, 모델 자체 출력으로부터 더 효과적인 학습이 가능함을 보여줍니다.

arXiv:2609.27650v1cs.CL공통 태그 Decoder, Text Generation

뇌-언어 디코딩: 태스크, 신호, 방법론, 평가, 실질적 활용 및 그 너머

Brain-to-Language Decoding: Tasks, Signals, Methods, Evaluation, Practical Use and Beyond

뇌-언어 디코딩(brain-to-language decoding)은 언어 생성, 내적 발화(internal speech), 지각과 관련된 신경 활동을 언어적 또는 표현적 출력으로 변환한다. 이는 발화 능력 상실 후 의사소통을 회복하는 경로이자 뇌가 언어를 어떻게 표현하는지 연구하는 수단을 제공한다. 신경 기록 및 표현 학습(representation learning)의 발전은 이 분야를 제한된 인식 및 음향 재구성을 넘어 텍스트 생성, 스트리밍 개인화 음성, 얼굴 애니메이션으로 확장시켰다. 본 서베이는 침습적 및 비침습적 측정을 아우르는 이러한 발전들을 종합하며, 하한 연도 제한이 없는 검색과 2026년 9월까지의 소스 주도 업데이트를 활용한다. 우리는 발화된(Articulated), 내적인(Inner), 지각된(Perceived) 태스크를 이들이 관여시키는 신경 집단, 디코더가 활용 가능한 표현, 그리고 해당 표현이 지원할 수 있는 출력과 연결한다. 또한 모델(model) 개발, 공개 자원, 평가(evaluation)의 진화를 검토하고, 보고된 프로토콜 내에서 발표된 성능과 의사소통 비용을 비교한다. 본 종합 연구는 발전을 위한 상호보완적인 경로를 규명한다. 음성적, 음향적, 의미론적 타깃은 메시지의 서로 다른 측면을 보존하고, 공유 표현은 기록 조건과 태스크 전반에 걸친 재사용을 지원하며, 온라인 의사소통은 디코딩 정확도뿐만 아니라 캘리브레이션, 피드백, 사용자 제어에 점차 의존하고 있다. 공유 벤치마크(benchmark)는 알고리즘 비교를 가능하게 하는 한편, 종단 연구는 지속적인 사용에 따른 요구사항을 보여준다. 우리는 이러한 발전과 남아있는 한계를 논의한 뒤, 명령어와 언어에서 의미, 시나리오, 양방향 인지적 교환에 이르는 미래 지향적인 5단계 궤적을 제시한다.

arXiv:2609.27925v1cs.CL공통 태그 Decoder, Text Generation

듣지 말아야 할 때를 학습하기: 언어 모델을 위한 선택적 간섭 방지 사전학습

Learning When Not to Listen: Selective Anti-Interference Pretraining for Language Models

언어 모델은 관련 없는 앞선 텍스트에 과도하게 조건화될 수 있다. 로컬 컨텍스트만으로 이미 뒷받침되는 예측조차, 멀리 떨어진 무관한 접두 문맥(prefix) 토큰이 교란되면 달라질 수 있다. 이러한 간섭은 유용한 근거와 무관한 구간이 공존하는 길거나, 패킹되었거나, 방해 요소가 많은 컨텍스트에서 특히 심각한 결과를 낳는다. 우리는 선택적 간섭 방지를 위한 사전학습 목적 함수인 Selective Prefix Anti-Interference Regularization(SPAR)을 제안한다. SPAR는 원본 시퀀스와, 먼 접두 문맥만 변경한 손상된 접두 문맥(corrupt-prefix) 입력을 함께 실행한 뒤, 짧은 컨텍스트 충분성 게이트(short-context sufficiency gate)와 게이트 적용 KL 목적 함수(gated KL objective)를 사용하여 로컬 컨텍스트로 뒷받침되는 후행 구간(suffix) 예측을 안정화한다. 이 게이트는 먼 접두 문맥이 대상 토큰에 대해 추가 정보를 제공하는지에 대한 모델 기반 추정을 구현한 것이다. 메커니즘 분석 결과, 게이트는 로컬 컨텍스트만으로 충분한 토큰을 식별하며, 게이트가 선택한 후행 구간 토큰에서 접두 문맥 민감도를 크게 감소시킨다. 사전학습된 베이스 모델에 대한 지속 학습(continued training)에서, SPAR는 동일한 집계 학습 연산량 조건 하에 Qwen2.5-0.5B, Qwen2.5-3B, Llama-3.2-1B, Llama-3.1-8B, GPT2-XL 전반에서 RULER 성능을 향상시켰으며, 사전학습 실험에서는 RULER와 NoLiMa 모두에서 성능 향상을 추가로 확인했다. 이러한 결과는 선택적 간섭 방지가 견고한 컨텍스트 활용을 위한 효과적인 목적 함수 수준의 신호임을 보여준다.

arXiv:2609.27572v1cs.LG공통 태그 Reinforcement Learning, Text Generation

DCRL: 정책-보상 매니폴드 정렬을 통한 강화학습의 분리와 결합

DCRL: Decoupling and Coupling Reinforcement Learning via Policy-Reward Manifold Alignment

강화학습(RL)은 대규모 언어 모델(LLM)의 추론 능력을 향상시키는 핵심 패러다임으로 부상했다. 그러나 규칙 기반 및 보상 모델 기반과 같은 기존 보상 시스템은 불안정한 최적화와 보상 해킹(reward hacking) 같은 문제를 자주 보인다. 본 연구에서는 기하학적 관점에서 LLM의 일반 추론을 재검토하고, 이를 논리적 연역, 평가, 표현의 세 가지 상호 의존적 부분 매니폴드(sub-manifold)로 구성된 결합 매니폴드(coupled manifold)로 개념화한다. 이 관점에 따르면 RL에서의 응답 생성은 평가 매니폴드로부터의 분리(decoupling) 과정으로, 보상 추정은 논리적 연역 매니폴드로부터의 분리 과정으로 해석할 수 있다. 규칙 기반 및 보상 모델 RL 시스템의 한계는 RL 과정에서 정책-보상 매니폴드의 불일치로 기하학적으로 해석할 수 있다. 앞서 언급한 정렬 불일치를 해결하기 위해 Decoupling and Coupling Reinforcement Learning(DCRL) 프레임워크를 제안한다. 이는 두 가지 핵심 구성 요소를 포함한다: (1) 보상 매니폴드의 표현력(expressiveness)을 높이기 위해 보상 루브릭을 동적으로 정교화하는 삼단논법(syllogistic logic) 기반 프�mp트 진화 메커니즘; (2) 일관된 평가를 보장하고 학습 중 매니폴드 불일치를 완화하기 위해 보상 모델과 정책 모델을 공동으로 갱신하는 정책-보상 재결합(re-coupling) 메커니즘. 다양한 추론 영역에 걸친 이론 분석과 광범위한 실험은 DCRL이 규칙 기반 및 보상 모델 기준선 모두를 일관되게 능가함을 보여준다. 특히 DCRL로 학습된 Qwen3-4B 모델은 Qwen3-32B 기준선을 넘어서며 Qwen3-235B 모델의 성능에 근접하여, RL에서의 뛰어난 효과와 일반화를 부각한다.

arXiv:2609.27581v1cs.LG공통 태그 Decoder, Text Generation

Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정

Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters

Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.