arXiv:2001.11694

Pseudo-Bidirectional Decoding for Local Sequence Transduction

Wangchunshu Zhou, Tao Ge, Ke Xu

제출 2020-01-31

원문 초록

Local sequence transduction (LST) tasks are sequence transduction tasks where there exists massive overlapping between the source and target sequences, such as Grammatical Error Correction (GEC) and spell or OCR correction. Previous work generally tackles LST tasks with standard sequence-to-sequence (seq2seq) models that generate output tokens from left to right and suffer from the issue of unbalanced outputs. Motivated by the characteristic of LST tasks, in this paper, we propose a simple but versatile approach named Pseudo-Bidirectional Decoding (PBD) for LST tasks. PBD copies the corresponding representation of source tokens to the decoder as pseudo future context to enable the decoder to attends to its bi-directional context. In addition, the bidirectional decoding scheme and the characteristic of LST tasks motivate us to share the encoder and the decoder of seq2seq models. The proposed PBD approach provides right side context information for the decoder and models the inductive bias of LST tasks, reducing the number of parameters by half and providing good regularization effects. Experimental results on several benchmark datasets show that our approach consistently improves the performance of standard seq2seq models on LST tasks.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.22757v1cs.LG공통 태그 Decoder, Inductive Bias

대규모 언어 모델에서의 계층적 등급화

Hierarchical Grading in Large Language Models

우리는 트랜스포머의 표현 공간에 등급(grading)을 부여하고, 그로 인해 유도된 가중 스칼라 작용을 임베딩, 셀프 어텐션, 그리고 학습 목표 함수 전반에 전파하는 대수적 프레임워크인 등급화 대규모 언어 모델(Graded Large Language Models, GLLM)을 제안한다. 이 구성은 등급화 신경망(graded neural networks) 및 등급화 트랜스포머(graded transformers) 이론을 자기회귀(autoregressive) 언어 모델로 확장하면서, 표현력, 점근적 계산 복잡도, 그리고 추론 비용을 보존한다. 지배적인 기하학적 그림은 기하 불변 이론(geometric invariant theory)에 해당한다. 등급화의 이점은 등급화 토러스(grading torus) 위의 Kempf-Ness 함수로 표현된다. 균일(uniform) 아키텍처보다 나은 등급(grades)들은 개방 볼록 원뿔(open convex cone)을 이루며, 그 소속 여부는 등급 방향을 목표(target)와 데이터의 두 가지 측정 가능한 프로파일(profile)과 짝지어 비교하는 Hilbert-Mumford형 기준에 의해 결정된다. 최적 등급은 두 moment map의 일치점이며, 폐형식(closed form)으로 주어진다. 그리고 일반적인 트랜스포머는 원뿔 경계 위의 반안정(semistable) 등방(isotropic) 점으로 나타난다. 즉, 두드러진 최적점이라기보다 더 큰 등급화 계열의 한 구성원이다. 별도로, 수준 계층화(level-stratified) 목표에 대해 등급화 사전분포(prior)와 그 부재 사이의 minimax 분리를 증명한다. 모든 추정량(estimator)에 걸쳐, 등급화된 목표 클래스와 균일 목표 클래스의 위험(risk)은 명시적인 표본 크기(sample size) 구간 전체에서 분리되며, 기하학적 계층화(geometric stratification) 하에서 수준(level) 수에 대해 지수적으로 감쇠하는 인자만큼 분리된다. 두 프로파일 모두 오프라인으로 추정 가능하므로, 최적 등급은 학습이 시작되기 전에 검증된 볼록 프로그램(convex program)을 풀어 구한다. 등급화는 학습 후 학습된 파라미터에 흡수되므로, 모든 GLLM은 동일한 아키텍처와 추론 복잡도를 갖는 표준 트랜스포머로 컴파일된다.

arXiv:2607.24471v1cs.CL공통 태그 Decoder, Inductive Bias

트랜스포머 추론에서 잠재 알고리즘 라우팅의 그라운딩

Grounding latent algorithm routing in transformer reasoning

문맥 내 학습(ICL) 문헌의 핵심 질문은 트랜스포머가 서로 다른 귀납적 바이어스(inductive-bias) 계열을 중심으로 에피소드 수준의 적응을 조직할 수 있는지 여부이다. 본 연구는 잠재 알고리즘 라우팅(latent algorithm routing)을 통해 이 질문을 통제된 설정에서 다룬다. 잠재 알고리즘 라우팅이란 프롬프트 형식은 고정된 채로 잠재 데이터 생성 체제에 따라 solver-family 선호가 변하고, 방해 요인(nuisance) perturbation 하에서 안정적으로 유지되며, 답변 품질의 큰 손실 없이 표적화된 activation 개입에 선택적으로 영향을 받는 route-like 행동을 말한다. 우리는 ROUTEBENCH라는 진단 벤치마크를 도입한다. 이 벤치마크의 각 체제는 전역 수축(global shrinkage), 희소성, 견고성(robustness), 국소성(locality)을 차등적으로 선호하며, ridge-like, lasso-like, Huber-like, kNN-like 계열 대표로 이를 구현한다. 44M–612M 파라미터 규모로 처음부터 학습된 dense decoder-only 트랜스포머 전반에서, 306M 모델은 oracle-routing gap의 80.9%를 메우고 route F1 84.1을 달성한다. 이 효과는 자연어 렌더링, 셔플된 support, 어휘적 paraphrase, 통합 4-way 라우팅 설정에서도 상당한 수준을 유지한다. 입력 조건부 soft mixture와 비지도 Gumbel router를 포함한 더 강한 적응적 대안들은 gap을 줄이지만 route F1과 OOD(out-of-distribution) 성능에서는 306M 및 612M 모델보다 낮다. Probe 대조군과 matched activation-patching 대조군은 route 관련 내부 방향이 디코딩 가능하고 solver-family 일관적 출력 행동에 기능적으로 관여함을 추가로 보여준다. 이러한 결과는 ROUTEBENCH에서 학습된 dense 트랜스포머가 route-like 내부 변수를 발달시킬 수 있다는 통제된 증거를 제공하지만, 사전학습(pre-training) 언어 모델이나 제한 없는 자연어 추론에서의 보편적 라우팅을 입증하지는 않는다.

arXiv:2607.20539v1cs.LG공통 태그 Decoder, Inductive Bias

데이터 부족 생물공정 모델링을 위한 생물동역학 지식 사전 활용

Leveraging Biokinetic Knowledge Priors for Data-Scarce Bioprocess Modeling

심층 학습은 신약 개발을 가속화했지만, 생물학적 제조(biomanufacturing)에 미친 영향은 훨씬 더 제한적이었다. 그 이유는 데이터 부족이다. 바이오리액터 실험은 비용이 높고 며칠에서 몇 주가 걸리며, 공개적으로 공유되는 경우가 드물어 각 연구는 소수의 실험만을 갖게 된다. 그러나 해당 도메인 자체는 풍부한 사전 지식을 갖고 있다. 생물동역학 상미분방정식(ODE) 모델은 수십 년간 미생물 성장을 기술해 왔지만, 이러한 지식을 신경망에 주입하는 방법은 체계적으로 연구된 적이 없다. 우리는 ODE 지식을 신경망에 주입하는 방법에 대한 최초의 체계적 연구를 제시하며, 시뮬레이션된 ODE 곡선으로 범용 디코더를 사전학습하는 데이터 수준 사전과 ODE를 디코더 내부에 내장하는 아키텍처 수준 사전을 비교한다. 두 방법 모두 11개 데이터셋과 7종의 미생물에 걸쳐 사전 없는 기준선을 지속적으로 능가한다. 우리의 핵심 발견은 두 방법이 상호 대체 가능하다는 것이다. 시뮬레이션으로 사전학습된 범용 디코더는 실제 데이터로 학습된 완전히 생물학적 구조를 갖춘 디코더와 동등한 성능을 보인다. 따라서 시뮬레이션 사전학습은 생물공정 데이터 부족 환경에서 심층 학습을 위한 간단하고 데이터 효율적인 방법을 제공한다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2609.26249v2cs.CL공통 태그 Decoder

PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩

PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models

LLaDA와 Dream 같은 확산 언어 모델(dLLM)은 생성 품질에서 자기회귀(AR) LLM과 경쟁할 수준이 되었으며, 기본적으로 병렬 디코딩을 지원한다. 표준적인 가속 전략은 블록 단위 디코딩으로, 각 순전파에서 길이 B의 블록을 예측하고 신뢰도가 높은 토큰을 확정한다. 신뢰도 임계값 기반 확정은 어떤 토큰을 수용할지를 적응시키지만, 고정된 B는 여전히 예측 범위를 제한한다. 기존의 호라이즌 정책은 수동으로 정한 크기, 변동성 통계, 또는 후보 경계 점수를 사용한다. 이에 반해 우리는 모델 자체의 단계별 신뢰도를 사용한다. 윈도우 내 신뢰도는 대체로 문맥에 의존적인 절벽(cliff) 형태를 따르며, 이는 선행 호라이즌을 적응시키기 위한 직접적인 신호를 제공한다. 본 연구에서는 이 매개변수화된 절벽을 닫힌 형태로 주기적으로 다시 적합하고, 공유된 신뢰도 앵커에서 다음 호라이즌을 설정하며, 신뢰도 임계값 기반 토큰 확정을 유지하는 PACE-dLLM을 제안한다. iid이며 정책과 무관한 단조 프로파일을 갖는 포화 수율 추상화 하에서, 오라클 호라이즌은 최대 패스당 수율을 달성하는 가장 작은 값이며, 고정 블록이 양의 확률로 이에 미달할 때 점근적 순전파 비율을 개선한다. 두 개의 오픈소스 dLLM 백본에 대한 네 가지 추론 및 코드 벤치마크에서, PACE-dLLM은 평가된 디코더 중 두 백본 모두에서 가장 높은 평균 정확도를 달성하며, 가속하지 않은 반자기회귀 기준선 대비 LLaDA에서 평균 5.23배, Dream에서 3.06배(LLaDA MATH에서 최대 8.52배)의 처리량 향상을 얻어 품질–처리량 파레토 경계를 진전시킨다.

arXiv:2607.03236v2cs.CL공통 태그 Decoder

TACG: 확산 언어 모델 디코딩을 위한 궤적 인식 커밋 게이팅

TACG: Trajectory-Aware Commit Gating for Diffusion Language Model Decoding

확산 언어 모델은 각 노이즈 제거 단계에서 많은 마스크 위치를 예측하지만, 효율성과 출력 품질은 어떤 예측이 진화하는 문맥에 들어가는지에 달려 있다. 신뢰도는 이 결정에 유익하지만 불완전하다. 신뢰도가 같더라도 정체성과 지지 이력이 다른 제안은 서로 다른 1단계 수정률을 보인다. 우리는 현재 토큰 제안과 이를 확정할지에 대한 결정을 분리하는 학습 불필요 디코더인 궤적 인식 확정 게이팅(Trajectory-Aware Commit Gating, TACG)을 제안한다. TACG는 현재 제안의 로짓을 이전 로짓의 지수 이동 평균과 대비하여 그 제안의 시간적 지지도를 점수화하고, History Gate를 통해 제안의 정체성이 유지될 것을 요구하며, 단계당 상한이 있는 개수의 추가 위치를 승격한다. 게이트는 어떤 위치를 언제 확정할지를 결정하며, 기록되는 모든 토큰은 동시점의 기본 제안으로 유지된다. 명시된 단일 시드 프로토콜 하에서 4개 과제 전체에 대한 LLaDA 평가에서, 측정된 과제별 동작점은 평균 모델 평가 67.82회로 평균 정확도 51.02\%에 도달하며, 이는 Native Confidence의 48.00\%와 76.59회에 비해 우수하다. 이벤트별 확정 개수를 일치시킨 리플레이에서, 이력 기반 선택은 샘플당 NFE가 동일할 때 신뢰도 순위 방식보다 정확도가 8.3포인트 높다. 이력 참조 개입은 기본 제안 기록 규칙을 유지하면서 확정 시점을 변경한다. Dream과 LLaDA2-Mini에 대한 실험은 여러 백본과 생성 길이에 걸쳐 품질-비용 거동을 규명한다. 코드는 https://github.com/Clarence-CV/TACG-DLLM 에 공개되어 있다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.