PyTorchKR Papers

업데이트된 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.08810v3cs.CL

What Simple Readouts Miss in Continuous Language Diffusion

How much of a learned decoder can a simple readout preserve? On generated ELF and AURORA states, token-wise affine maps recover $97.17\%$ and $95.74\%$ of native lexical decisions. Contextual computation has already produced these states; only the terminal readout is simplified. The remaining disagreements matter beyond their count: equal-count rare-first and low-native-margin-first repairs have opposing pooled evaluator effects in both interfaces. On conditional summarization, rare-first improves reference similarity, while source consistency remains unresolved. Score accounting locates part of the benefit on unchanged text despite increased unigram cost, without identifying rarity as a cause. Repeatable repair effects do not ensure prediction transfer: a frozen predictor improves on two ELF checkpoints but fails on a distilled student. A separate task-fitted selector improves BERTScore over random selection by $0.261$ points on 256 fresh articles at a $50\%$ native-call budget; all-native decoding remains higher-scoring and acceleration is unestablished. Compressed and directional interface tests further distinguish fitting-state coverage, native decisions, and soft inputs. Together, the results motivate testing a simplification at three levels: preserved decisions, output consequences, and computational savings. Native decisions are fidelity targets, not semantic truth.

arXiv:2606.11552v3cs.CL

확산 모델에게 좌측에서 우측으로의 추측을 가르치기

Teaching Diffusion to Speculate Left-to-Right

대규모 언어 모델(LLM)은 다양한 작업에서 놀라운 성능을 달성하지만, 본질적으로 순차적인 토큰 생성으로 인해 자기회귀 디코딩 과정에서 상당한 추론 비용이 발생합니다. 사양 디코딩은 가벼운 드래프트 모델을 사용하여 여러 미래 토큰을 제안하고, 이를 더 큰 타겟 모델이 병렬로 검증하는 방식으로 이 병목 현상을 해결합니다. 최근 연구에서는 확산 언어 모델이 드래프트 토큰의 전체 블록을 병렬로 생성할 수 있어 자기회귀 드래프팅의 순차적 제약을 완화할 수 있으므로 이 설정에 매우 적합하다는 것이 입증되었습니다. 이 체계의 미묘한 점은 블록 확산 드래프터가 블록 내에서 토큰을 양방향으로 생성하는 반면, 검증은 토큰을 엄격하게 좌측에서 우측으로 평가하는 자기회귀 타겟 모델에 의해 수행된다는 것입니다. 이로 인해 대칭적인 학습 시간 목적 함수와 비대칭적인 검증 시간 보상 사이에 격차가 발생합니다. 본 연구에서는 이러한 격차를 좁히는 세 가지 학습 시간 개입에 대한 실증적 분석을 제공합니다: 토큰 위치 가중치, 각 블록 내에서 수락된 접두 문맥을 깨뜨리는 위치를 타겟팅하는 첫 번째 오류 포컬 손실, 그리고 기대 수락 길이에 대한 미분 가능한 대리 함수를 대체하는 체인 손실 항입니다. 이 세 가지 개입은 서로 직교하는 축(위치, 블록 조건부 첫 번째 오류, 결합 접두 문맥)을 따라 작동하며 가산적으로 결합됩니다. 또한 이들은 다중 드래프트 자기 선택과 같은 테스트 시간 정렬 메커니즘과도 직교하므로 원칙적으로 결합할 수 있습니다. 4개의 타겟 모델과 6개의 추론, 코드, 대화 벤치마크에서 이 세 가지 개입은 추가적인 순방향 패스를 추가하거나 추론 파이프라인 및 거부 샘플링 정확성 계약을 변경하지 않고, 위치 균일 기준선 대비 벤치마크당 수락된 드래프트 길이를 21-76% 증가시켰습니다.