Multilingual Speech Translation with Efficient Finetuning of Pretrained Models
원문 초록
We present a simple yet effective approach to build multilingual speech-to-text (ST) translation by efficient transfer learning from pretrained speech encoder and text decoder. Our key finding is that a minimalistic LNA (LayerNorm and Attention) finetuning can achieve zero-shot crosslingual and cross-modality transfer ability by only finetuning less than 10% of the pretrained parameters. This enables effectively leveraging large pretrained models with low training cost. Using wav2vec 2.0 for acoustic modeling, and mBART for multilingual text generation, our approach advanced the new state-of-the-art for 34 translation directions (and surpassing cascaded ST for 23 of them) on large-scale multilingual ST benchmark CoVoST 2 (+6.4 BLEU on average across 15 En-X directions and +5.1 BLEU on average across 19 X-En directions). Our approach demonstrates strong zero-shot performance in a many-to-many multilingual model (+5.7 BLEU on average across 18 non-English directions), making it an appealing approach for attaining high-quality speech translation with improved parameter and data efficiency.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
Step Law는 소규모 언어 모델에도 전이되는가? 59M 파라미터 미만에서의 실증적 재보정
Does Step Law Transfer to Small-Scale Language Models? An Empirical Recalibration Below 59M Parameters
Step Law는 언어 모델 사전학습 시 최적 피크 학습률 η*와 배치 크기 B*에 대한 멱법칙(power-law) 공식을 제공한다. 원 저자들은 59M~1B 파라미터 모델에서 이를 보정했으며, N < 59M인 소규모 모델 영역은 실증적으로 검증한 적이 없다. 이 영역은 단일 GPU 학습, 해석 가능성 연구, 교육용 실험, 메모리·비용상 더 큰 모델을 쓰기 어려운 환경에서 중요하다. 우리는 Step Law가 소규모 언어 모델에도 전이되는지 검증한다. 세 가지 결과를 가정한다. H1: 원래 계수를 그대로 쓸 수 있다. H2: 멱법칙 형태는 유지되나 계수가 다르다. H3: 이 영역에서는 멱법칙이 최적점을 설명하지 못한다. 모든 실험은 2048 토큰 BPE 어휘, AdamW, warmup-cosine 스케줄을 사용하는 단일 nanoGPT/TinyStories 파이프라인에서 수행했다. 각 (N, D) 셀의 최적점은 평활화된 학습 손실에 대해 log-log 좌표에서 국소 이차 근사를 통해 손실 표면 L(η, B)에서 추출했다. 최종 데이터셋은 서로 다른 (N, D) 셀 29개와 분석에 사용 가능한 run 935개를 포함한다. 주 재적합은 작업 구간 4 <= D/N <= 600에서 25개 셀(815 runs)을 사용한다. 풀링 데이터에서는 H2를 채택한다. 함수 형태는 유지되나 계수는 원 논문과 다르다. η*(N, D) = 0.0985 N^(-0.508) D^(0.238) (R^2 = 0.834)와 B*(D) = 3.6 × 10^(-4) D^(0.931) (R^2 = 0.950)를 얻었다. Step Law의 구조적 주장인 B*의 N 비의존성은 재현된다(p = 0.87). 다만 B*가 D에 따라 증가하는 기울기는 원 논문의 거의 2배다. Step Law를 직접 전이하면 최적 학습률을 체계적으로 과대 추정한다. η_SL / η*의 중앙값 비는 약 4.0배이며, 범위는 2.4배에서 6.6배이다.
PACE-dLLM: 확산 언어 모델을 위한 신뢰도 절벽 추정 기반 탄력적 블록 디코딩
PACE-dLLM: Elastic Block Decoding via Confidence Cliff Estimation for Diffusion Language Models
점수는 구조가 아니다: 뇌 정렬과 교차 언어 전이
The Score Is Not the Structure: Brain Alignment and Cross-Lingual Transfer
유사도 점수는 모델(model)이 뇌 또는 여러 언어 전반에 걸쳐 구조를 공유한다는 증거로 자주 제시됩니다. 본 연구에서는 두 가지 설정에서 해당 구조가 제거되거나 이를 측정하는 도구가 작동하지 않을 때 이러한 점수가 무엇을 나타내는지 질문합니다. 17개 언어 전반에서 문법성 프로브(probe)는 거리가 더 먼 언어 간에 전이 성능이 더 낮습니다(r = -0.66). 그러나 프로브 자체의 정확도도 동일한 축을 따라 하락하며 가장 먼 5개 언어 중 4개를 포함한 4개 언어에서는 무작위 확률 수준(chance level)에 머뭅니다. 이들을 제외하면 설명 변량이 절반으로 줄어들고, 거리 범위 또한 좁아지기 때문에 이러한 설계로는 그래디언트(gradient) 중 얼마만큼이 측정 도구에 기인한 것인지 밝힐 수 없습니다. 272개의 언어 쌍을 독립적인 것으로 간주하면 조향 효과(steering effect)에 대해 p = 0.0006이 산출되지만, 17개 언어를 단위로 삼을 경우 이는 무효합니다(p = 0.155). 뇌 정렬(brain alignment)의 경우, 학습(training) 목표는 언어 모델(language model)과 fMRI 반응 간의 유사도를 0.10에서 0.34로 높이지만(신뢰도 상한선 0.54), 뇌 대응 관계가 파괴된 타깃도 여전히 0.31에 도달합니다. 셔플된 타깃은 랭크 k와 n개의 문장에 대해 실제 타깃 대비 약 k/n의 점수를 기록하는데, 이는 어떤 모델도 학습되기 전에 계산할 수 있는 기준선(baseline)입니다. 두 개입 모두 작동하지만, 거리 등급에 따른 조향 효과나 정렬을 통한 구문론적 이점은 감지되지 않았습니다. 대응 점수를 해석하기 전에, 대응 관계가 없는 상태에서 해당 점수가 얼마만큼 유지되는지 먼저 측정해야 합니다.
다국어 GSM-Symbolic: 언어 간 능력 전이를 결정하는 요인은 무엇인가?
Multilingual GSM-Symbolic: What determines capability transfer across languages?
한 언어에서 습득된 능력이 다른 언어로 어떻게 전이되는지, 혹은 무엇이 이러한 전이를 지배하는지에 대해서는 알려진 바가 거의 없습니다. 기존 평가는 비교 불가능하고 포화되기 쉬운 데이터셋에 의존하며 전이의 결정 요인들을 함께 검토하는 경우가 드뭅니다. 전이를 예측하는 요인을 식별하면 모든 언어 쌍에 걸친 소모적인 평가를 피할 수 있으며, 개발자가 저자원 언어에서의 성능을 제한하는 요소를 집중 공략할 수 있게 됩니다. 교차 언어 능력 전이를 평가하기 위해, 본 연구에서는 15개 언어에 걸쳐 항목별로 매칭된 30,000개의 질문-답변 쌍을 포괄하는 확장 가능한 다국어 수학 데이터셋인 Multilingual GSM-Symbolic을 소개합니다. 이 데이터셋은 단일 샘플로부터 수백만 개의 고품질 변형 생성을 가능하게 함으로써 과적합을 방지하고 일반화를 보장하기 위해 기호 템플릿을 활용합니다. Multilingual GSM-Symbolic을 사용하여 능력의 가장 큰 결정 요인을 모델 크기($β= 1.77$), 언어 자원 수준($β= 0.77$), 추론($β= 0.67$), 언어유형학적 거리($β= -0.25$)로 정량화합니다. 이러한 공동 추정을 통해 결정 요인들을 상호 간의 관계로 표현할 수 있습니다. 즉, 마라티어로 평가된 32B 모델은 영어에서의 10B 모델과 유사하게 동작합니다. 본 연구 결과는 모델 개발자에게 중요한 시사점을 제공하며, 모델 크기와 추론 능력이 저자원 언어와 고자원 언어 간의 성능 격차를 좁히는 반면($β= -0.27$ 및 $β= -0.20$), 유사한 수단들이 언어유형학적으로 거리가 먼 언어에는 거의 또는 전혀 영향을 미치지 않음을 보여줍니다. 전반적으로 본 분석 프레임워크는 언어 간 변량의 92%를 설명하지만 모델-언어 간 변량은 23%만 설명하며, 확인되지 않은 언어에 대한 모델의 성능을 6.0%p 이내로 예측합니다(r=.96). 타깃 언어에서 단 10개 템플릿의 측정값을 통합하면 이를 4.19%p로 낮출 수 있어, 다운스트림 데이터셋이 거의 없거나 아예 없는 상황에서도 합리적인 성능 추정이 가능해집니다.
트랜스포머 언어 모델의 순차 연산 증류
Distilling Sequential Computation in Transformer Language Models
트랜스포머 언어 모델은 자기회귀적으로 시퀀스를 토큰 단위로 처리하므로, 컨텍스트가 길어질수록 비용이 점점 커진다. 그러나 인접한 많은 토큰 구간은 예측 가능성이 높거나 안정적인 단위로 자주 등장하여, 이들의 표현은 압축 가능할 수 있음을 시사한다. 우리는 입력 토큰 구간을 경량 merge 모듈이 즉석에서 계산하는 축약 표현으로 대체함으로써 순차 연산을 증류하는 방법을 제안한다. 이 모듈은 정적 토큰 임베딩 시퀀스로부터 여러 토큰의 기능적 역할을 포착하는 단일 대리 임베딩을 생성하여, 사전학습된 모델이 아키텍처 변경이나 재학습 없이 압축된 입력으로 동작할 수 있게 한다. 이 접근법을 추론 시 프롬프트와 중간 디코딩 단계 모두를 압축하는 데 적용하며, 롤백 메커니즘으로 저장된 다중 토큰 KV 캐시 항목을 단일 단계 대리 표현으로 대체한다. 다양한 모델에 걸친 실험에서 merge 모듈을 사용하면 언어 모델링 평가와 질의응답, 요약, 상식 추론, 장문 수학적 추론 등 다운스트림 과제에서 정확도 저하를 최소화하면서 유효 시퀀스 길이를 최대 40%까지 줄일 수 있음을 보였다. merge 모듈에 대한 추가적인 경량 적응은 일부 설정에서 정확도-압축 트레이드오프를 더욱 개선한다. 이 결과는 트랜스포머에서의 순차적 토큰 연산이 모델 갱신 없이 원래 동작을 근사하는 응축된 대리 표현을 통해 효과적으로 근사될 수 있음을 보여준다.
병렬 Drafter가 병렬 추측 디코딩을 만날 때
When Parallel Drafter Meets Parallel Speculative Decoding
DSpark 스타일의 병렬 drafter는 추측 디코딩(speculative decoding)을 매우 효과적으로 만들었지만, draft 단계는 여전히 매 라운드 임계 경로(critical path)에서 직렬로 실행된다. 병렬 추측 디코딩(PSD)은 drafting과 검증(verification)을 겹치게 하지만, 기존 방법은 수용된 접두 문맥(prefix)과 보너스 토큰(bonus token)을 미리 추측해야 하며, 잘못된 추측은 전체 배치를 직렬 drafting으로 되돌린다. 우리는 효과적인 병렬 drafter를 재사용하면서도 매 라운드마다 백본–검증 겹침을 보장해 이러한 확률적 fallback을 완전히 없애는 PSD 프레임워크인 DPara를 제안한다. target이 검증하는 동안 DPara의 diffusion 백본은 보너스를 정하지 않은 채 모든 acceptance boundary에 대한 draft representation을 미리 계산하고, 경량 자기회귀(autoregressive) head가 드러난 검증 결과와 대응하는 사전 계산 representation을 결합해 다음 라운드의 draft 토큰을 거의 즉시 내보낸다—지배적인 백본 forward를 검증과 완전히 병렬화하고 무시할 수 있는 head 비용만 직렬로 남긴다. Qwen3-8B와 Qwen3-14B에 대해 수학·코딩·채팅 벤치마크 7개에서의 실험은 DPara가 자기회귀 디코딩 대비 평균 $3.21\times$ 및 $3.52\times$ 속도 향상을 달성하며, 가장 강한 직렬·병렬 추측 디코딩 baseline을 모두 능가함을 보여준다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.