ASR을 위한 Speech-LLM 통합의 재고: 인터리빙을 통한 효과적인 음성-텍스트 공동 학습
Rethinking Speech-LLM Integration for ASR: Effective Joint Speech-Text Training by Interleaving
한국어 초록
음성-LLM(Speech-LLM) 통합은 방대한 텍스트 사전학습(pre-training)을 활용하여 유망한 결과를 보여주었으나, 자동 음성 인식(ASR)에 대한 구체적인 이점은 여전히 불분명하다. 본 연구에서는 지도 ASR 학습(training) 데이터가 증가함에 따라 LLM 사전확률(prior)의 기여도가 덜 뚜렷해지며, 단순한 음성-텍스트 공동 학습은 텍스트 지식을 충분히 활용하지 못한다는 점을 관찰하였다. 이에 따라 연속적인 입력을 수용하는 Speech-LLM 아키텍처를 위해 정렬된 쌍 내에서 단어 및 세그먼트 수준의 음성-텍스트 인터리빙(interleaved) 시퀀스를 구성하는 ASR 지향 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간의 ASR 데이터에 대한 실험 결과, ASR 전용 및 음성-텍스트 공동 학습 베이스라인 대비 일관된 개체명(entity) 정확도 향상을 보였다. JSTIP은 합성 음성-텍스트 쌍과 비교하여 도메인 전사 텍스트를 사용할 때 동등한 수준의 개체명 인식 성능을 달성하여 도메인 적응을 단순화한다. 텍스트 사전학습 및 도메인 텍스트 데이터의 이점을 바탕으로, JSTIP은 의료 개체명 인식에서 오픈소스 ASR 및 Speech-LLM 시스템과 경쟁력 있는 성능을 보인다. 나아가 제로샷(zero-shot) 음성 질의응답 양상은 인터리빙이 음성-텍스트 모달리티 간극을 줄이고 LLM의 생성적 사전확률을 보존함을 시사하며, 이는 ASR 태스크에서 개체명 성능이 향상된 이유일 가능성이 높다.
원문 초록
Speech-LLM integration has shown promising results by leveraging extensive textual pretraining, yet its specific benefits for automatic speech recognition (ASR) remain unclear. We observe that as supervised ASR training data increases, the contribution of LLM priors becomes less evident, and simple speech-text joint training under-utilizes textual knowledge. We therefore propose Joint Speech-Text Interleaved Pretraining (JSTIP), an ASR-oriented pretraining strategy that constructs word-level and segment-level interleaved speech-text sequences within aligned pairs for speech-LLM architectures that accept continuous inputs. Experiments on 38k hours of ASR data show consistent entity accuracy improvement compared to ASR-only and joint speech-text training baselines. JSTIP achieves on-par entity recognition performance using domain transcription text compared to synthetic speech-text pairs, simplifying domain adaptation. Benefiting from textual pretraining and domain text data, JSTIP is competitive with open-source ASR and Speech-LLM systems in medical entity recognition. The zero-shot speech question answering behaviors further suggest that interleaving reduces the speech-text modality gap and preserves the LLM generative prior, which is likely the reason for the entity improvements on the ASR task.
요약
자동 음성 인식(ASR)에서 대규모 언어 모델(LLM)의 텍스트 사전학습 지식이 ASR 학습 데이터 증가에 따라 희석되는 문제를 해결하기 위해, 정렬된 음성-텍스트 쌍 내에서 단어 및 세그먼트 단위로 두 모달리티를 교차 배치하는 사전학습 전략인 JSTIP(Joint Speech-Text Interleaved Pretraining)을 제안한다. 38,000시간 ASR 데이터 실험에서 JSTIP은 ASR 전용 학습 및 단순 음성-텍스트 공동 학습 대비 일관된 개체명 인식 정확도 향상을 달성하였으며, 제로샷 음성 질의응답 능력도 보존함을 확인했다.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2607.01733v2제출 시각 미확인
- arXiv:2607.01733v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
대규모 언어 모델(LLM)을 활용한 교통 관리 계획서 작성 지원: WisDOT WisTMP 시스템 사례 연구
Large Language Model-Assisted Preparation of Transportation Management Plans: A Case Study with WisDOT WisTMP System
공사 구간은 교통 인프라에서 매우 중요하면서도 위험한 요소로, 안전성과 이동성을 보장하기 위해 세심하게 설계된 교통 관리 계획서(TMP)가 필수적입니다. 그러나 TMP 작성은 여전히 많은 노동력이 소요되며 실무자의 전문성에 크게 의존하고 있습니다. 본 논문에서는 WisDOT WisTMP 시스템을 적용 환경으로 삼아 TMP 내용 생성을 자동화하는 대규모 언어 모델(LLM) 기반 프레임워크를 제안합니다. 이 프레임워크는 다양한 모델 규모에 걸쳐 여러 오픈소스 LLM을 미세조정(fine-tuning)하고, 데이터 보안을 보장하기 위해 이를 로컬 환경에 배포합니다. 모델 학습을 지원하기 위해, 과거 WisTMP 문서의 PDF 파일을 JSON 형식의 구조화된 질문-답변 쌍으로 변환하여 도메인 특화 데이터셋을 구축합니다. 실험 결과에 따르면 미세조정은 표준 텍스트 생성 지표 전반에서 성능을 크게 향상시키는 것으로 나타났습니다. 추가적인 섹션별 및 전략 수준 분석 결과, LLM이 전반적으로 우수한 성능을 달성함에도 불구하고 전략을 과도하게 생성하는 경향이 있으며, 프로젝트별 타당성 근거 및 정확한 비용 추정치를 생성하는 데 어려움을 겪는 것으로 드러났습니다. 또한, 모델 규모를 7B/8B에서 14B로 확장해도 성능 향상은 제한적이었습니다. 이러한 결과는 TMP 작성 효율성을 개선할 수 있는 LLM의 잠재력을 보여주는 동시에, LLM 지원 기반 TMP 개발에 남아 있는 과제들을 강조합니다. 소스 코드와 데모 영상은 https://zihaosheng.github.io/TMP-LLM/ 에서 공개될 예정입니다.
대규모 언어 모델(LLM) 추론을 위한 테스트 시점 캘리브레이션 학습
Test-time Calibration Learning for Large Language Model Reasoning
신뢰할 수 있는 대규모 언어 모델(LLM)은 정확한 답변을 생성하는 것뿐만 아니라, 정답일 확률을 충실히 반영하는 신뢰도(confidence)를 표현해야 한다. 이러한 캘리브레이션(calibration)은 불확실한 예측을 식별하고 실제 배포 환경에서의 신뢰할 수 있는 의사결정을 지원하는 데 필수적이다. 최근 연구들은 캘리브레이션 학습을 강화학습에 결합하여, 정답 여부에 대한 정답(ground-truth) 정확성 감독(supervision)을 이용해 답변 정확성과 언어로 표현된 신뢰도(verbalized confidence)를 공동으로 최적화한다. 그러나 이러한 접근법은 레이블이 있는 데이터에 의존하기 때문에, 정답 레이블을 사용할 수 없고 캘리브레이션이 새롭게 접하는 목표 과제(target task)에 적응해야 하는 실제 테스트 시점(test-time) 환경에서의 적용 가능성이 제한된다. 이러한 문제를 해결하기 위해, 우리는 레이블이 없는 목표 과제 데이터에서 직접 추론 정확도와 언어로 표현된 신뢰도를 공동으로 적응시키는 레이블-프리(label-free) 프레임워크인 테스트 시점 캘리브레이션 학습(Test-Time Calibration Learning, TTCL)을 제안한다. 구체적으로, TTCL은 다수의 모델 생성 응답으로부터 정답 여부와 캘리브레이션 모두에 대한 자기 감독(self-supervision) 신호를 도출하여, 정답 레이블 없이도 테스트 시점에서의 캘리브레이션 학습을 가능하게 한다. 이론적 분석을 통해 TTCL이 이상적인 캘리브레이션 목적함수에 대한 경계가 있는(bounded) 대체 목표(surrogate)임을 추가로 입증한다. 수학적 추론과 사실 기반 질의응답(factual question answering)에 대한 광범위한 실험을 통해, TTCL이 다양한 모델과 과제에서 정확도와 캘리브레이션을 일관되게 향상시킨다는 것을 보인다. 기본 모델(base model)에서 TTCL은 8개의 벤치마크에서 평균 상대 정확도 개선 +40.13%와 ECE(Expected Calibration Error) 감소 +70.80%를 달성한다. 더불어 TTCL은 이미 캘리브레이션된 모델에 대해서도 도메인 변화(domain shift) 상황에서 정확도와 캘리브레이션을 더욱 개선할 수 있으며, 특히 소스 도메인(source-domain)의 캘리브레이션이 목표 과제로 잘 전이되지 않는 경우에 효과적이다. 수학-사실 기반 질의응답(math-to-factQA) 설정에서 TTCL은 평균 상대 정확도 향상 +20.35%를 달성하고 ECE를 +53.83% 감소시킨다. 소스 코드는 https://github.com/tmlr-group/TTCL 에서 공개되어 있다.
PAIR: 읽기-추론 융합을 통한 메모리 효율적이고 빠른 추론
PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion
문맥 기반 질의응답에서 단일 대형 모델을 근거 추출과 답변 추론 모두에 사용하는 것은 상당한 메모리와 연산량을 요구합니다. 기존 접근 방식들은 단일 모델 내에서 정확도와 효율성을 맞바꿉니다. 본 연구에서는 효율적인 추론을 위한 다중 모델 접근 방식을 제안합니다. 제안 방법인 PAIR는 서로 다른 크기의 두 모델을 각각 근거 추출과 답변 추론에 활용합니다. 더 작은 Reader 모델이 전체 문맥을 처리하고 유지하는 반면, 더 큰 Reasoner 모델은 문맥에 직접 어텐션을 수행하지 않고 질문과 생성된 시퀀스만을 봅니다. 이러한 기능들은 로짓(logit) 수준에서 융합됩니다. 각 토큰마다 Reader와 Reasoner가 모두 예측을 생성하며, 이들의 로짓이 하나로 결합되어 단일 다음 토큰 예측 모델처럼 동작합니다. 미세조정(fine-tuning)을 통해 성능을 더욱 향상시킵니다. HotpotQA에서 32B Reasoner를 적용한 PAIR는 동일한 32B 모델의 전체 문맥 정확도를 96% 유지하면서도 KV 메모리는 약 4분의 1만 사용합니다. 45.7K 토큰 문맥에서 PAIR는 동일한 GPU 상의 전체 문맥 32B 모델 대비 최대 3.2배 높은 엔드투엔드 처리량을 달성합니다. 또한 PAIR는 평가된 토큰 감소 베이스라인 대비 정확도-메모리 및 정확도-처리량 간의 상충 관계를 개선합니다. 이러한 정확도 보존 특성은 Qwen2.5, OLMo-3, Gemma-3 모델 패밀리 전반에 걸쳐 일반화됩니다.
원시 비디오를 활용한 언어 모델의 중간 학습
Mid-Training Language Models on Raw Video
다중모달 대규모 언어 모델은 주로 쌍을 이룬 이미지-텍스트 데이터나 주석이 달린 비디오를 통해 학습하며, 기존 언어 모델을 추가 학습(training)하는 데 원시 웹 비디오가 사용되는 경우는 드뭅니다. 본 연구에서는 캡션이나 텍스트 손실(loss)이 없는 원시 비디오가 사전학습된 언어 모델의 중간 학습(mid-training) 데이터로 기능할 수 있는지를 조사합니다. 비디오 프레임은 연속적인 시각적 토큰(token)으로 인코딩되며, 언어 모델은 다음 시각적 토큰을 예측하도록 학습합니다. 저자들은 YT-Temporal-1B의 원시 클립을 사용하여 Qwen3-1.7B를 중간 학습한 후, 중간 학습을 거친 모델과 거치지 않은 모델 모두에 동일한 이미지-텍스트 지시 미세조정(instruction tuning)을 적용하여 두 모델이 오직 중간 학습 여부에서만 차이를 갖도록 설계했습니다. 중간 학습된 모델은 지각, 문서, 차트 과업을 아우르는 4개의 비디오 벤치마크에서 평균 2.9점, 10개의 이미지 벤치마크에서 평균 5.1점 더 높은 점수를 기록했습니다. 중간 학습 과정에 텍스트가 포함되지 않았음에도 텍스트 성능은 유지되어, 14개 텍스트 벤치마크 평균 점수가 중간 학습을 거치지 않은 모델의 48.0점에 비해 48.9점을 기록했습니다. 학습 과정 전반에 걸친 분석 결과에 따르면, 이미지 및 비디오 성능 향상은 학습의 30% 이내에 나타나고 이후 0.5점 미만의 변동을 보이며 정체 상태에 도달합니다. 캡션을 예측하는 방식은 다음 시각적 토큰 예측 성능을 넘어서지 못했으며, 이는 비디오 중간 학습이 자동 캡셔닝의 연산 오버헤드나 레이블링 노이즈 없이도 순수하게 자기지도 학습 방식으로 유지될 수 있음을 보여줍니다.
검증 가능하고 피드백 기반 언어 모델을 활용하여 임상 시험 근거 표에 대한 임상의의 질문에 답하기
Answering clinicians' questions over trial evidence tables with verifiable, feedback-driven language models
체계적 문헌고찰은 임상 시험 결과를 근거 표(evidence table)로 요약하지만, 임상의는 데이터베이스 쿼리를 통해서만 이러한 표를 질의할 수 있으며, 많은 질문은 약물의 표적 분류나 통합된 평가변수(endpoint)처럼 표에 기록되지 않은 속성과 관련되어 있습니다. 본 논문에서는 두 종류의 질문에 모두 답하고, 모든 답변의 배경이 되는 쿼리, 선정된 임상 시험 및 도출 규칙을 공개하며, 전문가의 교정으로부터 학습하는 언어 모델(LM) 프레임워크인 FD-SCoPE를 소개합니다. 159건의 면역관문억제제(immune checkpoint inhibitor) 임상 시험 기록으로 구성된 종양학 근거 표에서, FD-SCoPE는 140개의 임상의 대상 과제를 모두 완료했습니다(대안 모델 90.7~97.9%). 파생 속성이 필요한 질문의 경우, 89.8%의 양성 예측도(positive predictive value)로 관련 임상 시험 기록의 99.3%를 검색했으며 4가지 대안 접근법보다 우수한 성능을 보였습니다(파생값 F1 77.7% 대비 64.8~73.4%). 기준 답변으로부터 시뮬레이션된 299개 질문에 대한 교정은 이전에 보지 못한 1,201개 질문에 대한 F1 점수를 77.9%에서 84.9%로 향상시켰습니다. 실행 가능한 쿼리, 검증된 프로그램, 전문가 피드백과 결합된 언어 모델은 임상의에게 임상 시험 근거에 대한 검증 가능한 접근성을 제공할 수 있습니다.
디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다
Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript
전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.