음성 의미 구문 분석을 위한 텍스트 전용 적응 음성 LLM의 강건성
Robustness of Text-Only Adapted Speech LLMs for Spoken Semantic Parsing
한국어 초록
대규모 언어 모델(LLM)은 의미 프레임과 함수 호출을 포함하여 자연어 지시로부터 구조화된 출력을 생성하는 데 점점 더 많이 사용되고 있다. 입력이 음성일 때 이 과제는 음성 의미 구문 분석이 되며, 이는 음성 LLM 또는 ASR-LLM 캐스케이드를 사용해 수행할 수 있다. 두 접근법 모두 텍스트 전용 과제 지도로 적응시킬 수 있지만, 음향 열화에 대한 상대적 강건성은 아직 명확하지 않다. 우리는 3B 및 7B 모델을 사용하여 세 개의 데이터셋에서 동일한 텍스트 형태의 지도 하에 이 접근법들을 비교하며, 깨끗한 음성과 다섯 가지 SNR 수준의 babble 잡음에서 평가한다. 결과는 음성 LLM이 명령 이해, 의도 예측, 함수 호출에서 대체로 더 나은 성능을 보이며 특히 심한 잡음 조건에서 그러함을 보여주는 반면, 세밀한 개체 예측에서의 향상은 일관성이 떨어진다. 추가 평가에서는 음성 LLM이 두 모델 규모 모두에서 ASR-LLM 캐스케이드보다 샘플당 평균 추론 시간이 짧음을 보인다.
원문 초록
Large language models (LLMs) are increasingly used to generate structured outputs from natural language instructions, including semantic frames and function calls. When the input is speech, this task becomes spoken semantic parsing, which can be performed using either Speech LLMs or ASR-LLM cascades. Although both approaches can be adapted with text-only task supervision, their relative robustness to acoustic degradation remains unclear. We compare these approaches under matched text-form supervision using 3B and 7B models across three datasets, evaluated on clean speech and babble noise at five SNR levels. Results show that Speech LLMs generally achieve better performance in command understanding, intent prediction, and function calling, particularly under severe noise, while improvements in fine-grained entity prediction are less consistent. An additional evaluation shows that Speech LLMs achieve lower average inference time per sample than ASR-LLM cascades at both model scales.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.21453v2제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.