arXiv:2005.00458

Style Variation as a Vantage Point for Code-Switching

Khyathi Raghavi Chandu, Alan W. black

제출 2020-05-01

원문 초록

Code-Switching (CS) is a common phenomenon observed in several bilingual and multilingual communities, thereby attaining prevalence in digital and social media platforms. This increasing prominence demands the need to model CS languages for critical downstream tasks. A major problem in this domain is the dearth of annotated data and a substantial corpora to train large scale neural models. Generating vast amounts of quality text assists several down stream tasks that heavily rely on language modeling such as speech recognition, text-to-speech synthesis etc,. We present a novel vantage point of CS to be style variations between both the participating languages. Our approach does not need any external annotations such as lexical language ids. It mainly relies on easily obtainable monolingual corpora without any parallel alignment and a limited set of naturally CS sentences. We propose a two-stage generative adversarial training approach where the first stage generates competitive negative examples for CS and the second stage generates more realistic CS sentences. We present our experiments on the following pairs of languages: Spanish-English, Mandarin-English, Hindi-English and Arabic-French. We show that the trends in metrics for generated CS move closer to real CS data in each of the above language pairs through the dual stage training process. We believe this viewpoint of CS as style variations opens new perspectives for modeling various tasks in CS text.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2609.13814v3cs.CV공통 태그 Language Modeling, Speech Recognition

Realtime-Venus: 비동기 위임을 갖춘 전이중(full-duplex) 상호작용 시스템

Realtime-Venus: A full-duplex interaction system with asynchronous delegation

디지털 및 물리적 환경에서의 자연스러운 상호작용은 지속적인 인지(perception)와 적시의 응답을 요구한다. 음성 대화는 음향 및 언어적 단서에 의존하며, 영상 상호작용은 또한 변화하는 시각적 맥락 속에서 대화를 그라운딩(grounding)할 필요가 있다. 우리는 별도로 학습된 9B 모델 두 개—오디오-비주얼 상호작용용 Realtime-Venus-Omni와 음성 상호작용용 Realtime-Venus-Audio—를 갖춘 선제적 전이중 상호작용 시스템 Realtime-Venus를 제시한다. 각 모델은 완전한 대화형 프론트엔드로 동작하며, 사용자 입력, 모델 출력, 위임(delegation) 이벤트에 대한 공유 인과 타임라인을 통해 지속적 인지, 대화 제어, 네이티브 음성 생성을 통합한다. 이중 루프 런타임은 라이브 상호작용과 백그라운드 추론 및 도구 실행을 조율한다. Realtime-Venus-Harness가 비동기적으로 작업을 실행하고 진행 중인 대화에 통합할 결과를 반환하는 동안 전경(foreground) 상호작용은 계속된다. 두 모델 모두 오프라인 이해, 선제적 전이중 궤적, 위임 워크플로를 결합한 공통 사후 학습 레시피를 따른다. 평가된 온라인 모델 가운데 Realtime-Venus-Omni는 여덟 개 영상 벤치마크 중 여섯에서 최고 점수를 기록했으며, StreamingBench(70.2%), OVO-Bench(64.7%), Daily-Omni(81.3%)를 포함한다. 여덟 개의 오디오 이해 및 음성 질의응답 벤치마크 전반에서 Realtime-Venus-Audio는 MMAU(78.0%), MMAU-Pro(63.2%), Llama Questions(83.8%), Speech CMMLU(67.8%)에서 비교 모델들을 앞서며, VoiceBench AlpacaEval 점수 4.81로 최고 성능과 동률을 기록했다. Full-Duplex-Bench v1.5에서 Realtime-Venus-Audio는 사용자 끼어들기의 75%에 응답하며, 백채널(backchannel), 타인 지향 발화(other-directed speech), 배경 음성(background speech) 조건에서 각각 97%, 88%, 86%의 continuation rate를 달성해 세 continuation 지표 모두에서 Gemini 3.1 Live와 GPT-4o를 넘어선다.

arXiv:2609.26488v1cs.CL공통 태그 Language Modeling, Text to Speech

소리 내어 생각하는 구어 언어 모델

Spoken Language Models that Think Aloud

사고의 연쇄(Chain-of-Thought, CoT) 추론은 언어 모델의 능력을 향상시켜 왔으나, 구어 언어 모델(SLM)에 이를 직접 적용하면 직렬적인 "생각 후 발화(think-then-speak)" 패러다임에서 긴 침묵 구간이 생겨 실시간 구어 상호작용을 방해할 수 있다. 이 문제를 해결하기 위해 우리는 Thinker-Talker 아키텍처 안에서 추론 기반 SLM을 위한 비동기 think-aloud 프레임워크를 제안한다. 이 프레임워크는 논리적 연역을 담당하는 주 추론 스트림과, 사용자 입력 및 변화하는 추론 상태를 조건으로 짧고 과제에 그라운딩된 진행 발화를 생성하는 경량 think-aloud 스트림을 유지한다. 동적 균형 전략이 런타임에 두 스트림을 조율하며, 침묵 공백을 피하기 위해 추가 think-aloud 발화를 트리거하고 최종 응답이 준비되면 대기 중인 발화를 취소한다. 구어 추론 및 질의응답 벤치마크 실험에서 본 접근법은 추론 중 사용자에게 들리는 침묵을 크게 줄이면서 직렬 "think-then-speak" 기준선과 비슷한 답변 정확도를 유지함을 보여 주며, SLM에서 반응형 상호작용을 위한 비동기 think-aloud의 잠재력을 입증한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.