PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.08672v3cs.SD

X2Streaming-ASR: 불확실할 때는 기다리고 준비되었을 때 출력하는 스트리밍 음성 인식

X2Streaming-ASR: wait when uncertain, emit when ready for streaming ASR

실시간 음성 에이전트 및 전이중(full-duplex) 대화를 위한 스트리밍 자동 음성 인식(ASR)은 낮은 확정 지연 시간(commit latency)으로 정확한 부분 전사본을 제공해야 합니다. 기존 시스템은 대개 고정된 청크 크기, 미리보기(look-ahead), 목표 지연 시간을 사용하거나 추정된 음향 경계 부근에서 출력을 유도합니다. 이러한 접근법은 단일 패스(single-pass) 및 하드 커밋(hard-commit) 제약 조건 하에서 각 출력 위치마다 얼마나 많은 추가 문맥을 사용할지 직접 최적화하지 못합니다. 본 논문에서는 스트리밍 인식을 '언제 확정할 것인가'와 '무엇을 확정할 것인가'로 분해하는 X2Streaming-ASR을 제안합니다. 이 모델의 3단계 학습(training) 절차는 먼저 스트리밍 인식 능력을 구축한 다음, 자동으로 탐색된 궤적으로 확정 정책을 웜스타트(warm-start)하고, 마지막으로 인식 정확도와 지연 시간에 대한 문자 수준 및 세그먼트 할당 그룹 상대적 보상을 사용하여 정책을 미세 조정합니다. 10개의 중국어 및 영어 테스트 세트에 걸쳐, X2Streaming-ASR은 강제 정렬된 끝점 대비 가장 낮은 평균 확정 지연 시간(중국어 문자 기준 32~109ms, 영어 단어 기준 12~85ms)을 달성하는 동시에 기존 시스템과 대등한 인식 정확도를 유지합니다.

arXiv:2609.25176v1eess.AS

Qwen-Audio-3.1-Realtime: 신뢰할 수 있는 에이전트형 음성 상호작용을 향하여

Qwen-Audio-3.1-Realtime: Towards Reliable Agentic Voice Interaction

실시간 음성 어시스턴트는 변화하는 요청에 대해 추론하고, 동작을 실행하며, 대화 규칙을 따라야 한다. Qwen-Audio-3.1-Realtime은 Think, Act, and Speak and Coordinate를 통해 이러한 요구사항을 통합한다. Think는 Core-Cocktail 지도 미세조정과 Multimodality and Multi-Teacher On-Policy Distillation(M$^{2}$-OPD)을 결합하여 언어 역량을 이전하고 네이티브 오디오 능력을 개발한다. Act는 자기 진화형 실행 가능 환경과 다중 세분성 롤아웃을 Group Relative Policy Optimization(GRPO)에 사용하여, 모델이 도구를 사용하고 피드백을 해석하며 과제를 완료하도록 학습시킨다. Speak and Coordinate는 어시스턴트가 어떻게, 언제, 말할지 또는 행동할지를 정렬한다. 우리는 오디오 추론, 다국어 이해, 도구 사용, 대화 행동, 풀 듀플렉스(full-duplex) 상호작용, 안전성을 평가한다. Qwen-Audio-3.0-Realtime과 비교할 때, 3.1은 $\tau$-Voice의 하프 듀플렉스 음성-텍스트 적응 버전에서 전체 과제 성공률을 78.4%에서 82.0%로 높인다. 음성-대-음성 Full-Duplex-Bench v1.5에서 배경 음성에 대한 응답률은 73.0%에서 13.0%로 낮아진다. 또한 Qwen-Audio-3.0-Realtime을 foreground로 사용하는 별도의 Voice Harness 프로토타입을 제시하며, foreground–background 조율과 메모리를 통해 음성 상호작용을 지속적 과제로 확장한다.

arXiv:2607.04941v1cs.CL

DuplexChat: 구어체 대화 언어 모델링을 위한 화자 분리 전이중(Full-Duplex) 대화 음성의 대규모 구축

DuplexChat: Constructing Speaker-Separated Full-Duplex Dialogue Speech at Scale for Spoken Dialogue Language Modeling

전이중(full-duplex) 구어체 대화 모델은 각 화자가 별도의 스트림으로 표현된 대화 음성으로 학습되지만, 기존의 대규모 공개 음성 코퍼스는 대부분 단일 채널(monaural)로 구성되어 있어 구어체 대화 언어 모델(SDLM) 학습에 적합하지 않다. 본 논문에서는 전이중 구어체 대화 모델을 위한 오픈소스 코퍼스인 DuplexChat과, 공개 팟캐스트 피드로부터 화자 분리 전이중 대화 음성을 구축하는 파이프라인인 DuplexChat-Pipe를 제안한다. DuplexChat-Pipe는 언어별 팟캐스트 피드를 필터링하고, 에피소드 오디오를 수집 및 정제하며, 화자 다이어리제이션(diarization) 기반의 2인 대화 클립을 추출하고, 음성 분리 및 복원을 적용하여 화자별 단일 채널을 생성한다. 이 파이프라인을 실행한 결과, 영어 282,634시간과 일본어 132,723시간을 포함하는 화자 분리 구어체 대화 코퍼스가 생성되었다. DuplexChat에 대한 분석 결과, 해당 코퍼스에는 인간 대화에서 나타나는 턴테이킹(turn-taking) 역학이 포함되어 있음을 확인하였다.