PyTorchKR Papers

최신 논문

총 6편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.04443v2cs.CV

Wan-Streamer v0.2: 더 높은 해상도, 동일한 지연 시간

Wan-Streamer v0.2: Higher Resolution, Same Latency

Wan-Streamer v0.2는 기존 v0.1의 네이티브 스트리밍 엔드투엔드 오디오-비주얼 상호작용 모델을 업그레이드하여, 25 FPS에서 약 200 ms의 모델 측 지연을 유지하면서 출력 해상도를 192×336에서 640×368로 향상시켰다. 단일 GPU 씽커(thinker)가 지연 임계 경로를 담당하고, Ulysses 방식의 컨텍스트 병렬 멀티 GPU 퍼포머(performer)가 고해상도 잠재 비디오 생성을 처리하는 서빙 구조를 통해, 350 ms 양방향 네트워크 예산 포함 시 총 원격 상호작용 지연을 약 550 ms로 유지하면서 실시간 대화 중 자세·시선·손·장면 레이아웃이 식별 가능한 미드샷 에이전트를 지원한다.

arXiv:2607.05250v1cs.CL

시간 불변 표현을 통한 스트리밍 신경 음성 코덱

Streaming Neural Speech Codecs through Time-Invariant Representations

신경 음성 코덱은 코덱 기반 음성 생성 시스템에서 중간 표현으로 점점 더 많이 활용되고 있다. TiCodec은 시간 불변 표현 추출(TIRE, Time-Invariant Representation Extraction) 모듈을 통해 시간에 따라 변하는 음성 콘텐츠와 시간 불변 정보를 분리하는 인수분해 표현(factorized representation)을 도입하여, 프레임 수준에서 모델링해야 할 정보의 양을 줄일 가능성을 제시한다. 본 연구에서는 TIRE 표현이 포착하는 정보의 특성과 저지연(low-latency) 음성 처리에 대한 적합성을 조사한다. 일련의 프로빙(probing) 태스크를 통해 인코더 층(layer)의 영향을 분석하고, 중간 층이 언어적 콘텐츠를 거의 포함하지 않으면서 화자 및 환경(environment) 관련 정보를 상보적으로 포착함을 보인다. 또한 TIRE 학습(training)을 위한 여러 세그먼트 선택 전략을 연구하고, 파일 간 샘플링(cross-file sampling)이 불변 표현의 강건성을 향상시킴을 입증한다. 이러한 발견을 바탕으로, 서로 다른 인코더 층의 상보성을 활용하여 음성 복원 품질과 화자 유사도를 개선하는 다중 수준 아키텍처인 Dual-TIRE를 제안한다. 마지막으로, 660ms 처리 블록을 연속적으로 사용하는 스트리밍 추론(inference) 환경에서 TiCodec을 평가한다. 결과는 복원 성능의 유의미한 저하 없이 스트리밍 동작이 가능함을 보여주며, 향후 저지연 음성 생성 시스템을 위한 인수분해 신경 코덱 표현의 가능성을 부각한다.

arXiv:2511.07397v3cs.CL

Thinking While Speaking: Inference-Time Knowledge Transfer for Responsive and Intelligent Conversational Voice Agents

음성 에이전트(voice agent)의 지연-능력 트레이드오프를 대화형 인필(conversational infill)로 해결하며, 경량 Talker 모델이 즉시 응답을 생성해 외부 Reasoner의 지연을 숨기고 추론 중 스트리밍되는 지식을 대화에 자연스럽게 통합한다. 시스템 ConvFill은 밀리초 수준 첫 응답 시간을 유지하면서 대응 Reasoner 대비 정확도 격차를 6.3% 이내로 줄였고, 18명 사용자 평가에서 최첨단 모델과 전반적 품질이 동등하며 검색 중심 과제에서 더 선호되고 반응성이 유의하게 높게 평가되었다.

arXiv:2607.01204v1cs.LG

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

xLSTM 기반 순환 구조를 채택한 시계열 파운데이션 모델 TiRex-2는 단변량 TiRex를 다변량 예측으로 확장하여 과거 및 미래 공변량을 모두 지원하면서 스트리밍 추론 시 패치당 일정한 비용을 유지한다. 양방향 시간 믹서와 비대칭 그룹 어텐션 변량 믹서를 결합해 타깃 변수의 인과성을 보존하며, GIFT-Eval과 fev-bench에서 제로샷 최고 성능을 달성하고 임의의 컨텍스트 길이에서도 안정적으로 동작한다.

arXiv:2606.25041v2cs.CV

Wan-Streamer v0.1: 엔드투엔드 실시간 인터랙티브 파운데이션 모델

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

Wan-Streamer는 VAD·ASR·TTS 등 외부 모듈 없이 언어·오디오·비디오를 단일 Transformer에서 입출력 토큰으로 교차 처리하고 블록 인과 어텐션(block-causal attention)으로 실시간 전이중(full-duplex) 스트리밍 상호작용을 학습하는 엔드투엔드 파운데이션 모델이다. 인과 인·디코더와 저지연 멀티모달 토큰 스케줄링으로 25fps에서 160ms 단위 스트리밍을 지원하며, 모델 측 응답 지연 약 200ms·네트워크 포함 총 지연 약 550ms를 달성해 1초 미만 오디오-비주얼 통신이 가능하다.

arXiv:2606.24307v1cs.SD

Real-Time Interactive Music Generation via Data-Free Streaming Consistency Distillation

Interactive music and live performance relies on real-time human expression, but modern generative music AI remains largely absent from this domain due to its prohibitive inference latency and offline rendering paradigm. To provide pioneer musicians with a novel medium for interactive composition, we should fundamentally change these static models into dynamic, playable instruments. In this paper, we propose a framework that bridges this gap. To achieve the low latency required for live interaction without sacrificing structural coherence, we formulate distillation within a streaming autoregressive latent space. Our approach gets rid of the need for expensive paired audio-latent datasets by utilizing prompt-only inputs to synthesize teacher-guided, chunk-wise trajectories on the fly. Because live instruments require high acoustic fidelity, we introduce music-aware consistency objectives, which combine latent, spectral, and temporal-difference losses, to preserve crucial qualities like timbre, transients, and rhythmic stability during accelerated single-step streaming generation. Implemented via parameter-efficient adaptation, our distillation reduces generation steps to achieve a low real-time factor. Crucially, by operating as a continuous autoregressive stream, the system can seamlessly assimilate dynamic human inputs on the fly, allowing users to instantly steer the musical trajectory without interrupting the audio flow. Ultimately, this work recontextualizes generative text-to-music models not as passive prompt-and-wait systems, but as responsive instruments, opening new frontiers for live human-AI musical co-creation.