PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.28163v1eess.IV

극단적 복잡도·품질 스케일 전반의 향상된 신경 비디오 표현 압축

Enhanced Neural Video Representation Compression across Extreme Complexity and Quality Scales

암묵적 신경 표현(INR)은 최근 비디오 압축을 위한 유망한 접근법으로 등장하여, 빠른 디코딩과 함께 경쟁력 있는 레이트-왜곡(rate-distortion) 성능을 제공한다. 그러나 기존 신경 비디오 코덱은 복잡도와 확장성(scalability)의 균형을 맞추기 어렵다. 경량 모델은 서로 다른 비트레이트/품질 수준으로 스케일링할 때 압축 성능 저하를 겪는 경우가 많으며, 고성능 모델은 모델 복잡도가 일반적으로 품질에 따라 증가하기 때문에 확장성이 제한적이다. 다양한 비트레이트 전반에 걸쳐 일관된 복잡도를 유지할 수 있는 통합 아키텍처의 부재는 실제 다양한 배포를 심각하게 제한한다. 이러한 과제를 해결하기 위해, 저희는 다중 고해상도 특징 그리드를 활용하는 경량 INR을 사용하여 임의의 복잡도 수준에서 높은 확장성을 제공하는 새로운 INR 기반 비디오 코덱인 NVRC++를 제안한다. 이는 긴 비디오 시퀀스에 대해 고해상도 그리드에서 효율적인 과적합을 가능하게 하는 최적화 프레임워크와 결합되어, 과도한 계산 또는 메모리 오버헤드 없이 시공간 중복성을 활용한다. 또한 고차원 그리드 매개변수를 효율적으로 압축하기 위해 고급 엔트로피 모델을 설계했다. 그 결과 NVRC++는 네 가지 복잡도 수준(픽셀당 7kMACs부터 360kMACs까지)을 제공하며, 각 수준은 넓은 비트레이트 및 품질 범위를 포괄하면서 실시간 디코딩을 지원한다. 실험 결과 NVRC++는 SOTA INR 기반 비디오 코덱인 NVRC에 비해 최대 7.6배 빠른 디코딩 속도를 제공하면서도 유사한 성능을 달성함을 보여준다.

arXiv:2606.18323v1cs.SD

ASR 자가 검증과 지식 증류를 통한 신뢰할 수 있는 신경망 코덱 텍스트 음성 변환: 모델 및 코덱 간의 거의 0에 가까운 치명적 오류

Reliable Neural-Codec Text-to-Speech by ASR Self-Verification and Distillation: Near-Zero Catastrophic Failures Across Models and Codecs

오픈 소스 자기회귀 신경망 코덱 텍스트 음성 변환(TTS) 모델은 일반적인 입력에서는 훌륭하게 들리지만, 확률적 치명적 오류(catastrophic failures)를 겪습니다. 의미 있는 비율의 발화에서 침묵을 내보내거나, 조기에 종료되거나, 반복적이거나 환각(hallucinated) 내용으로 붕괴됩니다. 우리는 이 오류 모드를 제거하는 것이 비용 효율적임을 보여줍니다. 단일 형식 견고 메트릭(ASR 왕복을 통한 치명적 오류율) 하에서, Best-of-N ASR 자가 검증은 오류를 거의 0으로 만듭니다. 표준 말뭉치(LibriSpeech)에서는 N=2일 때, 어려운 프롬프트 세트에서는 N=4일 때 관찰된 오류가 남지 않습니다. 이는 특정 모델의 인위적 결과물이 아닙니다. 이러한 감소는 4개의 오픈 코덱-TTS 시스템과 3개의 신경망 코덱(XCodec2, SNAC, Mimi)에 걸쳐 재현되며, 4개 중 3개에서 N=2일 때 거의 0의 하한선에 도달합니다. 그런 다음 자가 검증된 동작을 모델에 증류(distilling)하여 추론 시간에 수정 비용을 0으로 만듭니다. 이는 단일 샷 디코딩에서 견고성의 상당 부분을 회복시키며, 테스트 시간 비용 없이 어려운 입력에서 오류 양의 약 52-58%를 줄입니다. 증류 이득은 필요한 곳(어려운 입력)에 집중됩니다. 이미 신뢰할 수 있는 텍스트에서는 개선 여지가 없으며 감지할 수 있는 변화도 없습니다. 대조 비교는 명확한 부정적 결과를 추가합니다. 오프라인 직접 선호 최적화(DPO/IPO)는 일반 지도 학습 증류를 능가하지 못하며, 온라인 반복 변형은 유망하지만 우리의 평가 규모에서는 통계적으로 구별되지 않습니다. 우리는 저항하는 하나의 모델(규모가 명확히 도움이 되지 않은 더 큰 Llasa)과 어떤 자기 증류 방법도 극복하지 못하는 희귀 단어 능력 천장을 정직하게 보고합니다.