arXiv:2106.09008

A Flow-Based Neural Network for Time Domain Speech Enhancement

Martin Strauss, Bernd Edler

제출 2021-06-16

원문 초록

Speech enhancement involves the distinction of a target speech signal from an intrusive background. Although generative approaches using Variational Autoencoders or Generative Adversarial Networks (GANs) have increasingly been used in recent years, normalizing flow (NF) based systems are still scarse, despite their success in related fields. Thus, in this paper we propose a NF framework to directly model the enhancement process by density estimation of clean speech utterances conditioned on their noisy counterpart. The WaveGlow model from speech synthesis is adapted to enable direct enhancement of noisy utterances in time domain. In addition, we demonstrate that nonlinear input companding benefits the model performance by equalizing the distribution of input samples. Experimental evaluation on a publicly available dataset shows comparable results to current state-of-the-art GAN-based approaches, while surpassing the chosen baselines using objective evaluation metrics.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.17413v3cs.LG공통 태그 Density Estimation

라플라스 근사와 정규화 흐름을 활용한 심층 학습을 통한 OCO-2 스펙트럼에서의 대기 CO2 상각 확률적 검색

Amortized Probabilistic Retrieval of Atmospheric CO2 from OCO-2 Spectra Using Deep Learning with Laplace Approximations and Normalizing Flows

대기 중 이산화탄소(CO$_2$)의 우주 기반 관측은 전 지구 탄소 수지를 제약한다. NASA의 궤도 탄소 관측위성 2호(OCO-2)는 고해상도 스펙트럼으로부터 CO$_2$의 칼럼 평균 건조 공기 몰분율(XCO$_2$)을 추정하지만, 운용 중인 반演 방법은 계산 비용이 크고 반演된 사후분포에 엄격한 가우시안성 가정을 부과한다. 우리는 상각된 확률적 추론을 통해 이 두 문제를 모두 해결하는 딥러닝 프레임워크를 제시한다. 실제 관측에 대한 참값이 없으므로, 보정된 순방향 모형 오차를 갖는 고충실도 OCO-2 시뮬레이션 앙상블에서 학습하고 평가하며, 동일한 복사휘도에 대해 편향 보정을 적용하지 않은 버전 10 운용 완전 물리 반演과 비교한다. 우리의 아키텍처는 각 스펙트럼 대역을 별도로 인코딩하고, Laplace 근사와 조건부 정규화 흐름을 사용하여 전체 CO$_2$ 칼럼 또는 그 요약량의 사후분포를 추정한다. 일단 학습되면 추론 비용은 관측 한 건당 분 단위가 아니라 밀리초 단위이다. 순방향 모형 불일치를 명시적으로 포함하는 시뮬레이션으로 학습한 우리의 반演은 우리가 고려한 두 데이터 분할 모두에서 XCO$_2$에 대해 운용 반演보다 더 정확하며, 프로파일에서는 경쟁력이 있다. 흐름 모형은 가우시안이 표현할 수 없는 비대칭 사후분포를 표현하며, 이 이득은 규모가 아니라 형태에 기인하고, 예측 밀도에서의 이점은 정확도 이점이 사라진 곳에서도 지속된다. 이러한 결과는 육지 전용 앙상블에서 운용 알고리즘의 한 가지 구성에 대해 확립된 것이다. 보류된 기준 관측과 보지 못한 두 달에서도 XCO$_2$와 밀도의 이점이 지속된다. XCO$_2$의 경우 2월 데이터에서 커버리지가 명목값에 가까우며, 보지 못한 달들에서는 명목값에 미치지 못하지만 운용 반演의 경우보다 훨씬 더 명목값에 가깝다.

arXiv:2604.08116v3cs.CE공통 태그 Density Estimation

에너지 기반 모델을 위한 대조 학습, 중요도 샘플링, 브리지 샘플링의 통합적 관점

A unifying view of contrastive learning, importance sampling, and bridge sampling for energy-based models

지난 수십 년간 에너지 기반 모델(EBM)은 가능도의 한 구성 요소가 다루기 어려워 명시적으로 평가할 수 없는 확률 모델의 중요한 부류가 되었다. 따라서 EBM의 모수 추정은 기존 추론 방법으로는 어려운 과제이다. 본 연구는 이러한 다양한 방법론적 기여를 하나의 통합된 틀 안에 모은 리뷰 논문으로, EBM의 맥락에서 잡음 대조 추정(NCE), 역 로지스틱 회귀(RLR), Bennett의 수락비(BAR) 방법, 다중 중요도 샘플링(MIS), 브리지 샘플링 간의 연결을 강조한다. 이 중 일부는 특정 조건에서 서로 동등하다. 이러한 통합적 관점은 기존 방법들 간의 관계를 명확히 하고 새로운 추정량의 개발을 가능하게 하며, 통계적 및 계산적 효율성을 개선할 잠재력을 가진다. 더 나아가 본 연구는 NCE의 유연성과 강건성 측면에서의 성공을 설명하는 데 도움을 주는 동시에, 그 성능을 더 개선할 수 있는 상황도 식별한다. 우리의 목표는 명확하고 간결한 유도를 통해 이러한 기여를 공통의 틀 안에 모으고 주요 결과와 그 기저의 아이디어를 더 넓은 독자층이 이해할 수 있도록 하는, 자기완결적이고 접근하기 쉬운 서술을 제공하는 것이다. 기여는 두 가지이다. 첫째, 본 연구는 이 분야에 입문하는 연구자들을 위해 기본 개념과 유도를 소개하는 포괄적인 튜토리얼 역할을 한다. 둘째, 숙련된 실무자들에게 철저한 리뷰를 제공한다. 수치 실험에 사용된 코드는 결과의 재현성을 지원하기 위해 공개되어 있다.

arXiv:2607.09767v2eess.SP공통 태그 Speech Synthesis

특징에 귀 기울여라: 신호 재구성 대신 콘텐츠 임베딩 매칭으로 구동되는 음성 익명화

Listen to the Features: Voice Anonymization Driven by Content Embedding Matching over Signal Reconstruction

이 논문은 사실적인 음성을 생성하는 것보다 콘텐츠를 보존하는 데 초점을 맞춘 음성 익명화 모델을 제안한다. 이 모델은 동결된 사전학습 wav2vec2 인코더에서 추출한 콘텐츠 임베딩에 의존한다. 해당 임베딩은 벡터 양자화와 HiFi-GAN 보코더를 사용하여 익명화된 신호로 디코딩되며, 두 모듈 모두 파형 재구성 손실이나 화자 임베딩 매핑 없이 LibriTTS로 학습된다. 학습 목적함수는 익명화된 신호의 임베딩이 원본의 임베딩과 일치하도록 강제한다. 학습 중에는 화자별 정보를 제거하기 위해 그래디언트 역전 층이 포함된 보조 화자 분류 브랜치가 사용된다. 실험 결과, 이 간단한 임베딩 기반 접근법은 매우 낮은 WER(2.53)을 달성하며, 익명화 성능(EER 13.39)은 VPC에서 1등급 수준에 해당한다. 특히, 별도의 학습 목적함수 없이도 감정이 부분적으로 보존되고(UAR 43.91), 익명화된 음성은 재구성 손실 없이도 청취 가능하다.

arXiv:2605.24274v3cs.LG공통 태그 Density Estimation

입력 볼록 신경망 학습을 위한 리프트

A lift for input-convex neural net training

입력 볼록 신경망은 밀도 모델과 수송 사상의 볼록 포텐셜을 매개변수화하며, 그 볼록성을 위해서는 계층 간 가중치가 비음수여야 한다. 투영 경사 하강법은 매 단계 후 투영을 수행하여 이를 강제하는데, 미니배치 잡음 때문에 경계를 무한히 반복해서 넘나들게 되어 투영이 식별하지 못하는 활성 집합이 발생한다. 미분 가능한 대안인 직접 소프트플러스는 소프트플러스 양수화 사상을 통해 자유 잠재 가중치를 최적화한다. 해당 잠재 가중치가 0보다 훨씬 작은 곳에서는 사상의 도함수가 지수적으로 작아 기울기와 그 잡음을 모두 축소시킨다. 이 영역을 어깨(shoulder)라 부르며, 여기에 도달한 가중치는 거의 움직이지 않고 지수적으로 긴 시간 동안 머무른다. 본 연구는 자유 잠재 가중치를 학습 가능한 슬랙과, 학습 배치의 순열 불변 요약을 입력받는 하이퍼네트워크의 출력의 합으로 대체하는 리프트(lift)를 제안한다. 그러면 잠재 가중치가 기울기를 구성하는 바로 그 배치에 따라 변하므로 둘이 결합된다. 이러한 결합이 갱신의 분산에 1차로 한 항을 더함을 보이고, 슬랙, 배치 의존성, 공유 배치가 각각 이를 위해 필요함을 보인다. 결합이 손실 곡률과 양의 방향으로 정렬되는 경우, 어깨에 놓인 가중치는 전조건화 확률적 경사 하강법에서도 직접 소프트플러스보다 리프트에서 손실의 장벽을 더 빨리 넘는다. 여러 응용에서 리프트를 기존 두 방법과 비교한다. 직접 소프트플러스의 제약 가중치가 어깨에 도달하는 경우, 리프트는 직접 소프트플러스보다 목표를 더 가깝게 적합하며 같은 재구성 수준에 약 세 배 빨리 도달한다. 거의 어떤 가중치도 어깨에 도달하지 않는 경우에는 방법들이 서로 일치한다.

arXiv:2609.26705v2quant-ph공통 태그 Density Estimation

보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가?

When are bosonic Gaussian states classical to learn?

물리학의 근본적인 질문 중 하나는 양자계에서 고전적 거동이 언제 나타나는가이다. 보손 가우시안 상태(bosonic Gaussian state)는 빛의 고전적 장(field) 거동과 본질적인 양자적 성질을 모두 포착하므로, 이러한 양자-고전 경계를 탐구하기에 자연스러운 환경을 제공한다. 본 연구에서는 학습 이론의 관점에서 이 문제를 다루며 다음과 같이 묻는다. 보손 가우시안 상태는 언제 고전적으로 학습할 수 있는가? 즉, n-모드 보손 가우시안 상태를 고전적인 2n변량 가우시안 분포를 학습할 때 필요한 만큼 적은 샘플과 그만큼 단순한 연산으로 학습할 수 있는 조건은 (있다면) 무엇인가? 우리는 상태의 열적 요동(thermal fluctuation)에 의해 결정되는 학습 가능성의 매끄러운 크로스오버를 규명한다. - 차가운 가우시안 상태는 학습 측면에서 비고전적이다. 공분산 행렬이 $\Sigma\le(\frac12+O(\frac1n))I$를 만족하여 진공 공분산에 가까운 경우, 단일 복사본(single-copy, 즉 얽힘이 없는) 측정 하의 토모그래피(tomography)는 근본적으로 $\Omega(n^3)$개의 복사본을 필요로 하며, 이는 고전적 가우시안 분포를 학습하는 샘플 복잡도 $\Theta(n^2)$를 엄밀하게 초과한다. 우리는 소수 복사본에 대한 얽힘 측정이 허용되더라도 이러한 어려움이 지속됨을 보인다. - 따뜻한 가우시안 상태는 학습 측면에서 고전적이다. 열적 요동이 진공 잡음을 초과하여 임의의 매개변수 $\nu>0$에 대해 $\Sigma\ge(\frac12+\nu)I$로 나타내지는 경우, 단일 복사본 토모그래피에는 $N=\Theta\left(n^2\min(n,1+\nu^{-1})\right)$개의 복사본이 필요함을 증명한다. 이 한계는 타이트(tight)하며, 단순하고 비적응적(non-adaptive)이며 얽힘이 없는 헤테로다인(heterodyne) 측정으로 달성된다. 특히 $\nu=\Omega(1)$인 경우 샘플 복잡도는 $\Theta(n^2)$로 줄어들어 고전적인 경우와 일치한다. 우리의 결과는 보손 가우시안 상태의 학습 가능성에서 나타나는 양자-고전 크로스오버를 엄밀하게 규명하고, 근본 물리학과 통계적 학습 이론 사이의 새로운 연결고리를 드러내며, 실제 센싱 실험에도 시사점을 가진다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.