arXiv:2309.07803

SnakeGAN: A Universal Vocoder Leveraging DDSP Prior Knowledge and Periodic Inductive Bias

Sipan Li, Songxiang Liu, Luwen Zhang, Xiang Li, Yanyao Bian, Chao Weng, Zhiyong Wu, Helen Meng

제출 2023-09-14

원문 초록

Generative adversarial network (GAN)-based neural vocoders have been widely used in audio synthesis tasks due to their high generation quality, efficient inference, and small computation footprint. However, it is still challenging to train a universal vocoder which can generalize well to out-of-domain (OOD) scenarios, such as unseen speaking styles, non-speech vocalization, singing, and musical pieces. In this work, we propose SnakeGAN, a GAN-based universal vocoder, which can synthesize high-fidelity audio in various OOD scenarios. SnakeGAN takes a coarse-grained signal generated by a differentiable digital signal processing (DDSP) model as prior knowledge, aiming at recovering high-fidelity waveform from a Mel-spectrogram. We introduce periodic nonlinearities through the Snake activation function and anti-aliased representation into the generator, which further brings the desired inductive bias for audio synthesis and significantly improves the extrapolation capacity for universal vocoding in unseen scenarios. To validate the effectiveness of our proposed method, we train SnakeGAN with only speech data and evaluate its performance for various OOD distributions with both subjective and objective metrics. Experimental results show that SnakeGAN significantly outperforms the compared approaches and can generate high-fidelity audio samples including unseen speakers with unseen styles, singing voices, instrumental pieces, and nonverbal vocalization.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.04926v2cs.LG공통 태그 Inductive Bias

입력 경로는 소형 트랜스포머의 퓨샷 바인딩을 형성하지만 제로샷은 아니다: 완전 열거 가능한 연구

Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study

정보가 트랜스포머에 도달하는 방식, 즉 기호 토큰, 요인별로 깔끔한 "오라클" 코드, 또는 얽힌 지각 벡터 중 어느 방식인지가 트랜스포머가 그 정보를 조합적으로 결합(binding)하는지 여부를 어떻게 좌우하는가? 본 연구는 전수 열거된 유한 요인 세계에서 약 6~10K 파라미터의 트랜스포머를 연구하며, 따라서 모든 측정이 입력 공간 전체를 포괄하고 정보를 담은 경로들은 정보량이 일치한다(정확한 베이즈 상한 1.0). 네 가지 발견이 있다. (1) 종점 불변성: 보류된 결합 질의에서 어떤 정보 경로도 수렴된 제로샷 합성에 도달하지 못하며, 각 경로는 우연 수준 이하에서 끝난다. 따라서 이 실패는 정보 부족이 아니라 룩업만으로 충분한 목적함수 하에서의 귀납 편향을 반영한다. 이는 상태를 모든 토큰에 더하지 않고 고유한 시퀀스 위치에 두어도 마찬가지이다. (2) 가독성이 퓨샷 결합을 좌우한다: 보류된 유형의 작은 일부를 학습에 유출시키면 표본 효율이 코드의 가독성을 따른다. 가독성이 가장 낮은 얽힌 코드가 가장 나쁘며(통합 -0.147, 두 방식 모두), 차원을 맞춘 대조군과 단계적 가독성 스윕으로 가독성을 입력 차원과 분리하였다. (3) 경로가 아니라 주입 위치가 결정한다: v1은 가독성이 있는 경로들 사이에 남은 순서를 경로 파라미터 공유로 해석하였으나, 이는 철회한다. 비교된 경로들은 블록 분해가 가능하여 하나의 함수 클래스에 속하므로 공유는 애초에 조작된 적이 없으며, 이 순서는 브로드캐스트로 더해지는 상태의 초기화 스케일에서 비롯되고 상태에 고유한 위치를 부여하면 사라진다(+0.057 -> -0.006, 셀당 20개 쌍체 시드). (4) 실패의 해부: 기호 경로는 읽어내는 단계에서 답을 잃고, 인덱스 경로는 잘못 결합한다. 즉 답은 여전히 디코딩 가능하지만 입력 개입을 통해 보면 출력이 엉뚱한 슬롯을 따라간다. 핵심적인 긍정적 주장은 가독성이며, 나머지는 경로 비교로 확립할 수 있는 범위를 한정한다. 코드, 매니페스트, 시드별 로그를 공개한다.

arXiv:2602.19143v3cs.LG공통 태그 Inductive Bias

트랜스포머에서 희소 어텐션 패턴의 점진적 학습

Incremental Learning of Sparse Attention Patterns in Transformers

트랜스포머는 특정 위치로부터 정보를 복사하는 희소 어텐션 패턴을 통해 과거의 여러 위치에서 얻은 정보를 통합한다. 본 연구는 다음 토큰이 통계적 중요도가 서로 다른 여러 과거 위치 그룹에 의존하는 고차 마르코프 연쇄 설정에서 이러한 패턴이 학습 중에 어떻게 형성되는지를 연구한다. 학습은 이산적인 단계들로 진행되며, 각 단계는 그다음으로 중요한 그룹에 대한 희소 어텐션 패턴의 출현으로 특징지어진다. 역학은 처음에는 모든 어텐션 헤드가 지배적인 패턴에 집중하는 경쟁적 양상을 보이지만, 이후에는 서로 다른 헤드가 서로 다른 패턴에 특화되는 협력적 양상으로 바뀐다. 다루기 쉬운 대리 모델에서는 역학이 텐서 분해 문제의 역학으로 환원되어, 단계별 수렴을 증명할 수 있다. 실험적으로 완료되는 단계의 수는 학습 데이터셋 크기에 따라 달라지며, 이는 조기 종료를 통한 일종의 암묵적 복잡도 제어를 시사한다. 종합하면, 본 연구는 명시적인 커리큘럼 없이 구조화된 어텐션 패턴과 헤드 특화가 어떻게 나타나는지에 대한 이론적 설명을 제시한다.

arXiv:2510.21615v3cs.CV공통 태그 Inductive Bias

에피폴라 기하학이 비디오 생성 모델을 향상시킵니다

Epipolar Geometry Improves Video Generation Models

비디오 생성 모델은 정류 흐름(rectified flow) 기법으로 학습된 잠재 확산 트랜스포머를 통해 크게 발전해 왔다. 그러나 이러한 모델은 여전히 기하학적 불일치, 불안정한 움직임, 그리고 사실적인 3D 장면이라는 착각을 깨뜨리는 시각적 아티팩트로 어려움을 겪고 있다. 3D 일관성을 갖는 비디오 생성은 생성 및 재구성 과제의 수많은 하위 응용에 상당한 영향을 미칠 수 있다. 본 연구는 에피폴라 기하 제약이 최신 비디오 확산 모델을 어떻게 개선하는지 탐구한다. 방대한 학습 데이터를 사용함에도 불구하고 이러한 모델은 근본적인 기하학적 원리를 포착하지 못한다. 본 연구는 선호도 기반 최적화를 통해 쌍별 에피폴라 기하 제약으로 확산 모델을 정렬하며, 수학적 원리에 기반한 기하학적 강제를 통해 불안정한 궤적과 기하학적 아티팩트를 직접적으로 해결한다. 제안하는 접근법은 종단간 미분 가능성을 요구하지 않고도 기하학적 원리를 효율적으로 강제한다. 평가 결과, 고전적인 기하 제약이 파운데이션 모델에 기반한 비디오 품질 및 기하 지표보다 더 신뢰할 수 있는 선호 신호를 제공함을 보인다. 에피폴라 지표가 가장 신뢰할 수 있는 카메라 움직임이 있는 정적 장면으로 선호도를 구성하며, 정렬된 모델은 동적 장면으로 일반화된다. 데이터 기반 학습과 고전 컴퓨터 비전을 연결함으로써, 시각적 품질을 저하시키지 않으면서 에피폴라 오차를 31% 줄이고 사람이 평가한 일관성을 54%에서 72%로 향상시켰다.

arXiv:2606.20467v2cs.LG공통 태그 Inductive Bias

에이전트 기호 탐색: 수작업 수식, 메시, 신경망을 넘어선 편미분방정식 해의 근사

Agentic Symbolic Search: Approximating Solutions of PDEs Beyond Hand-crafted Expressions, Meshes, and Neural Networks

수치 기법과 신경망은 비선형 편미분방정식(PDE)에 대한 이해를 변화시켰지만, 그 동역학을 설명하는 수학적 표현을 발견하는 일은 여전히 대체로 전문가의 몫이다. 본 논문은 코딩 에이전트가 알려진 PDE와 제공된 수학적 지식으로부터 명시적 근사를 구성하고 개선하는 에이전트 기호 탐색(ASYS)을 제안한다. ASYS는 미분 가능한 기호 프로그램에 대한 진화적 탐색을 경사 기반 피팅과 결합하며, 지배 방정식을 이용해 후보를 평가하고 수정을 이끈다. 특이 일반화 Constantin-Lax-Majda 프로파일에 대해 ASYS는 장이 특이 시점의 극한에 접근하는 속도를 결정하는 누락된 감쇠항을 추론하고, 프로파일을 중앙값 오차 $3.90\times10^{-5}\%$로 적합하는 기저를 구성한다. Fujita 폭발의 경우 확산과 반응을 분리하고 국소 응답을 유도하여, 제공된 공식의 오차를 55.5%에서 0.0879%로 낮춘다. Allen-Cahn 계면에 대해서는 14개 매개변수로 구성한 모델이 독립적인 시뮬레이션으로 확인된 모드 결합 법칙을 도출한다. 이러한 연구는 에이전트 탐색이 수학적 출발점을 정확하고 분석 가능한 근사로 발전시킬 수 있음을 보여준다.

arXiv:2606.11319v3cs.LG공통 태그 Inductive Bias

심하게 손상된 입력으로 학습하면 신경망은 중심점 분류기가 된다

Neural networks become centroid classifiers when trained on heavily corrupted inputs

불완전한 데이터로부터의 학습은 기계학습의 핵심 주제로, 강인성(robustness)에 관한 실용적 질문을 학습 가능성(learnability)에 관한 근본적 질문과 연결합니다. 여기서 우리는 속성 노이즈(attribute noise)를 조사합니다: 레이블은 그대로 유지하면서 손상된 입력으로부터 학습하는 것으로, 레이블 노이즈(label-noise) 대응 경우보다 분석적 관심이 상당히 덜 받아온 설정입니다. 우리는 두 가지 유형의 손상 모델을 고려합니다: 가산 노이즈(additive noise)와 대체 노이즈(replacement noise). 손상된 분류(classification) 데이터셋에서 다층 퍼셉트론(MLP)을 통한 실험을 통해, 우리는 신경망이 여전히 강인함을 유지하며, 입력이 90% 이상 손상되었을 때에도 우연 수준보다 훨씬 높은 정확도를 유지함을 발견했습니다. 이는 인간 인식 능력을 훨씬 뛰어넘는 것입니다. 이러한 강인성을 이해하기 위해, 우리는 평균장(mean-field) 영감을 받은 접근법을 사용하여 심한 손상(heavy-corruption) 영역에서 무한 너비 신경망을 분석하고 분류 결과에 대한 주요 결정 규칙을 도출했습니다: 신경망은 프로토타입 규칙인 최근접 클래스 평균(nearest-class-mean)을 구현하여, 각 테스트 포인트를 학습 세트 평균과 가장 유사한 클래스에 할당합니다. 이 주요 결정 규칙은 광범위한 MLP 아키텍처에 걸쳐 보편적이며, 모든 깊이와 넓은 범위의 활성화 함수 및 노이즈 분포에 대해 성립합니다. 동일한 중심점(centroid) 메커니즘은 우리의 실험에서 유한 너비 신경망의 동작과 밀접하게 일치하며, 개별 학습(training) 예제가 거의 신호를 전달하지 않을 때에도 학습이 성공할 수 있는 이유에 대해 해석 가능하고 분석적으로 다루기 쉬운 설명을 제공합니다.

arXiv:2606.12074v2cs.CV공통 태그 Generative Adversarial Network

생성적 적대 신경망과 멤리스터 기반 분류기를 이용한 비정면 얼굴 인식

Non-frontal face recognition using GANs and memristor-based classifiers

얼굴 인식 시스템은 심층 학습(deep learning) 기법을 통해 크게 발전하여 복잡한 시나리오에서 높은 성능과 견고성을 제공하고 있다. 그러나 이러한 접근 방식은 상당한 연산 오버헤드를 수반하여, 비정면 얼굴 영상 처리 등의 과제를 해결해야 하는 드론과 같은 자원 제약적 플랫폼에서의 현장 적용성을 제한한다. 멤리스터 기반 뉴로모픽 시스템은 생물학적으로 영감을 받은 처리 방식과 효율적이고 확장 가능한 연산을 결합하여 엣지 AI 응용을 위한 유망한 접근법으로 부상하고 있다. 본 연구에서는 경량 생성적 적대 신경망(GAN) 기반의 포즈 정면화와 멤리스터 기반 뉴로모픽 인식을 통합하여 비정면 포즈 변화를 처리하는 얼굴 인식 프레임워크를 제안한다. 두 가지 데이터셋에 대한 실험 결과는 적대적 학습과 멤리스티브 기술의 결합이 효과적임을 입증하며, 최대 96%의 식별 정확도를 달성하였다. 제안된 접근 방식은 기존 AI의 연산 병목을 완화하고, 동적인 실세계 환경에서의 얼굴 인식을 위한 확장 가능하고 효율적인 솔루션을 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.