Semi-Supervised Translation with MMD Networks
원문 초록
This work aims to improve semi-supervised learning in a neural network architecture by introducing a hybrid supervised and unsupervised cost function. The unsupervised component is trained using a differentiable estimator of the Maximum Mean Discrepancy (MMD) distance between the network output and the target dataset. We introduce the notion of an $n$-channel network and several methods to improve performance of these nets based on supervised pre-initialization, and multi-scale kernels. This work investigates the effectiveness of these methods on language translation where very few quality translations are known \textit{a priori}. We also present a thorough investigation of the hyper-parameter space of this method on both synthetic data.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
상태 의존적 순방향 확산을 이용한 효율적 이미지 복원
Efficient Image Restoration with State-Dependent Forward Diffusion
본 논문은 상태 의존적 평균 회귀(mean-reverting) 순방향 확산(FoD) 과정을 통해 이미지 복원을 수행하는 방법을 제안한다. 전통적인 확산 기반 접근법이 결합된 순·역방향 확산 체계에 의존하는 것과 달리, FoD는 단일 순방향 확산 과정만으로 이미지 복원을 직접 학습하여 단순하면서도 효율적인 프레임워크를 제공한다. FoD의 핵심은 표류(drift)와 확산(diffusion) 함수 모두에 평균 회귀 항을 포함하는 상태 의존적 확률 미분 방정식(SDE)이다. 이 평균 회귀 구조는 제어된 확률적 변동과 함께 저품질 데이터를 깨끗한 종점으로 이동시키며, 따라서 원본과 목표 분포 사이의 확률적 보간을 시뮬레이션한다. 더 중요한 것은 FoD가 해석적으로 다룰 수 있으며 단순한 확률적 플로우 매칭(stochastic flow matching) 목적함수로 학습되어, 추론 시 소수 스텝 샘플링을 가능하게 한다는 점이다. 제안된 FoD 모델은 단순함에도 불구하고 대표적인 확산, 확산 브릿지(diffusion bridge), 플로우 매칭(flow matching) 접근법과 비교하여 다양한 이미지 복원 과제에서 전반적으로 우수한 성능을 달성한다. 코드는 https://github.com/Algolzw/FoD 에서 이용할 수 있다.
CycleVAR: Repurposing Autoregressive Model for Unsupervised One-Step Image Translation
CycleDistill: Bootstrapping Machine Translation using LLMs with Cyclical Distillation
Gender Bias in English-to-Greek Machine Translation
Mutual-Supervised Learning for Sequential-to-Parallel Code Translation
TACTIC: Translation Agents with Cognitive-Theoretic Interactive Collaboration
토론
이 논문과 연결된 포럼 글이 아직 없습니다.