오르내리기: 이산형 서열 데이터를 위한 디노이저 확산 모델
Jumping up and down: Denoiser diffusion models for discrete ordinal data
한국어 초록
확산 모델(Diffusion models)은 이미지 및 비디오 도메인의 연속 공간에서 고도로 발전해 왔습니다. 최근에는 범주형 데이터, 특히 언어 도메인을 위한 이산 확산 모델에서도 큰 진전이 이루어졌습니다. 반면 이미지와 음악부터 유전자 수에 이르기까지 널리 사용되는 모달리티임에도 불구하고, 이산형 정수값 데이터를 위한 확산 모델은 상대적으로 덜 발달되어 있습니다. 본 논문에서는 이산형 서열(ordinal) 데이터를 위한 새로운 디노이저 기반 확산 모델 계열인 JUD(Jumping Up and Down)를 소개합니다. 이는 디노이저 학습을 중심으로 하면서 동시에 데이터의 양방향(상하) 섭동(perturbation)을 허용하는 서열 데이터용 최초의 확산 모델 계열입니다. 학습 목표의 단순성과 양방향 섭동의 유연성이 결합되어, 다양한 데이터 모달리티 전반에 걸쳐 경쟁력 있는 결과를 얻을 수 있었습니다.
원문 초록
Diffusion models are highly developed in continuous spaces for image and video domains. Recently, major advances have been made for discrete diffusion models for categorical data, specifically in the language domain. In contrast, diffusion models for discrete integer-valued data are less developed, despite the prevalence of this modality, ranging from images and music to gene counts. We introduce Jumping Up and Down (JUD)---a new family of denoiser-based diffusion models for discrete ordinal data. This is the first family of diffusion models for ordinal data which centers around training denoisers, which at the same time allows for bi-directional (up and down) perturbations of the data. The simplicity of the training objective, combined with the flexibility of bi-directional perturbations, leads us to obtain competitive results across different data modalities.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.
저자 비고
arXiv Comments
39 pages, 3 figures