arXiv:2408.01362v4 stat.ML 공식 코드 · Papers with Code

함수 공간에서의 오토인코더

Autoencoders in Function Space

Justin Bunker, Mark Girolami, Hefin Lambley, Andrew M. Stuart, T. J. Sullivan

제출 2024-08-02

한국어 초록

오토인코더는 원래의 결정론적 형태와 변분(formulation)인 변분 오토인코더(VAE) 모두에서 널리 응용되어 왔다. 과학 응용과 영상 처리에서는 데이터를 함수로 보는 것이 종종 관심 대상이다. 실무에서는 이산화(과학에서 나오는 미분방정식)나 픽셀화(영상)로 문제가 유한 차원이 되지만, 먼저 함수에 대해 동작하는 알고리즘을 구상한 뒤 이산화하거나 픽셀화하는 접근이 해상도 간 매끄럽게 동작하는 더 나은 알고리즘으로 이어진다. 본 논문에서는 오토인코더(FAE)와 변분 오토인코더(FVAE)의 함수 공간 버전을 제안·분석·적용한다. VAE를 지배하는 목적함수의 well-definedness는 미묘한 문제이며, 특히 함수 공간에서 적용 가능성을 제한한다. FVAE 목적함수가 well defined 되려면 데이터 분포가 선택한 생성 모델과 호환되어야 하며, 예를 들어 데이터가 확률 미분방정식(stochastic differential equation)에서 비롯될 때는 이를 달성할 수 있지만 일반적으로 제한적이다. 반면 FAE 목적함수는 FVAE가 그렇지 못한 많은 상황에서 well defined이다. FVAE 및 FAE 목적함수를 임의의 메쉬에서 평가할 수 있는 신경 연산자(neural operator) 아키텍처와 결합하면, 인페인팅(inpainting), 초해상도(superresolution), 과학 데이터의 생성 모델링(generative modelling)에 오토인코더를 새롭게 적용할 수 있다.

원문 초록

Autoencoders have found widespread application in both their original deterministic form and in their variational formulation (VAEs). In scientific applications and in image processing it is often of interest to consider data that are viewed as functions; while discretisation (of differential equations arising in the sciences) or pixellation (of images) renders problems finite dimensional in practice, conceiving first of algorithms that operate on functions, and only then discretising or pixellating, leads to better algorithms that smoothly operate between resolutions. In this paper function-space versions of the autoencoder (FAE) and variational autoencoder (FVAE) are introduced, analysed, and deployed. Well-definedness of the objective governing VAEs is a subtle issue, particularly in function space, limiting applicability. For the FVAE objective to be well defined requires compatibility of the data distribution with the chosen generative model; this can be achieved, for example, when the data arise from a stochastic differential equation, but is generally restrictive. The FAE objective, on the other hand, is well defined in many situations where FVAE fails to be. Pairing the FVAE and FAE objectives with neural operator architectures that can be evaluated on any mesh enables new applications of autoencoders to inpainting, superresolution, and generative modelling of scientific data.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2408.01362v4제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.