Func-JEPA: 함수의 소볼레프 공간을 잠재 벡터로 학습하기
Func-JEPA: Learning a Sobolev Space of Functions as Latent Vectors
한국어 초록
비전과 언어 분야에서는 인코더를 한 번 사전학습한 뒤 여러 과제에 재사용하는 접근법이 널리 쓰인다. 그러나 신경망 기반 기호 수학은 여전히 과제마다 전용 시퀀스-투-시퀀스 모델을 학습하므로, 함수 표현이 과제 사이에 공유되지 않는다. 본 연구는 함수 공동 임베딩 예측 아키텍처인 Func-JEPA(약칭 f-JEPA)를 제안한다. 수학 함수를 기호 형태로 사전학습하는 인코더다. 잠재 공간은 소볼레프 공간 H^1을 모방하고, 미분은 잠재 공간의 학습된 연산자가 수행한다. 잠재 벡터의 노름은 함수에서 정확히 계산하며, 방향은 소볼레프 공간의 각도에 맞도록 학습한다. 가중치를 고정한 인코더를 디코딩, 함수 합성, 적분, 표본 기반 회귀의 경량 모듈에서 재사용한다. 사전학습 분포 안팎에서 표현과 네 후속 과제를 평가했다. f-JEPA는 비교한 기호 회귀 방법보다 잡음이 있는 표본에서 정확한 공식을 더 자주 복원했다. 표준 적분 및 미분방정식 벤치마크에서는 컴퓨터 대수와 과제 특화 모델이 여전히 더 강했다.
원문 초록
Pretraining an encoder once and reusing it across tasks is a widespread approach in vision and language. However, neural symbolic mathematics still trains a dedicated sequence-to-sequence model for each task, so that no representation of a function is shared. In this work, we propose the Function Joint-Embedding Predictive Architecture (Func-JEPA, abbreviated f-JEPA): an encoder of mathematical functions, pretrained on their symbolic form, whose latent space imitates the Sobolev space H^1 and in which differentiation is a learned latent operator. The norm of a latent is computed exactly from the function, whereas its direction is learned to match Sobolev angles. The frozen encoder is then reused by lightweight modules for decoding, composition, integration, and regression from samples. The representation and four downstream tasks are evaluated within and outside the pretraining distribution. f-JEPA recovers exact formulas from noisy samples more often than the compared symbolic-regression methods, whereas computer algebra and task-specific models remain stronger on standard integration and differential-equation benchmarks.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2611.19542v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.