arXiv:2610.41179v1 cs.LG

선형 근사 클래스에 대한 일반 주파수 원리

General Frequency Principle for Linear Approximation Classes

Yujun Wang, Yiqi Gu

제출 2026-11-02

한국어 초록

본 논문에서는 유한 선형 근사 클래스에 대해 경사 하강법 학습 하에서의 일반 주파수 원리를 연구한다. 적절한 가정 하에서, 목표 진폭에 대한 학습기 진폭의 비가 학습 전 과정에 걸쳐 균일하게 고주파에서 소멸함을 증명한다. 또한 개별적으로 학습된 단일 주파수 목표와 같은 실행에서 학습된 두 주파수 성분을 포괄하는 저주파 우선성의 충분 조건을 확립한다. 이 일반 주파수 원리는 낮은 주파수가 항상 더 빨리 수렴함을 의미하지는 않는다. 대신 특정 비교 조건을 만족하는 두 주파수의 경우 한 성분이 다른 성분보다 학습에 더 오래 걸리며, 일반적인 경우 더 오래 걸리는 성분이 더 높은 주파수를 가진다. 르장드르 기저와 삼각 기저를 이용한 수치 실험이 이론적 결과를 뒷받침한다.

원문 초록

In this paper, we study a general frequency principle under gradient descent training for the finite linear approximation classes. Under suitable assumptions, we prove that the learner amplitude relative to the target amplitude vanishes at high frequencies, uniformly throughout training. We also establish sufficient conditions for low-frequency priority, covering single-frequency targets trained separately and two frequency components trained in the same run. This general frequency principle does not imply that lower frequencies always converge faster. Instead, for two frequencies that satisfy certain comparison conditions, one component will take longer to learn than the other; and in common cases, the longer component has higher frequency. Numerical experiments with Legendre and trigonometric bases validate the theoretical results.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.41179v1제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.