텐서 분리를 더 견고하고 덜 매개변수적으로 만들기
Making Tensor Decoupling More Robust and Less Parametric
한국어 초록
텐서 분리 알고리즘은 선형 인자 행렬과 일변량 내부 비선형성을 결합하여 다변량 함수의 간결한 표현을 복원한다. 우리는 최근 방법들의 두 가지 한계를 확인하였다. 첫째, 이들의 성능은 출력 또는 기울기 크기의 불일치에 대해 불변이 아니며, 둘째, 스플라인 내부 구조는 자유도를 수동으로 조정해야 한다. 우리는 두 가지 경량 개선책을 제안한다. 첫째는 입력 야코비안 텐서의 크기를 재조정하는 전처리 단계로, 더 큰 크기의 출력에 대한 편향과 이러한 불일치로 인해 발생하는 특정 인자 갱신의 악조건성을 모두 제거한다. 둘째는 B-스플라인 내부 구조를 일반화 교차 검증과 결합된 벌점 스플라인으로 대체하여, 사용자가 적절한 제어점 개수를 선택하는 데 대한 방법의 의존도를 낮춘다. 마지막으로 우리는 알고리즘의 효율적인 오픈소스 JAX 구현을 공개한다.
원문 초록
Tensor decoupling algorithms recover compact representations of multivariate functions by combining linear factor matrices with univariate internal nonlinearities. We identify two limitations of recent methods. First, their performance is not invariant to mismatched output or gradient magnitudes, and second, their spline internals require manual tuning of their degrees of freedom. We propose two lightweight fixes. The first is a preprocessing step that rescales the input Jacobian tensor, removing both the bias towards larger magnitude outputs and the ill-conditioning of certain factor updates caused by such a mismatch. The second replaces B-spline internals by penalized splines coupled with generalized cross-validation, making the method less dependent on the user selecting the right number of control points. Finally, we release an efficient open-source JAX implementation of our algorithm.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2610.16937v2제출 시각 미확인
- arXiv:2610.16937v1
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.