arXiv:2610.02615v1 cs.LG

귀납적 학습에서 구성적 귀납, 지식 및 노이즈 필터링의 가치 정량화

Quantifying the Value of Constructive Induction, Knowledge, and Noise Filtering on Inductive Learning

Carl M. Kadie

제출 2026-10-02

저자 비고

arXiv Comments

12 pages, including a modern cover note and the unchanged 11-page author manuscript from 1991. Extended author version of a paper published in Machine Learning Proceedings 1991 (ICML 1991), pp. 153-157. Deposited in arXiv in 2026

한국어 초록

학습 연구의 핵심 목표 중 하나는 학습 문제의 특성이 평균적인 학습 성능에 미치는 영향을 측정, 모델링 및 이해하는 것이다. 예를 들어, 구성적 귀납(constructive induction), 노이즈 필터링, 배경 지식의 가치를 정량화하고자 한다. 본 논문에서는 문제 특성과 학습 성능을 연결하는 데 도움을 주는 새로운 학습 척도인 유효 차원(effective dimension)을 소개한다. 바프닉-체르보넨키스(VC) 차원과 마찬가지로 유효 차원은 종종 문제 특성과 단순 선형 관계를 가진다. 하지만 VC 차원과 달리 유효 차원은 경험적으로 추정할 수 있으며 평균적인 경우(average-case)에 대한 예측을 제공한다. 따라서 기계 및 인간 학습 연구에 더 폭넓게 적용할 수 있다. 이 척도는 역전파를 포함한 여러 학습 시스템에서 검증된다. 마지막으로, 특징 생성 시스템인 FRINGE를 사용할 때의 이점을 정밀하게 예측하는 데 이 척도를 활용한다. 그 결과 목표 개념의 복잡성이 증가할수록 이점이 감소하는 것으로 나타났다.

원문 초록

Learning research, as one of its central goals, tries to measure, model, and understand how learning-problem properties affect average-case learning performance. For example, we would like to quantify the value of constructive induction, noise filtering, and background knowledge. This paper describes the effective dimension, a new learning measure that helps link problem properties to learning performance. Like the Vapnik-Chervonenkis (VC) dimension, the effective dimension is often in a simple linear relation with problem properties. Unlike the VC dimension, the effective dimension can be estimated empirically and makes average-case predictions. It is therefore more widely applicable to machine and human learning research. The measure is demonstrated on several learning systems including Backpropagation. Finally, the measure is used to precisely predict the benefit of using FRINGE, a feature construction system. The benefit is found to decrease as the complexity of the target concept increases.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.02615v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2606.20183v1cs.LG공통 태그 Inductive Bias, effective dimension

유효 차원이 양자 커널 비전 모델의 일반화를 지배한다

Effective Dimension Governs Generalization in Quantum Kernel Vision Models

최근 양자 비전 모델인 양자 비전 트랜스포머와 양자 컨볼루션 네트워크는 두 가지 놀랍지만 설명되지 않은 경험적 현상을 보고합니다: (i) 더 많거나 더 균일하게 분포된 얽힘을 가진 안사츠(ansatze)는 더 잘 일반화되며, (ii) 양자 잡음을 주입하는 것이 테스트 정확도를 저하시키는 대신 향상시킬 수 있습니다. 이러한 관찰 결과들은 현재 그리드 서치(grid search)를 통해 발견되고, 설명된다 하더라도 수동으로 설명되는 기이한 현상으로 취급됩니다. 우리는 두 현상 모두 단일한 측정 가능한 양, 즉 (잡음이 형성된) 양자 특징 커널의 \emph{유효 차원}(effective dimension) $d_{\rm eff}$의 발현임을 보여줍니다. 주로 양자 커널 비전 모델(커널 분류기가 읽어들이는 양자 특징 맵)을 사용하여, 얽힘 구조와 양자 잡음이 $d_{\rm eff}$를 이동시키는 두 가지 조절 장치가 되는 스펙트럼적 해석을 제시합니다. 과적합(overfitting) 영역에서 $d_{\rm eff}$를 축소하는 것은 능선형(ridge-like) 정규화(regularization)처럼 작용합니다. 우리는 메커니즘을 분석합니다: $d_{\rm eff}(K_p)\to1$을 만족하는 비편광 커널(depolarized kernel) $K_p=(1-p)^2K+\tfrac{p(2-p)}{D}\mathbf{1}\mathbf{1}^\top$의 \emph{정확한} 분해, 진폭 감쇠(amplitude damping)에 대한 축소 결과(및 그 경계), 커널 머신 용량 상한, 그리고 용량/정렬(alignment) 위험 분해가 포함됩니다. 우리의 얽힘 실험에서 작동하는 단조 감소는 경험적으로 검증되었으며, 일반적으로 증명되지는 않았습니다. 단일 매개변수 비편광 계열에서 축소는 대신 구조적으로 정확합니다. 우리는 이를 $d_{\rm eff}$에 대한 증거가 아닌, 기계 정밀도(precision)와 최대 $12$ 큐비트까지 커널 분해를 확인하는 용도로만 사용합니다. 진폭 감쇠는 $d_{\rm eff}$를 축소하고 역 U자형 스윗 스팟(sweet spot)을 따라 테스트 정확도를 최대 $+13\%$까지 향상시킵니다. 이 효과의 부호는 과적합 및 과소적합(under-fitting) 영역 사이에서 바뀝니다. 잡음 주입은 명시적인 스펙트럼 필터링 경계와 일치합니다. 우리의 결과는 보고된 두 가지 일화를 양자 비전 모델 설계를 위한 단일한 측정 가능한 원칙으로 정리합니다.

arXiv:2606.06861v1cs.LG공통 태그 Feature Engineering, Inductive Bias

Product-Unit Residual Networks를 이용한 비선형 특징 상호작용 모델링

Modeling Nonlinear Feature Interactions with Product-Unit Residual Networks

비선형 특징 상호작용(nonlinear feature interactions)을 이해하는 것은 과학 및 공학에서 매우 중요하지만, 표준 다층 퍼셉트론(MLP)은 종종 이러한 상호작용을 암묵적으로만 포착하여 강건성과 해석 가능성을 저해할 수 있는 얽힌 표현을 초래합니다. 우리는 최적화를 안정화하면서 특징 간 결합을 명시적으로 모델링하기 위해 곱셈형 product units와 잔차 연결(residual connections)을 통합하는 product-unit residual networks (PURe)를 조사합니다. 우리는 상호작용 기반 합성 벤치마크와 두 개의 실제 데이터셋에서 체계적인 평가를 수행하여 예측 정확도, 가우시안 특징 노이즈에 대한 강건성, 제한된 학습 데이터 하의 성능을 평가하고, 일치된 매개변수 예산 하에서 실수 및 복소수 변형을 비교합니다. 정확도를 넘어, SHAP 기반 상호작용 분석은 PURe가 MLP 기준 모델보다 더 집중되고 구조적으로 일관된 상호작용 패턴을 학습함을 보여줍니다. 전반적으로, PURe는 경쟁력 있거나 개선된 성능, 데이터 부족 환경에서의 더 나은 강건성 및 샘플 효율성, 그리고 향상된 상호작용 수준의 해석 가능성을 달성합니다.

arXiv:2605.15995v4cs.LG공통 태그 Inductive Bias

제약 기반 잠재 상태 모델링: 상충하는 제약 조건 하에서의 표현 학습에 대한 통합적 관점

Constrained latent state modeling: A unifying perspective on representation learning under competing constraints

시계열, 다중 모달(multimodal) 및 부분 관측 데이터로부터 잠재 표현(latent representation)을 학습하려면 잠재 상태가 어떤 정보를 유지하고 버리며 체계화해야 하는지 명시해야 합니다. 기존 접근 방식들은 이러한 요구 사항을 이종의 목적 함수를 통해 인코딩하므로, 방법론 간의 비교가 어렵고 학습된 표현을 해석하기 어렵게 만듭니다. 본 논문에서는 잠재 상태를 예측 충분성, 최소성, 시간적 일관성, 관측 호환성, 방해 요인에 대한 불변성, 구조적 제약이라는 6가지 상호보완적 특성으로 규정하는 개념적 프레임워크인 제약 기반 잠재 상태 모델링(CLSM)을 제안합니다. CLSM은 이러한 특성들을 이를 유도하는 데 사용되는 대리 목적 함수 및 이를 평가하는 데 사용되는 진단 지표와 분리하며, 제약 조건들의 조합이 허용 가능한 표현 공간을 제한함으로써 식별 가능성(identifiability)을 어떻게 향상시킬 수 있는지 명확히 합니다. 저자들은 이 공통 설계 공간을 통해 주요 표현 학습 계열들을 재해석하고, 제어된 합성 벤치마크를 통해 프레임워크를 설명합니다. 실험 결과는 예측 목표, 대리 공식화, 매개변수화 및 최적화에 따라 목적 함수들이 어떻게 서로 다른 잠재 체계화와 경험적 트레이드오프를 생성하는지 보여줍니다. 참조 구현체, 재현 가능한 실험, 문서 및 모델 카드가 포함된 관련 저장소: https://github.com/gwenole-quellec/clsm

토론

이 논문과 연결된 포럼 글이 아직 없습니다.