arXiv:1812.02616

Modelling Identity Rules with Neural Networks

Tillman Weyde, Radha Manisha Kopparti

제출 2018-12-06

원문 초록

In this paper, we show that standard feed-forward and recurrent neural networks fail to learn abstract patterns based on identity rules. We propose Relation Based Pattern (RBP) extensions to neural network structures that solve this problem and answer, as well as raise, questions about integrating structures for inductive bias into neural networks. Examples of abstract patterns are the sequence patterns ABA and ABB where A or B can be any object. These were introduced by Marcus et al (1999) who also found that 7 month old infants recognise these patterns in sequences that use an unfamiliar vocabulary while simple recurrent neural networks do not.This result has been contested in the literature but it is confirmed by our experiments. We also show that the inability to generalise extends to different, previously untested, settings. We propose a new approach to modify standard neural network architectures, called Relation Based Patterns (RBP) with different variants for classification and prediction. Our experiments show that neural networks with the appropriate RBP structure achieve perfect classification and prediction performance on synthetic data, including mixed concrete and abstract patterns. RBP also improves neural network performance in experiments with real-world sequence prediction tasks. We discuss these finding in terms of challenges for neural network models and identify consequences from this result in terms of developing inductive biases for neural network learning.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2607.23967v1cs.AI공통 태그 General Classification, Inductive Bias

가중치 감쇠 시계 위의 그로킹: 약하게 깨진 대칭성으로부터의 속도 계층

Grokking on the Weight-Decay Clock: A Rate Hierarchy from Softly Broken Symmetries

지연된 일반화, 즉 그로킹(grokking)은 광범위한 실증 연구에도 불구하고 여전히 잘 이해되지 않는다. 우리는 전체 배치 heavy-ball 최적화와 가중치 감쇠(weight decay)로 학습된 선형 모델에서 그로킹에 대한 정확히 풀 수 있는 후기 이완 메커니즘을, 비선형 신경망에 대한 국소적으로 이차적인 확장과 함께 밝힌다. 우리의 분석은 경험적 영공간(empirical null space)의 구별되는 population-active 성분을 드러내며, 이를 그로킹 부분공간(grokking subspace)이라 부른다. 이 부분공간을 따라 학습 예측은 변하지 않아 가중치 감쇠만이 유일한 복원력이 되며, 정확한 이산 시간 및 연속 시간 법칙에 의해 지배되는 느린 소산 이완이 발생한다. 우리는 오직 이 부분공간만이 모집단 위험(population risk)의 느린 점근적 감쇠에 기여함을 보이고, 그로킹 시간에 대한 명시적인 반복(iteration) 규모 예측을 유도하여, 약한 정규화(regularization) 영역에서 잘 알려진 $(1-β)/(ηλ)$ 스케일링을 복원한다. 이 이론은 결합된 $L_2$ 정규화와 분리된(decoupled) 가중치 감쇠를 구별하여 옵티마이저 선택의 뚜렷한 효과를 추가로 예측하고, 그로킹 성분을 수정하는 개입에 대한 인과적 예측을 제공한다. 우리는 모든 부분공간과 이완 속도가 폐형(closed form)으로 계산 가능한 합성 모델에서, 적합 파라미터 없이 모든 이론적 항등식을 검증한다. 우리는 모듈러 덧셈(modular addition)에서 실제 지연된 일반화를 추가로 관찰하며, 측정된 지연이 예측된 스케일링을 따르고 후기 이완이 이론적 시계와 밀접하게 일치함을 확인한다.

arXiv:2607.22516v1quant-ph공통 태그 General Classification, Inductive Bias

양자 스펙트럴 모델: 입력 조건부 주파수 지원을 갖춘 데이터 재업로드

Quantum Spectral Model: Data Reuploading with Input-Conditioned Frequency Support

현대 기계학습과 인공지능의 핵심 설계 원칙 중 하나는 모델의 귀납적 바이어스(inductive bias)를 입력 데이터의 구조에 맞추는 것이다. 행렬 값 입력의 경우, 관련 행렬 수준 관계는 스펙트럴 값(spectral values)과 스펙트럴 부분공간(spectral subspaces)을 통해 특성화될 수 있지만, 대부분의 양자 기계학습 모델에서 사용되는 일반적인 좌표별 회전 게이트(rotation-gate) 데이터 인코딩 유니터리(unitaries)는 이러한 행렬 수준 표현을 명시적으로 구성하지 않는다. 우리는 각 입력 행렬로부터 데이터 인코딩 유니터리의 생성자(generator)를 직접 구성하는 양자 스펙트럴 모델(Quantum Spectral Models, QSMs)을 제안한다. 대칭(symmetric), 전역 블록(global block), 비중첩 패치-국소 블록(non-overlapping patch-local block) 해밀토니안(Hamiltonians)에 기반한 세 가지 QSM 변형을 연구한다. 이들의 출력은 절단된 푸리에 표현(truncated Fourier representations)을 허용하며, 여기서 입력 의존적 스펙트럴 갭(spectral gaps)이 후보 위상 반송체(phase carriers)를 제공하고, 스펙트럴 부분공간은 그 계수를 결정하는 데 도움을 준다. QSM과 비교 양자 모델을 Pendigits의 두 행렬 표현과 스펙트럴 통계로 정의된 두 제어 합성 과제에서 평가한다. 가장 깊게 평가된 회로 깊이(circuit depth)에서, QSM 변형은 네 벤치마크 전체에서 테스트된 양자 모델 중 평균 테스트 정확도에서 앞선다. 패치-국소 QSM은 Pendigits에서 앞서고, 전역 블록-해밀토니안 QSM은 제어 스펙트럴 과제에서 앞선다. 어블레이션(ablations)은 과제 의존적 역전을 보여준다: 부분공간 보존(subspace-preserving) 제어는 Pendigits에서 더 나은 성능을 보이는 반면, 스펙트럴 값만 사용하는(spectral-value-only) 제어는 합성 과제에서 테스트된 어블레이션 중 앞선다. 종합하면, 이러한 결과는 입력 조건부 스펙트럴 표현이 분석 가능한 귀납적 바이어스를 제공할 수 있음을 보여줌으로써 양자 기계학습 모델 설계에 새로운 통찰을 제공하며, 기계학습과 인공지능에서 구조 인식(structure-aware) 모델 설계에 대한 더 넓은 관점을 제시한다.

arXiv:2606.21687v1cs.LG공통 태그 General Classification, Inductive Bias

표현력 포화: 과제 복잡도 증가에 따른 아핀 영역 사용량 감소

Expressivity Saturation: Reduced Affine Region Usage Under Increasing Task Complexity

구분적 아핀 신경망(예: ReLU 또는 LeakyReLU 활성화 함수를 사용하는 경우)은 연속 구분적 아핀 사상을 구현하며, 아핀 영역의 수는 표현 용량에 대한 자연스러운 대리 지표를 제공한다. 그러나 이론적 영역 용량과 학습 후 실현되는 아핀 영역 사이의 격차는 아직 충분히 이해되지 않고 있다. 우리는 이 격차를 두 가지 상호 보완적 관점에서 연구한다. 첫째, 아핀 선분 프로브(affine line-segment probe)에 대한 엄밀하고 아키텍처 의존적인 정리를 제시한다: 구분적 아핀 활성화 함수를 사용하는 다층 퍼셉트론에서, 아핀 선분 프로브를 따라 실현되는 아핀 조각의 수는 층별 너비 항(및 활성화 분기점 인수)의 명시적 곱으로 상한이 결정된다. 이로부터, 지정된 1차원 조각 복잡도를 갖는 목표 함수를 표현하기 위한 뉴런 임계값 하한이 도출되어, 복잡한 신호에 요구되는 최소 영역 예산이 형식화된다. 둘째, 제어된 과제 복잡도 하에서 유계 2차원 및 고차원 도메인 내에 실현되는 아핀 영역을 정확히 열거한다. 고정된 아키텍처와 학습 프로토콜 하에서, 입력-레이블 복잡도를 높이면 최악의 경우 아키텍처 용량은 변하지 않음에도 불구하고 평가 도메인 내 실현 영역이 현저히 줄어든 학습된 해가 도출된다; 우리는 이를 표현력 포화(expressivity saturation)라고 명명한다. 더불어, 가장 어려운 체계에서는 2차원 시각화를 통해 영역 사용량 붕괴가 결정 경계의 열화와 종종 일치함을 확인한다. 마지막으로, 아핀 영역 분할과 결정 경계의 학습 역학을 시각화하여, 최적화 과정에서 일관된 정제 과정이 진행됨을 밝힌다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.