한국어 초록
체계적 일반화(Systematic generalization)는 심층 학습(deep learning)에서 여전히 중요한 과제로 남아 있습니다. 특히, 알려진 변동 요인들의 새로운 조합으로 일반화하는 조합적 일반화(combinatorial generalization)는 인간에게는 수월하지만, 명시적인 구조적 표현 대신 통계적 상관관계에 의존하는 표준 신경망 아키텍처에는 어렵습니다. 본 논문에서는 심층 학습에 구조화된 귀납적 바이어스(inductive bias)를 내재화하는 새로운 아키텍처 구성 요소인 텐서곱 표현(Tensor-Product Representations, TPRs) 기반으로 동작하는 어텐션(attention) 메커니즘을 소개합니다. 구성적(compositional) 과제에 대한 통제된 실험을 통해, 이 TPR-어텐션 메커니즘이 조합적 일반화에 있어 기존 아키텍처 구성 요소들보다 우수한 성능을 보임을 입증합니다. 이러한 결과는 신경망 어텐션에 명시적인 구성적 구조를 통합하는 것의 가치를 강조하며, 체계적 일반화가 가능한 모델을 향한 유망한 경로를 제시합니다.
원문 초록
Systematic generalization remains a significant challenge in deep learning. In particular, combinatorial generalization - generalizing to new configurations of known factors of variation - is effortless for humans but difficult for standard neural architectures that rely on statistical correlations rather than explicit structural representations. We introduce a new architectural component that embeds structured inductive bias into deep learning: an attention mechanism operating over tensor-product representations (TPRs). Through controlled experiments on compositional tasks, we show that this TPR-attention mechanism outperforms existing architectural components in combinatorial generalization. These results highlight the value of integrating explicit compositional structure into neural attention and point toward a promising path for models capable of systematic generalization.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2608.30124v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
공통 태그로 연결된 공개 논문이 아직 없습니다.
토론
이 논문과 연결된 포럼 글이 아직 없습니다.