ITNet: 합성곱, 어텐션, 순환을 포괄하는 학습 가능한 적분 변환
ITNet: A Learnable Integral Transform That Subsumes Convolution, Attention, and Recurrence
한국어 초록
합성곱 신경망, 순환 신경망, 트랜스포머는 각각 서로 다른 귀납적 편향인 국소성, 순차적 기억, 내용 의존적 쌍별 상호작용을 인코딩하며, 도입 이래 수학적으로 구별되어 왔습니다. 우리는 이러한 파편화가 신호가 처리되어야 하는 방식에 대한 근본적인 다양성을 반영하는 것이 아니라, 단일한 기저 수학적 객체인 학습 가능한 적분 변환에 대한 불완전한 관점을 반영함을 보여줍니다. 우리는 위치와 특징에 동시에 의존하는 학습 가능한 커널을 중심으로 구축된 통합 아키텍처인 적분 변환 신경망(ITNet)을 소개합니다. 이 커널은 쌍별 상호작용을 모델링하여 모델이 데이터로부터 동작을 적응시킬 수 있도록 하는 작은 신경망, 구체적으로 MLP로 구현됩니다. 우리는 합성곱, 셀프 어텐션(멀티 헤드 포함), 자기회귀적 순환(LSTM, GRU, S4, Mamba 포함)이 적절한 파라미터화 하에 특수한 경우로 도출됨을 보이며, ITNet이 연속 연산자의 범용 근사자임을 보여줍니다. 이를 실용적으로 만들기 위해 우리는 타일드 커널 융합, 중요도 가중 몬테카를로 적분, 학습 가능한 저계수 분해를 개발하여 효율적이고 확장 가능한 계산을 가능하게 합니다. 공유 연산자와 가벼운 모달리티별 인코더를 갖춘 단일 ITNet 아키텍처는 ImageNet-1K, GLUE, ModelNet40, VQA v2 및 NLVR2에서 전문화된 베이스라인과 일치하거나 이를 초과합니다. 결과는 단일 학습된 상호작용 메커니즘이 데이터로부터 세 가지 아키텍처 계열의 동작을 모두 복원할 수 있음을 입증합니다.
원문 초록
Convolutional networks, recurrent networks, and transformers each encode different inductive biases -- locality, sequential memory, and content-dependent pairwise interaction -- and have remained mathematically distinct since their inception. We show that this fragmentation reflects not a fundamental diversity in how signals should be processed, but rather incomplete views of a single underlying mathematical object: a learnable integral transform. We introduce the Integral Transform Network (ITNet), a unified architecture built around a learnable kernel that depends jointly on positions and features. This kernel is implemented as a small neural network, specifically an MLP, that models pairwise interactions, enabling the model to adapt its behavior from data. We show that convolution, self-attention (including multi-head), and autoregressive recurrence (including LSTM, GRU, S4, and Mamba) arise as special cases under appropriate parameterizations, and that ITNet is a universal approximator of continuous operators. To make this practical, we develop tiled kernel fusion, importance-weighted Monte Carlo integration, and learned low-rank factorization, enabling efficient and scalable computation. A single ITNet architecture with a shared operator and lightweight modality-specific encoders matches or exceeds specialized baselines on ImageNet-1K , GLUE, ModelNet40, VQA\,v2 and NLVR2. The results demonstrate that a single learned interaction mechanism can recover the behavior of all three architectural families from data.
제출 이력
확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.
- arXiv:2606.19538v1제출 시각 미확인
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
LangMamba: A Language-driven Mamba Framework for Low-dose CT Denoising with Vision-language Models
Differential Mamba
Learning Robust Stereo Matching in the Wild with Selective Mixture-of-Experts
FindRec: Stein-Guided Entropic Flow for Multi-Modal Sequential Recommendation
MambaFusion: Height-Fidelity Dense Global Fusion for Multi-modal 3D Object Detection
MVNet: Hyperspectral Remote Sensing Image Classification Based on Hybrid Mamba-Transformer Vision Backbone Architecture
토론
이 논문과 연결된 포럼 글이 아직 없습니다.