uipath.com

이 이메일 도메인이 관측된 논문 1건

arXiv:2407.07239v3cs.LG

RotRNN: Modelling Long Sequences with Rotations

SSM과 LRU 같은 선형 순환 신경망은 장시퀀스 모델링에서 강하지만 초기화·정규화가 복잡한 한계가 있어, 회전 행렬(rotation matrix)로 순환 상태를 매개변수화한 RotRNN을 제안한다. 이 모델은 단순하고 효율적이며 학습 내내 이론과 구현이 일치하는 안정적 정규화(normalization)를 제공하고, 여러 장시퀀스 모델링 데이터셋에서 최신 선형 순환 모델과 경쟁력 있는 성능을 달성한다.