PyTorchKR Papers

최신 논문

총 2편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.01204v1cs.LG

TiRex-2: Generalizing TiRex to Multivariate Data and Streaming

xLSTM 기반 순환 구조를 채택한 시계열 파운데이션 모델 TiRex-2는 단변량 TiRex를 다변량 예측으로 확장하여 과거 및 미래 공변량을 모두 지원하면서 스트리밍 추론 시 패치당 일정한 비용을 유지한다. 양방향 시간 믹서와 비대칭 그룹 어텐션 변량 믹서를 결합해 타깃 변수의 인과성을 보존하며, GIFT-Eval과 fev-bench에서 제로샷 최고 성능을 달성하고 임의의 컨텍스트 길이에서도 안정적으로 동작한다.

arXiv:2606.12364v1cs.LG

준2차 아키텍처에 대하여: 응용에서 원리로

On Subquadratic Architectures: From Applications to Principles

트랜스포머는 현대 시퀀스 모델링을 지배하지만, 2차 어텐션(quadratic attention)으로 인해 상당한 계산 비용이 발생합니다. 준2차 아키텍처는 확장 가능한 대안을 제공합니다. 그러나 어떤 설계가 가장 효과적인 시퀀스 모델을 만드는지는 여전히 불분명합니다. 우리는 세 가지 주요 접근법인 xLSTM, Mamba-2, Gated DeltaNet을 비교합니다. 우리는 복잡한 의존성이 있는 작업에서 이 모델들을 평가합니다: (1) 코드 모델 사전학습, (2) 대규모 언어 모델(LLM)로부터의 코드 모델 지식 증류, (3) 시계열 파운데이션 모델 사전학습. 이러한 설정 전반에서 xLSTM이 가장 강력한 전반적인 성능을 보여주었습니다. xLSTM의 이점을 설명하기 위해 우리는 통합된 공식화를 제시하고, 상태 추적(state tracking)과 메모리 역학(memory dynamics)에 초점을 맞춰 기본이 되는 아키텍처 메커니즘을 분석합니다. 결과에 따르면 xLSTM은 게이팅 방식(gating scheme)을 통해 더 유연하고 안정적인 메모리 수정을 가능하게 합니다. 우리는 제어된 합성 길이 일반화(length-generalization) 작업에서 이러한 발견을 확인했습니다. 전반적으로, 우리의 발견은 복잡한 작업에서의 xLSTM의 성능 향상이 강력한 상태 추적(state tracking)과 누적(accumulation)에서 비롯됨을 나타냅니다.