PyTorchKR Papers

최신 논문

총 7편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2609.28273v1eess.SY

Mamba-3에서 입력-의존적 저순위 업데이트를 통한 비가환 상태 추적

Non-Commutative State Tracking with Input-Dependent Low-Rank Updates in Mamba-3

순차적 관측으로부터 상태를 추적(state tracking)하는 과정에서는 정보를 유지하는 것과 관측된 연산들을 합성하여 정보를 갱신하는 것이 모두 요구될 수 있다. 본 논문에서는 연산의 순서가 중요한 비가환(non-commutative) 상태 추적을 지원하기 위해, Mamba-3의 대각 전이(diagonal transition)를 입력-의존적(input-dependent) 저순위(low-rank) 반사 항으로 확장한다. 이 랭크-1(rank-one) 업데이트는 입력에 의존적인 방향을 따라 상태 좌표들을 결합하여, 단일 Mamba-3 블록 내에서 비대각(non-diagonal) 상태 전이를 가능하게 한다. 이러한 확장은 Mamba-3의 지수-사다리꼴 이산화(exponential-trapezoidal discretization), 회전 임베딩(RoPE), 판독(readout)을 그대로 보존한다. 학습(training)을 위해, 제안된 순환(recurrence)을 각 청크 내에서 병렬화하도록 청크 단위 연산(chunkwise computation)을 적용한다. 실험은 이산 입력을 사용하는 군 단어 문제(group word problem)와 행동 복제(behavioral cloning)로 정책을 학습하는 연속 관측 기반의 야바위 게임(shell game)을 다룬다. 고정된 타이밍에서 우수한 성능을 보여 선택된 모델(model)들 중, 제안된 모델은 타이밍 지터(timing jitter)가 있는 연속 관측 환경의 야바위 게임에서 더 긴 맞바꿈 시퀀스(swap sequence)에 대해 더 높은 추적 성공률을 유지한다. 이러한 실험들은 제안된 방법이 평가된 비가환 추적 태스크에서 높은 정확도를 달성하며 표준 Mamba-3 대비 성능을 개선함을 보여준다. 따라서 본 확장은 비가환 상태 추적을 위한 Mamba-3 기반의 접근 방식을 제공한다.

arXiv:2607.14144v2cs.AI

규모가 아닌 접근 구조로부터의 능력: 하이브리드 시퀀스 모델을 위한 하한과 사전 등록 테스트

The Capability Convergence Hypothesis: Capability from Access Structure, Not Scale

플라톤적 표현 가설(Platonic Representation Hypothesis, PRH)은 모델이 스케일링될수록 이질적인 네트워크의 표현이 현실에 대한 공유 모델을 향해 수렴한다고 주장한다. 우리는 이를 이어가는 후속 가설이자 경계인 능력 수렴 가설(Capability Convergence Hypothesis, CCH)을 제안한다: 고정된 토큰당 추론 예산 하에서, 표현 수렴은 능력 수렴을 수반하지 않는다. 능력은 대신 한 클래스, 즉 접근 완전(access-complete) 하이브리드—압축적 O(1)-상태 채널과 확장 가능한 그대로 인덱싱(verbatim-index) 채널을 모두 갖춘 모든 아키텍처—를 향해 수렴한다. 이를 증인 과제인 무한 스트림에서의 뉴턴의 사과(Newton's-apple) 문제에 고정하고, 세 가지 자원 장벽을 명명한다: o(Nb)-상태 아키텍처를 막는 섀넌(Shannon) 장벽, 고정 윈도우를 막는 지평(horizon) 장벽, 고정 깊이의 어텐션 전용 합성을 막는 회로(circuit) 장벽(TC0 != NC1에 조건부). 명시적 분리 가능(separability) 가정 하에서 하이브리드는 각 장벽의 대가를 지불함으로써 세 장벽을 모두 넘어서므로, 능력은 합성 하에서 엄격히 초가법적(super-additive)이다. 우리는 증명한 것과 추측한 것을 구분한다: 접근 완전성 원리는 정보 이론적 하한과 사전 등록 실험에 기반하고, 분야 수준의 수렴 추세는 경제학적 동기에 따른 추측이다. 데이터 이전에 기준을 고정한 최초의 사전 등록 소규모 테스트를 보고한다: 예측된 가위(gap) 간격이 측정되었고(64-스칼라 상태에 전역 어텐션 층 하나가 추가되면 정확 검색 오류가 0.994 대 0.000), 상태 추적 이분화(bifurcation)가 등록된 경계에 도달했으며, 합(conjunction) 증인이 환원 불가능한 이중 채널 해법을 보여준다; 한 예측은 방향이 뒤집힌 채 실패했으며 이를 그대로 보고한다. 표현 수렴은 스케일에 의해 거의 공짜로 주어지지만, 능력 수렴은 접근 구조를 통해 구매해야 한다.

arXiv:2607.11897v1cs.LG

Semidirect Fourier Delta Attention: 구성적 Chunk-WY 커널을 갖춘 위상 제어 델타 메모리

Semidirect Fourier Delta Attention: Phase-Controlled Delta Memory with Constructive Chunk-WY Kernels

선형 어텐션은 소프트맥스 어텐션의 증가하는 KV 캐시를 고정된 순환 상태로 대체하지만, 이러한 압축은 정확한 상태 추적과 긴 문맥 메모리를 제한한다. 우리는 Kimi Delta Attention의 위상 제어 일반화인 \emph{Semidirect Fourier Delta Attention}(SFDA)을 제안한다. 이는 실수 대각 감쇠를 블록 회전 푸리에 제어로 대체한다: \[ S_t=(I-β_t k_tk_t^*)Λ_tS_{t-1}+β_tk_tv_t^*, \qquad Λ_t=\diag(α_t\odot e^{iθ_t}). \] 주요 결과는 곱 \(A_t=Λ_t-u_tr_t^*\)에 대한 구성적 청크-WY 분해이며, 이는 \[ A_t\cdots A_1=Γ_t-Y_tM_tW_t^* \]를 제공하고 고정된 청크 내부에서 랭크 증가를 제한한다. 이는 정확한 아핀 청크 전달, 형식적 안정성 및 복잡도 상한, 그리고 위상-저랭크 메모리의 간결한 특성화를 이끈다. 우리는 대수를 수치적으로 검증하고, 토이 상태 추적 실험에서 SFDA가 위상이 비활성화된 KDA 기준선이 거의 무작위 수준에 머무는 반면 순환 메모리를 학습함을 보인다. 융합 커널과 대규모 언어 모델 비교는 향후 연구로 남긴다.

arXiv:2602.14814v3cs.LG

선형 RNN을 이용한 코드 기반 상태 추적 학습

Learning State-Tracking from Code Using Linear RNNs

최근 몇 년간, 상태 추적 태스크, 특히 순열 합성(permutation composition)은 Transformer와 RNN(선형 및 비선형)과 같은 시퀀스 모델 아키텍처의 한계를 이해하기 위한 테스트베드로 활용되어 왔다. 그러나 이러한 태스크는 흔히 시퀀스-투-시퀀스 태스크, 즉 행동(순열)을 상태에 매핑하는 학습으로 구성되며, 이는 언어 모델 학습에 일반적으로 사용되는 다음 토큰 예측 설정과 호환되지 않는다. 우리는 출력문을 통한 상태 노출과 변수 변환을 교차하는 REPL 트레이스를 활용하여 순열 합성을 코드로 변환함으로써 이 간극을 해소한다. 상태 추적 능력을 갖춘 선형 RNN이 이 설정에서도 우수한 성능을 발휘하는 반면, Transformer는 여전히 실패함을 보인다. 이 표현 방식에서 착안하여, 코드에서의 상태 추적이 일반적으로 어려운 이유를 조사한다: 행동이 항상 완전히 관측 가능하지는 않기 때문이다. 우리는 이를 결정론적 상태 노출이 있는 확률적 유한 상태 오토마톤(probabilistic finite-state automaton)의 상태 추적 문제로 정식화하고, 이 설정에서 선형 RNN이 비선형 RNN보다 상태 추적 성능이 더 낮을 수 있음을 보인다.

arXiv:2606.20936v1cs.CL

토큰 수준에서 트랜스포머와 하이브리드 모델 비교

Comparing Transformers and Hybrid Models at the Token Level

어텐션 레이어와 순환(recurrent) 레이어를 혼합하는 하이브리드 언어 모델은 유망한 결과를 보여 왔다. 이론적으로 순환 레이어는 상태 추적(state tracking)에서 순수 트랜스포머의 한계를 완화하고, 경험적으로 하이브리드는 손실과 하류 평가에서 순수 트랜스포머를 능가할 수 있다. 그러나 이러한 이득을 어떤 데이터 또는 능력이 주도하는지, 그리고 이것이 하이브리드 모델을 동기부여하는 이론적 장점을 어느 정도 반영하는지는 여전히 불분명하다. 우리는 Olmo 3와 Olmo Hybrid의 공개 가중치를 사용하여 이 질문을 다룬다. 동일한 접두(prefix) 아래에서 동일한 대상 토큰에 대해 일치하는 트랜스포머와 하이브리드의 손실을 비교하고, 자연 토큰 태그, 복사 특징, 구분자(delimiter) 구조, 통제된 합성 프로브에 따라 결과를 계층화한다. 하이브리드는 대부분의 태그 계열에서 더 낮은 손실을 보이지만, 이득은 균일하지 않다. 개방 클래스 내용어(open-class content words)에서 가장 크고, 많은 폐쇄 클래스 기능어(closed-class function words)에서는 더 작다. 산문, 코드, 마크업 전반에서 하이브리드의 손실 우위는 해당하는 닫는 구분자보다 여는 구분자에서 더 크며, 반복된 $n$-gram에서는 거의 사라진다. 합성 프로브에서도 동일한 분화가 나타난다. 하이브리드는 대명사 기억(pronoun-memory) 및 개체 추적(entity-tracking) 작업에서 유리하고, 반면 트랜스포머는 닫는 구분자를 선택해야 하는 괄호 매칭(bracket-matching) 작업에서 유리하다. 이러한 패턴은 하이브리드의 순환 레이어가 문서의 의미적 상태(semantic state)를 활용하는 예측을 개선하는 반면, 어텐션은 $n$-gram 복사 또는 구문적 괄호 매칭으로 예측 가능한 토큰에 도움이 된다는 것을 시사한다. 마지막으로, 토큰 수준 분해가 하이브리드 아키텍처에 대한 사전학습(pre-training) 진단을 어떻게 정교화할 수 있는지 보여 주는 개념 증명(proof-of-concept) 필터링 평가로 결론을 짓는다.

arXiv:2606.12364v1cs.LG

준2차 아키텍처에 대하여: 응용에서 원리로

On Subquadratic Architectures: From Applications to Principles

트랜스포머는 현대 시퀀스 모델링을 지배하지만, 2차 어텐션(quadratic attention)으로 인해 상당한 계산 비용이 발생합니다. 준2차 아키텍처는 확장 가능한 대안을 제공합니다. 그러나 어떤 설계가 가장 효과적인 시퀀스 모델을 만드는지는 여전히 불분명합니다. 우리는 세 가지 주요 접근법인 xLSTM, Mamba-2, Gated DeltaNet을 비교합니다. 우리는 복잡한 의존성이 있는 작업에서 이 모델들을 평가합니다: (1) 코드 모델 사전학습, (2) 대규모 언어 모델(LLM)로부터의 코드 모델 지식 증류, (3) 시계열 파운데이션 모델 사전학습. 이러한 설정 전반에서 xLSTM이 가장 강력한 전반적인 성능을 보여주었습니다. xLSTM의 이점을 설명하기 위해 우리는 통합된 공식화를 제시하고, 상태 추적(state tracking)과 메모리 역학(memory dynamics)에 초점을 맞춰 기본이 되는 아키텍처 메커니즘을 분석합니다. 결과에 따르면 xLSTM은 게이팅 방식(gating scheme)을 통해 더 유연하고 안정적인 메모리 수정을 가능하게 합니다. 우리는 제어된 합성 길이 일반화(length-generalization) 작업에서 이러한 발견을 확인했습니다. 전반적으로, 우리의 발견은 복잡한 작업에서의 xLSTM의 성능 향상이 강력한 상태 추적(state tracking)과 누적(accumulation)에서 비롯됨을 나타냅니다.

arXiv:2606.07254v1cs.LG

장기 비아벨 상태 추적을 위한 보류 전이-쌍 반증자

A Held-Out Transition-Pair Falsifier for Long-Horizon Non-Abelian State Tracking

상태 추적(state tracking)은 시퀀스 모델의 뚜렷한 한계를 드러낸다. 관련 신호는 종종 관측된 토큰의 요약이 아니라, 비가환(non-commutative) 변환을 통해 진화하는 순서 있는 잠재 상태이다. 유한 비아벨(non-Abelian) 군 추적을 위한 보류 전이-쌍(hold-out transition-pair) 반증자를 제안한다. 이 프로토콜은 학습 중 선택된 순서 있는 생성자(generator) 쌍을 금지하고, 평가에서 동일한 국소 패턴을 요구하여 하나의 직접적인 국소 전이 암기 경로를 차단한다. 통제된 $S_3 \times S_3$ 벤치마크에서, 길이 8 시퀀스만으로 학습된 투영 순환 상태 모델은 5개 시드에 걸쳐 최대 1,048,576 토큰까지의 평가 수평(horizon)에서 오류 없는 최종 상태 예측(수평당 완벽한 250/250)을 생성한다. 동일 프로토콜 하에서 bag, GRU, 단일 구성의 구조화된 상태-공간 모델(structured state-space model)을 포함한 매칭된 네이티브 readout 기준선은 바닥(floor) 수준 근처에 머문다. 투영-매칭된 GRU, 구조화된 SSM, 그리고 유사한 유한군 프로토타입 readout을 갖춘 bag 기준선도 동일 분할에서 우연(chance) 수준 근처에 머문다. 메커니즘 진단은 강한(hard) 투영이 낮은 준동형(homomorphism) 오류, 낮은 상태 일관성 drift, 그리고 자명하지 않은(non-trivial) 교환자(commutator) 분리와 일치하는 반면, 완화된(softened) 투영은 최종 상태 정확도를 붕괴시킴을 보여준다. 클린 분할 감사는 학습과 평가 파티션 간 축약 단어(reduced-word)의 문자 그대로 중복이 0이고 구조적 템플릿 중복도 0임을 검증한다. 이 증거는 일반적인 아키텍처 순위가 아니라 이 통제된 유한군 반증자에 한정된다. 그 범위 안에서, 명시적 투영 비가환 상태 합성은 장기 잠재 상태 추적을 위한 유용한 귀납적 바이어스로 작용한다.