순환 언어 모델(Recurrent language model)은 잠재 표현(latent representation)을 정제하기 위해 공유된 네트워크 블록을 반복적으로 적용하지만, 표준 추론(inference)은 모든 순환 단계에서 전역 어텐션(global attention)을 재계산합니다. 본 연구에서는 순환 깊이에 따른 어텐션 동역학을 분석하여, 어텐션 지지 집합(attention support)과 분포가 은닉 상태(hidden state) 및 어텐션 출력보다 훨씬 조기에 안정화된다는 점을 발견했습니다. 이는 2단계 구조를 시사합니다. 즉, 초기 단계에서는 관련된 문맥의 희소한 작업 집합(working set)을 탐색하고, 후기 단계에서는 대체로 동일한 라우팅 지지 집합 상에서 표현을 정제합니다. 이러한 구조에 착안하여, 초기 순환 과정에서는 제한 없는 전역 어텐션을 사용하고 이후에는 순환 깊이와 지지 집합 내부의 어텐션 계산을 동적으로 유지하면서 직접 탐색된 블록 구조 지지 집합을 재사용하는 학습(training) 불필요 방식인 WISE(Working-set Inference with Support Exploitation, 지지 집합 활용 기반 작업 집합 추론)를 제안합니다. 통제된 개입 실험을 통해 순환 탐색이 중요하며, 지지 집합만을 재사용하는 것이 더 제한적인 어텐션 재사용 대안들에 비해 모델 동작을 더 잘 보존함을 입증합니다. 다단계 질의응답(multi-hop QA) 벤치마크 전반에서 WISE는 전체 어텐션 성능을 대체로 보존하는 반면, 문맥 스케일링(context scaling)을 통해 점점 더 희소해지는 작업 집합과 더 큰 효율성 향상을 보여줍니다. 2K 문맥까지는 품질이 대체로 유지되며, 4K에서는 측정 가능한 손실(loss)이 발생합니다. 최적화된 희소 어텐션 구현은 4K에서 기존 FlashAttention 대비 최대 1.76배의 어텐션 속도 향상을, 전체 32단계 어텐션 궤적에 대해 1.36배의 속도 향상을 달성합니다. 코드는 https://github.com/tbn5pj/WISE_code 에서 확인할 수 있습니다.
토큰이 트랜스포머 블록에 진입하기 전에 이전 위치의 블록 출력과 현재 임베딩을 결합한 보정 네트워크(correction network)로 사전 문맥화하는 새로운 순환 신경망 아키텍처 Context-Ready Transformer를 제안한다. 학습 시에는 전체 시퀀스에 걸쳐 보정 과정을 K번 병렬 전개하고, 추론 시에는 순차 생성으로 자연스럽게 수렴된 보정을 제공하여, D=5 모델이 12층 트랜스포머 대비 1.7배 빠른 속도로 더 낮은 퍼플렉시티를 달성한다.
사전학습(pre-training) 기반 모델(foundation model)은 다양한 도메인에서 뛰어난 성과를 보여 왔으며, 단일 백본이 다양한 다운스트림 과제에 일반화할 수 있게 한다. 그러나 이 패러다임을 그래프 학습(graph learning)으로 확장하는 것은 그래프 데이터와 고정된 아키텍처 설계 간의 본질적 불일치로 인해 여전히 어렵다. 본 연구에서는 순환 그래프 모델(recurrent graph model)을 통해 이 한계를 극복할 수 있음을 보인다. 이를 위해 체계적인 이론 분석을 수행하고, 적응적으로 수렴하는 순환 과정을 위해 단계 의존성(step dependence)이 필요충분 조건임을 엄밀하게 도출한다. 이 기반 위에서 AdaR(Adaptive Recurrent graph model)을 제안하며, 모델 파라미터를 변경하지 않고도 다양한 다운스트림 과제에서 유연한 테스트 타임 연산(test-time computing)을 가능하게 한다. 적응형 추론(inference)을 위해 AdaR은 정규화(normalization)된 단계 정보와 표현-목표(representation-target) 관계를 순환 업데이트에 명시적으로 인코딩한다. 순환 과정의 수렴(convergence)을 보장하기 위해 AdaR은 그래디언트(gradient) 기반 지도 신호를 사용하여 순환 전반에 걸친 표현 업데이트를 안내한다. 실험 결과는 AdaR이 귀납(inductive) 및 전도(transductive) 설정 모두에서 강력한 베이스라인을 일관되게 능가함을 보여준다.