인간 시각 시스템의 두드러진 특징은 단일 전역 연산이 아닌 일련의 국소 중심와(foveated) 관찰을 통해 시각 정보를 처리한다는 점이다. 이는 이미지를 전역적으로 단번에 입력받는 오늘날의 대부분의 인기 있는 컴퓨터 비전 모델과 인간 시각을 근본적으로 구별짓는다. 따라서 자연스럽게 제기되는 질문은, 지역적·순차적 비전 모델이 전역 모델보다 생물학적으로 더 타당할 뿐만 아니라 근본적인 계산상의 이점도 제공할 수 있는가이다. 본 연구에서는 이 질문을 시각적 상태 추적(visual state tracking)과 길이 일반화(length generalization)의 관점에서 탐구한다. 언어 모델의 길이 일반화에 관한 최근 연구들에서 영감을 받아, 이미지 전반에 걸쳐 국소 정보를 집계해야 하는 단순 시각 과제로 학습된 비전 모델의 동작을 연구한다. 실험 결과, 언어 모델과 유사하게 비전 모델도 전역적 지름길(shortcut)을 활용하도록 학습될 수 있으며, 이로 인해 과제 길이나 복잡도에 대한 일반화에 실패할 수 있음을 밝혔다. 또한, 엄격하게 국소적인 지각에 기반한 순환 비전 정책(recurrent vision policy)이 이러한 실패를 완화하여 모델이 해당 과제들에서 일반화할 수 있도록 함을 보인다. 본 연구의 결과는 지역적 어텐션이 강건한 조합적 일반화(compositional generalization)를 위해 간과된 필수 요건일 수 있음을 시사한다.
공유된 트랜스포머 블록을 반복 적용하는 루프 트랜스포머(Looped Transformer)는 길이 일반화 가능성을 지니지만, 시퀀스 길이와 루프 횟수 간의 허위 상관관계(spurious correlation)로 인해 분포 외(OOD) 예측이 불안정한 문제가 있다. 학습 중 루프 횟수에 확률성을 도입하거나 강화학습 기반의 RL-Halting으로 정지 시점을 학습하면 OOD 분산이 크게 줄고 정확도-안정성 트레이드오프가 개선됨을 binary addition, Dyck-1 등 다양한 태스크에서 실험적으로 확인했다.
합성 데이터로 사전학습된 트랜스포머가 경험적 베이즈(EB) 문제에서 강한 성능을 보인다는 [Teh et al., 2025]의 발견을 이론적으로 정당화하며, 포아송 EB에서 범용 사전분포(universal priors) 하에서 학습하면 모든 테스트 분포에 대해 균일하게 거의 최적 수준의 후회(regret) 경계를 달성함을 보인다. 사후 분포 수축(posterior contraction)을 통해 사전학습 베이즈 추정량이 미지의 테스트 분포에 적응하는 메커니즘을 설명하고, 일반화된 사후분포를 이용한 베이즈 추론으로 테스트 시퀀스가 학습 길이를 넘는 길이 일반화(length generalization)도 해석한다.
Randomized YaRN은 YaRN 기반 위치 외삽, 무작위 위치 인코딩, 길이 커리큘럼을 결합해 짧은 컨텍스트 학습 중에도 더 긴 범위에서 샘플링한 위치 인코딩으로 분포 밖(OOD) 위치 표현에 모델을 노출시켜 긴 컨텍스트 추론의 길이 일반화를 높인다. 8K 미만 컨텍스트 데이터로 학습해도 BABILong과 MRCR에서 16K–128K 길이의 추론 성능이 일관되게 향상되어 표준 미세조정(fine-tuning)을 능가하며, 특히 분포에서 크게 벗어난 길이에서 이득이 크다.
최근 연구에서 트랜스포머의 연산이 RASP 프로그래밍 언어 계열에서 시뮬레이션될 수 있음이 밝혀졌습니다. 이러한 발견은 트랜스포머의 표현 능력과 일반화 능력에 대한 이해를 높였습니다. 특히, 간단한 RASP 프로그램이 존재하는 문제에 대해 트랜스포머가 정확히 길이 일반화(length-generalize)를 수행할 수 있다는 제안이 있었습니다. 하지만 학습된 모델이 실제로 간단하고 해석 가능한 프로그램을 구현하는지 여부는 여전히 미해결 상태입니다. 본 논문에서는 학습된 트랜스포머에서 이러한 프로그램을 추출하는 일반적인 방법을 제시합니다. 이 방법의 핵심 아이디어는 트랜스포머를 RASP 프로그램으로 충실하게 재매개변수화(re-parameterize)한 뒤, 인과적 개입(causal interventions)을 적용하여 작고 충분한 하위 프로그램을 찾아내는 것입니다. 알고리즘 및 형식 언어 작업으로 학습된 작은 트랜스포머에 대한 실험을 통해, 우리의 방법이 길이 일반화를 하는 트랜스포머로부터 간단하고 해석 가능한 RASP 프로그램을 종종 복원해냄을 보여줍니다. 이 결과는 트랜스포머가 내부적으로 간단한 RASP 프로그램을 구현한다는 사실을 뒷받침하는 지금까지 가장 직접적인 증거입니다.