PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.21562v2cs.CV

히스토리를 메모리로 압축하기: 트랜스포머를 순환 트랜스포머로 증류하기

Compressing History into Memory: Distilling Transformers into Recurrent Transformers

트랜스포머는 AI의 핵심 동력이지만, 긴 시퀀스를 처리할 때 계산 비용이 감당하기 어려워진다. 우리는 관측 히스토리를 저장·유지하는 것이 특히 비실용적인 장기 호라이즌 스트리밍 비전 및 로보틱스 응용을 대상으로 한다. 순환 트랜스포머는 고정 크기 메모리를 유지하여 이 한계를 해결하지만, 전체 관측 히스토리에 대해 동작하는 트랜스포머에 비해 성능이 뒤처진다. 우리는 이 격차가 아키텍처 한계에서 비롯된 것이 아니라, 이러한 모델들이 과거 정보를 압축하는 방식을 학습하는 과정의 차이에서 비롯된다고 주장한다. 관측 히스토리에 접근할 수 없는 순환 모델은 매 단계에서 메모리에 무엇을 유지할지 명시적으로 결정해야 하며, 이는 훨씬 더 어려운 학습 문제이다. 본 연구에서는 고전적인 전체 히스토리 트랜스포머의 압축 전략을 순환 변형으로 전이하는 증류(distillation) 접근법을 제안한다. 이를 위해 관측 히스토리를 고정 크기 병목 표현으로 명시적으로 압축하는 교사 모델을 설계하고, 이 병목 표현으로 학생의 메모리를 직접 감독하여 두 압축 메커니즘을 효과적으로 정렬한다. 이 접근법이 Mem-RPE 과제에서 선형 시간 복잡도를 갖는 순환 잠재 로봇 메모리를 학습할 수 있게 하면서도 전체 히스토리 트랜스포머와의 성능 격차를 크게 줄인다는 것을 보인다. 또한 스트리밍 시각적 질의응답(VQA)에서도 동일한 원리를 검증하며, 메모리 증류 덕분에 순환 예측이 개선되는 것을 관찰한다.

arXiv:2609.16752v2cs.AI

에피소딕 AI를 넘어서: 생물학적으로 영감을 받은 지속적 인지를 위한 인지 필드 네트워크

Beyond Episodic AI: Cognitive Field Networks for Biologically Inspired Persistent Cognition

인지 장 이론(CFT)은 인지가 지속적인 거시적 인지 장(cognitive field)을 생성하는 기억 기반의 집합적 동역학에서 비롯된다고 제안합니다. 본 논문에서는 체계화된 은닉 장이 \[ \Phi_{n+1}=F_{\theta}(X_{n+1},\Phi_n) \] 을 통해 후속 추론(inference)에 다시 진입하는 순환 트랜스포머(recurrent Transformer)인 인지 필드 네트워크(CFN)를 개발합니다. 명시적인 기억 연산을 규정하기보다, CFN은 새로운 정보가 이미 과거 이력에 의존적인 집합적 상태에 작용하도록 합니다. 연구 결과, 학습을 통해 지속적이고 내용에 의존적인 순환 동역학이 체계화되며, 그 시간 척도는 훈련된 순환 지평(horizon)에 따라 체계적으로 증가함을 발견했습니다. 의미론적 연속성은 목표 정답을 재생하지 않고도 순환 상태를 이 지평을 훨씬 넘어 전파합니다. 내용에 특화된 지원이 없으면 장은 유한한 수동적 이완을 보이는 반면, 관련 입력에 주기적으로 재노출되면 잔존 상태가 반복적으로 갱신되어 거의 정적인 비영(nonzero) 영역으로 수렴합니다. 무관한 입력 및 순환 비활성화 대조군은 이러한 거동을 재현하지 못하며, 유사하게 바꾸어 표현한(near-paraphrased) 재노출은 더 약한 갱신을 보여 표현에 민감한 지속성을 입증합니다. 이러한 결과는 세 가지 동역학적 과정을 구분합니다. 집합적 기억 장식이 이력 의존적인 인지 장을 형성 및 유지하고, 구조화된 입력이 이 장을 재구성하며, 주기 간 재진입이 그 결과로 나타난 상태를 후속 추론에서 인과적으로 활용할 수 있게 만듭니다. 따라서 CFN은 별도로 규정된 기억 시스템 없이도 지속적이고 이력에 의존적인 인지 동역학을 연구할 수 있는 통제된 계산 플랫폼을 제공합니다.

arXiv:2607.14427v1cs.AI

깊이 재귀 트랜스포머의 토큰별 고정점 수렴

Per-Token Fixed-Point Convergence in Depth-Recurrent Transformers

깊이 재귀 트랜스포머는 가중치 공유 코어를 가변 횟수만큼 적용하며, 이전 연구는 재귀 횟수를 무작위화하여 학습하면 다양한 추론 깊이 범위에서 사용할 수 있는 하나의 체크포인트를 얻을 수 있음을 보여 주었다. 우리는 이러한 모델이 토큰마다 실제로 무엇을 계산하는지 묻고, 이를 직접 측정한다. FineWeb-Edu에서 학습된 135M급 모델에서, 재귀 상태는 토큰별 고정점으로 수렴한다: 평균 연속 출력 KL 발산은 두 번째 루프에서 3.9e-1에서 열여섯 번째 루프까지 8.5e-6으로 감소하며, 토큰별 상태 변화도 그에 따라 감쇠한다. 결정적으로, 이 수렴은 토큰 간에 균일하지 않다. 중앙값 토큰은 여섯 번째 루프까지 수렴하지만, 약 10%의 토큰은 학습 평균 깊이인 8에서도 계속 갱신되며, 평균 수렴 깊이는 토큰 유형에 따라 순서가 정해진다(공백이 가장 얕고, 내용어가 가장 깊다). 이 토큰별 변동이 본 논문의 핵심 대상이다. 우리는 이를 직접 읽을 수 있으며, 읽기가 예측을 학습하는 것보다 우수함을 보인다: 출력이 안정화되면 각 토큰을 중단하는 학습 없는 규칙은 4.94 평균 루프에서 균일 깊이 8 품질을 달성하며(평균 깊이 38% 감소), 평균 깊이 범위 전반에서 균일 깊이와 일치한다. 반면 동일 모델에서 수거한 수렴 레이블로 학습된 선형 라우터는 거의 전체 깊이를 필요로 하며 감소를 얻지 못한다. 이를 가능하게 하는 탄력성은 배경으로 여기서 재현된다(검증 손실은 1회 루프에서 3.80에서 8회 루프에서 3.20까지 단조 감소하며 32회 루프까지 안정적으로 유지된다). 우리는 실현된 속도 향상이 아니라 세 지점의 wall-clock 구간과 함께 평균 깊이를 FLOP 대리 지표로 보고하며, FLOP 매칭 동등성 주장은 하지 않고, 할당 결과가 단일 스케일과 시드에서 확립되었음을 명시한다. 전체 연구는 단일 RTX 4090에서 약 100 GPU-시간에 실행된다.