arXiv:2604.17121 cs.LG

The Topological Trouble With Transformers

제출 2026-04-18

한국어 초록

원문의 구조를 유지하면서 AI/ML 용어를 한국어 표기로 정리해 번역하겠습니다. 첫 문장은 직역에 가깝게 시작하고, 약어와 전문 용어는 처음 등장 시 병기하겠습니다.트랜스포머(Transformer)는 확장되는 문맥 이력을 통해 시퀀스 내 구조를 인코딩한다. 그러나 순수한 피드포워드(feedforward) 아키텍처는 동적 상태 추적을 근본적으로 제한한다. 상태 추적은 진화하는 환경을 반영하는 잠재 변수의 반복적 업데이트를 의미하며, 본질적으로 순차적 의존성을 포함하기 때문에 피드포워드 네트워크는 이를 유지하는 데 어려움을 겪는다. 그 결과, 피드포워드 모델은 새로운 입력 단계가 들어올 때마다 진화하는 상태 표현을 레이어 스택의 더 깊은 층으로 밀어 넣어, 얕은 층에서는 정보를 접근할 수 없게 만들고 궁극적으로 모델의 깊이를 소진한다. 이러한 깊이 한계는 동적 깊이 모델과 상태 표현을 외재화하는 명시적 또는 잠재적 사고를 통해 우회할 수 있지만, 이러한 해결책은 계산과 메모리 측면에서 비효율적이다. 본 논문에서는 시간적으로 확장된 인지가 명시적 사고 흔적이 아니라 순환 아키텍처를 통한 암묵적 활성화 동역학에 초점을 다시 맞춰야 한다고 주장한다. 우리는 순환 및 연속 사고 트랜스포머(recurrent and continuous-thought transformer) 아키텍처의 분류 체계를 제시하며, 이를 순환 축(깊이 대 단계)과 입력 토큰 대비 순환 단계의 비율에 따라 분류한다. 마지막으로, 강화된 상태공간 모델과 거친 수준의 순환(coarse-grained recurrence)을 포함한 유망한 연구 방향을 제시하여, 상태 추적을 현대의 파운데이션 모델에 더 잘 통합할 수 있는 방법을 제안한다.

요약

트랜스포머(Transformer)는 긴 문맥을 활용해 시퀀스의 구조를 효과적으로 포착하는 데 탁월하지만, 본질적으로 피드포워드(feedforward) 아키텍처라는 점 때문에 변화하는 환경의 내부 상태를 반복적으로 갱신하는 일에는 구조적 한계를 드러낸다. 저자들은 이러한 상태 추적(state tracking)을 단순한 기억 유지가 아니라, 잠재 변수(latent variables)가 시간에 따라 점진적으로 업데이트되는 순차적 계산으로 정의하며, 트랜스포머가 새로운 입력이 들어올 때마다 상태 표현을 더 깊은 층으로 밀어 올리는 방식으로만 이를 처리하려 한다고 지적한다. 그 결과 최신 상태는 얕은 층에서 접근하기 어려워지고, 모델의 깊이는 사실상 상태를 보관하는 비용으로 소진되기 쉽다. 이 논문은 바로 이 문제를 “더 긴 문맥”의 문제로 축소하지 않고, 시간적으로 확장된 인지에는 암묵적인 활성 동역학과 재귀적(recurrent) 구조가 필요하다는 관점에서 재해석한다. 특히 상태 추적을 잘 수행하려면 과거 토큰을 다시 조회하는 능력만으로는 부족하며, 환경 변화에 맞춰 내부 표현을 지속적으로 갱신하는 계산 메커니즘이 별도로 필요하다는 점을 강조한다. 이러한 문제의식 위에서 논문은 재귀적 및 연속 사고(continuous-thought) 계열의 트랜스포머 아키텍처를 체계적으로 정리하는 분류 체계를 제안한다. 저자들은 모델을 재귀 축(recurrence axis)과 입력 토큰 대비 재귀 단계 수의 비율이라는 두 기준으로 나누어, 깊이 방향에서 반복이 일어나는지, 입력 스텝 방향에서 일어나는지, 혹은 둘이 결합되는지를 구분한다. 이 틀은 단순히 여러 변형 모델을 나열하는 데 그치지 않고, looped transformer, blockwise recurrent 모델, latent-thought 모델, 상태공간모델(State-Space Model, SSM) 등을 하나의 좌표계에 올려놓고 비교할 수 있게 해 준다. 또한 동적 깊이(dynamic depth)나 명시적·잠재적 사고(explicit or latent thinking)처럼 계산을 외부로 늘리는 우회책이 성능을 높일 수는 있어도, 계산량과 메모리 측면에서 비효율적이라는 점을 비판적으로 짚는다. 대신 저자들은 더 유망한 방향으로 강화된 상태공간모델과 거친 재귀(coarse-grained recurrence)를 제안하며, 이는 현대 파운데이션 모델에 상태 추적을 보다 자연스럽게 통합하기 위한 설계 원리로 제시된다. 결국 이 논문의 핵심 기여는 트랜스포머의 한계를 단순한 표현력 부족으로 보지 않고, 상태를 어디에 저장하고 어떤 방식으로 갱신할 것인가라는 동역학적 질문으로 전환했다는 데 있다. 이런 관점은 트랜스포머가 강한 이유를 재조회와 지름길 추론에만 두지 않고, 앞으로의 연구가 더 정교한 재귀 구조를 통해 실제 의미의 상태 추적을 구현해야 한다는 방향을 분명하게 제시한다.

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

공통 태그로 연결된 공개 논문이 아직 없습니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.