Bottlenecked Transformers: Periodic KV Cache Abstraction for Generalised Reasoning
한국어 초록
인상적인 성능에도 불구하고, 대형 언어 모델(LLM)은 학습 분포를 벗어난 일반화에 어려움을 겪으며, 진정한 추상적 추론(외삽)보다는 정교한 패턴 보간에 머무르는 경향이 있습니다. 본 연구에서는 정보 병목(Information Bottleneck, IB) 이론의 관점에서 이 한계를 접근합니다. IB 이론은 모델 일반화가 입력 압축과 잠재 표현 내 예측 정보 보존 간의 최적 균형에서 발생한다고 가정합니다. 우리는 IB 이론을 통해 디코더 전용 트랜스포머(decoder-only Transformer)가 과제 최적 시퀀스 표현을 형성하는 능력에 본질적인 제약이 있음을 증명합니다. 이어서 이 결과를 바탕으로 내부 시퀀스 수준 표현(KV 캐시)의 주기적인 전역 변환이 추론 과제에서 트랜스포머 일반화를 향상시키기 위한 필수 계산 단계임을 입증합니다. 이러한 이론적 통찰을 토대로, 트랜스포머 아키텍처에 주기적으로 KV 캐시를 전역적으로 재작성하는 추가 모듈 형태의 수정을 제안합니다. 이 모듈은 입력 접두어 암기에서 벗어나 미래 토큰 예측에 가장 유용한 특징 인코딩으로 용량을 전환합니다. 제안 모델은 수학적 추론 벤치마크에서 상당한 성능 향상을 보이며, 최대 3.5배 더 많은 파라미터를 가진 기본 트랜스포머(vanilla Transformer)뿐만 아니라 휴리스틱 기반 캐시 압축 가지치기 기법을 능가합니다. 본 접근법은 기존 KV 캐시 압축 방법의 원리적 일반화로 볼 수 있는데, 기존 방법들이 입력 표현 압축에만 집중하는 반면 예측 정보 보존을 희생하는 경우가 많아, 그 능력이 제약 없는 모델에 의해 본질적으로 제한되기 때문입니다. 이는 정보 이론을 활용하여 트랜스포머 메모리를 조작하는 원리적 프레임워크를 확립함으로써, 단순한 확장만으로는 극복할 수 없는 근본적인 추론 한계를 해결합니다.
원문 초록
Despite their impressive capabilities, Large Language Models struggle with generalisation beyond their training distribution, often exhibiting sophisticated pattern interpolation rather than true abstract reasoning (extrapolation). In this work, we approach this limitation through the lens of Information Bottleneck (IB) theory, which posits that model generalisation emerges from an optimal balance between input compression and retention of predictive information in latent representations. We prove using IB theory that decoder-only Transformers are inherently constrained in their ability to form task-optimal sequence representations. We then use this result to demonstrate that periodic global transformation of the internal sequence-level representations (KV cache) is a necessary computational step for improving Transformer generalisation in reasoning tasks. Based on these theoretical insights, we propose a modification to the Transformer architecture, in the form of an additional module that globally rewrites the KV cache at periodic intervals, shifting its capacity away from memorising input prefixes and toward encoding features most useful for predicting future tokens. Our model delivers substantial gains on mathematical reasoning benchmarks, outperforming both vanilla Transformers with up to 3.5x more parameters, as well as heuristic-driven pruning mechanisms for cache compression. Our approach can be seen as a principled generalisation of existing KV-cache compression methods; whereas such methods focus solely on compressing input representations, they often do so at the expense of retaining predictive information, and thus their capabilities are inherently bounded by those of an unconstrained model. This establishes a principled framework to manipulate Transformer memory using information theory, addressing fundamental reasoning limitations that scaling alone cannot overcome.
요약
대형 언어 모델은 훈련 분포를 벗어난 일반화에 어려움을 겪으며, 실제 추상적 추론(extrapolation)보다는 패턴 보간에 머무르는 경향이 있습니다. 정보 병목(Information Bottleneck, IB) 이론을 적용해, 디코더 전용 트랜스포머가 최적의 시퀀스 표현을 형성하는 데 내재적 한계가 있음을 증명하였습니다. 이를 바탕으로 내부 시퀀스 표현(KV 캐시)을 주기적으로 전역 변환하는 모듈을 추가하는 구조적 변화를 제안하여, 입력 기억에서 미래 예측에 유용한 특징 인코딩으로 용량을 전환시켰습니다. 제안된 모델은 수학적 추론 벤치마크에서 파라미터 수가 3.5배 많은 기존 트랜스포머 및 휴리스틱 기반 캐시 압축 기법을 능가하며, 정보 이론을 활용한 트랜스포머 메모리 조작의 원리적 틀을 제시합니다.
함께 살펴볼 논문
공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.
예산 상대 정책 최적화를 통한 애니타임 추론 최적화
Optimizing Anytime Reasoning via Budget Relative Policy Optimization
테스트 시점 연산량을 확장하는 것은 대규모 언어 모델(LLM)의 추론 능력을 향상하는 데 매우 중요하다. 기존 접근법은 일반적으로 강화학습(RL)을 사용하여 추론 과정의 끝에서 얻어지는 검증 가능한 보상을 최대화한다. 그러나 이러한 방법은 크고 고정된 토큰 예산 하에서의 최종 성능만을 최적화하므로 학습과 배포 모두에서 효율성을 저해한다. 본 연구에서는 다양한 토큰 예산 제약 하에서 토큰 효율성과 추론의 유연성을 향상하는 것을 목표로 애니타임 추론 성능을 최적화하는 새로운 프레임워크인 AnytimeReasoner를 제시한다. 이를 위해 우리는 사전 분포에서 샘플링한 토큰 예산에 맞도록 전체 사고 과정을 절단하고, 모델이 각 절단된 사고에 대해 검증을 위한 최적의 답을 요약하도록 한다. 이는 추론 과정에 검증 가능한 밀집 보상을 도입하여 RL 최적화에서 더 효과적인 기여도 할당을 가능하게 한다. 이어서 누적 보상을 최대화하도록 사고 정책과 요약 정책을 분리된 방식으로 최적화한다. 또한 사고 정책을 강화할 때 학습 과정의 견고성과 효율성을 높이기 위해 새로운 분산 감소 기법인 예산 상대 정책 최적화(BRPO)를 도입한다. 수학적 추론 과제에서의 실험 결과는 우리의 방법이 다양한 사전 분포 하의 모든 사고 예산에서 GRPO를 일관되게 능가하며 학습 효율성과 토큰 효율성을 모두 향상함을 보여 준다.
대규모 언어 모델에서 추론과 성능의 관계 — o3 (mini)는 더 길게가 아니라 더 효율적으로 생각한다
The relationship between reasoning and performance in large language models--o3 (mini) thinks harder, not longer
대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought)와 강화학습(reinforcement learning)을 활용하여 수학적 추론에서 괄목할 만한 발전을 이루었다. 그러나 추론 토큰(token) 사용량과 정확도 향상 간의 상호작용에 대해서는 여전히 많은 미해결 질문이 남아 있다. 특히 세대에 걸쳐 모델(model)을 비교할 때, 성능 향상이 더 긴 추론 체인에서 비롯된 것인지 아니면 더 효율적인 추론에서 비롯된 것인지가 불분명하다. 우리는 Omni-MATH 벤치마크에서 o1-mini와 o3-mini 변형들에 걸쳐 추론 체인 길이를 체계적으로 분석하였으며, o3-mini (m)이 o1-mini보다 긴 추론 체인을 요구하지 않고도 더 높은 정확도를 달성함을 발견하였다. 또한 문제 난이도를 통제한 경우에도 모든 모델과 컴퓨팅 설정에서 추론 체인이 길어질수록 정확도가 전반적으로 저하됨을 보인다. 이러한 정확도 하락은 더 높은 성능의 모델에서 유의미하게 작게 나타나며, 이는 새로운 세대의 추론 모델이 테스트 시간 컴퓨팅을 보다 효과적으로 활용함을 시사한다. 마지막으로, o3-mini (h)가 o3-mini (m) 대비 소폭의 정확도 향상을 달성하지만, 이를 위해 o3-mini (m)이 이미 풀 수 있는 문제를 포함한 모든 문제에 걸쳐 상당히 더 많은 추론 토큰을 할당함을 강조한다. 이러한 발견들은 모델 역량과 추론 길이 간의 관계에 대한 새로운 통찰을 제공하며, 효율성, 스케일링(scaling), 그리고 평가 방법론에 시사점을 갖는다.
ASyMOB: 대수적 기호 수학 연산 벤치마크
ASyMOB: Algebraic Symbolic Mathematical Operations Benchmark
대규모 언어 모델(LLM)은 기호 수학(symbolic mathematics) 분야에 점점 더 많이 적용되고 있으나, 기존 평가 방식들은 패턴 암기와 진정한 추론(reasoning)을 혼동하는 경우가 많습니다. 이러한 격차를 해결하기 위해, 우리는 적분, 극한, 미분 방정식, 급수, 및 초기하 함수를 아우르는 검증된 35,368개의 기호 수학 문제로 구성된 고해상도 데이터셋인 ASyMOB를 제시합니다. 기존 벤치마크와 달리, ASyMOB는 기호적, 수치적, 그리고 동등성 보존 변환을 사용하여 각 시드 문제를 체계적으로 변형함으로써, 일반화 능력에 대한 정밀한 평가를 가능하게 합니다. 우리의 평가 결과 세 가지 주요 발견이 드러났습니다: (1) 대부분의 모델은 사소한 변형 하에서도 성능이 급격히 하락하는 반면, 상위 시스템들은 견고성(robustness)에서 명백한 레짐 변화(regime shift)를 보입니다; (2) 통합된 코드 도구는 성능을 안정화시키며, 특히 성능이 낮은 모델에서 그 효과가 두드러집니다; (3) 컴퓨터 대수 시스템(CAS)이 실패하고 LLM이 성공하는 사례와 하이브리드 LLM-CAS 접근 방식을 통해서만 해결되는 문제를 식별하여, 유망한 통합의 가능성을 강조했습니다. ASyMOB는 과학적 발견을 위한 검증 가능하고 신뢰할 수 있는 AI 구축의 진전을 측정하고 가속화하기 위한 원칙에 기반한 진단 도구로서 기능합니다.
Reasoning or Memorization? Unreliable Results of Reinforcement Learning Due to Data Contamination
A Practical Two-Stage Recipe for Mathematical LLMs: Maximizing Accuracy with SFT and Efficiency with Reinforcement Learning
Skywork-R1V3 Technical Report
토론
이 논문과 연결된 포럼 글이 아직 없습니다.