arXiv:2609.19717v2 cs.LG

자신의 생각을 학습하기: 추상 토큰 커리큘럼

Learn Your Own Thoughts: Abstract Token Curriculum

Khashayar Gatmiry, Avrajit Ghosh, Parsa Mirtaheri, Jason D. Lee, Nika Haghtalab, Emmanuel Abbe, Peter Bartlett

제출 2026-09-24

한국어 초록

대규모 언어 모델(LLM)은 사고의 연쇄(Chain-of-Thought, CoT)를 중간 사고 단계를 위한 스크래치패드(scratchpad)로 활용함으로써 뛰어난 추론 능력을 달성해 왔다. 그러나 CoT 기법은 사고 토큰에 대한 명시적 지도(supervision)를 필요로 하며, 이는 풍부하고 과제별(task-specific) 데이터를 요구한다. 본 연구에서는 직접적인 지도나 수동 스크래치패드 설계 없이 효과적인 연속 중간 표현을 이끌어내는 새로운 커리큘럼 학습(curriculum learning) 프레임워크인 추상 토큰 커리큘럼(Abstract Token Curriculum, ATC)을 제안한다. ATC는 분포의 연속을 통해 문제 복잡도를 점진적으로 높이며, 모델이 연속 표현 공간에서 내부적인 추상적 ``사고(thoughts)''를 형성하도록 학습한다. 본 논문은 ATC의 이점과 연속 사고를 학습하는 기존 방법 대비 장점에 대한 이론적·실험적 근거를 모두 제시한다. 이론적으로, ATC를 사용하여 단층 소프트맥스 어텐션으로 parity 함수를 학습할 때, 어텐션이 다음 토큰 예측에 대한 ``가장 쉬운 경로(easiest path)''를 제공하는 문맥 속 CoT 토큰에 자연스럽게 집중함을 보인다. 실험적으로 그래프 도달성(graph reachability) 및 산술 학습 과제에서 ATC의 효과를 보인다.

원문 초록

Large Language Models (LLMs) have achieved remarkable reasoning capabilities by utilizing chain-of-thought (CoT) as a scratchpad for intermediate stages of thinking. However, CoT techniques require explicit supervision on thinking tokens, which requires rich, task-specific data. In this work, we propose Abstract Token Curriculum (ATC), a novel curriculum learning framework that elicits effective continuous intermediate representations without direct supervision or manual scratchpad design. ATC gradually increases problem complexity through a sequence of distributions, training the model to develop internal abstract ``thoughts'' in the continuous representation space. This paper provides both theoretical and experimental evidence for the benefits of ATC and its advantages over previous methods for training continuous thoughts. Theoretically, we show that for learning parity functions with single-layer softmax attention using ATC, attention naturally focuses on the CoT tokens in the context that provide the ``easiest path'' to predicting the next token. Experimentally, we show ATC's effectiveness on graph reachability and arithmetic learning tasks.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2609.19717v2제출 시각 미확인

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2608.13545v3cs.CL공통 태그 curriculum learning

LittleLearner: 교육학적으로 제어된 지식 노출 환경에서의 언어 모델

LittleLearner: Language Models Under Pedagogically Controlled Knowledge Exposure

현대 언어 모델은 이종의 웹 규모 텍스트 말뭉치로 학습됩니다. 결과적으로 관련 콘텐츠에 대한 사전 노출을 명확히 규정하기 어렵기 때문에, 지식 및 기술 습득을 연구하는 데 한계가 있습니다. 이러한 문제를 해결하기 위해, 본 연구에서는 미국 초등학교 교육 자료에 맞추어 5학년을 초과하는 학년에서 가르치는 개념, 사실 및 어휘를 명시적으로 제외하고 구축한 880억(88B) 토큰 규모의 사전학습 말뭉치인 LittleCurriculum을 소개합니다. LittleCurriculum을 기반으로 50억(5B) 매개변수 대규모 언어 모델(LLM)을 처음부터 학습(scratch)시켜, 개방형 평가를 수행하기에 충분한 언어 능력을 갖추면서도 해석 가능한 교육과정 지침에 부합하는 명확한 지식 및 능력 경계를 지닌 모델인 LittleLearner를 도출했습니다. 잘 정의된 학습 범위 내에서 모델이 데이터를 어떻게 습득하고, 표현하며, 활용하는지 연구할 수 있도록 발달적으로 제한된 샌드박스로 LittleCurriculum과 LittleLearner를 공개합니다. 또한 사후 학습(post-training)과 문맥 내 학습(ICL)을 통해 새로운 지식을 주입하는 첫 번째 일련의 실험을 통해 이 샌드박스의 유용성을 입증합니다. 이러한 방식은 LittleLearner가 기존 지식을 더 잘 활용할 수 있도록 돕지만, 범위를 벗어난 능력을 향상시키지는 못합니다. 본 연구 결과는 향후 연구를 위한 이러한 통제된 환경의 가치를 강조합니다.

arXiv:2610.13669v1cs.AI공통 태그 curriculum learning

한 단계 더 어렵게, 지나치지 않게: GRPO에서 커리큘럼 난이도 점진적 확장의 이점과 한계

A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO

커리큘럼 학습(Curriculum learning)은 일반적으로 학습 샘플을 쉬운 것부터 어려운 순서로 구성합니다. GRPO에서는 중간 난이도 샘플이 유익한 그룹 상대적 학습 신호를 생성할 가능성이 더 높기 때문에 온라인 선택 시 매력적이며, 이를 우선시하면 학습 효율성을 향상시킬 수 있습니다. 그러나 이러한 샘플을 지속적으로 선택하는 것이 최종 모델 성능의 극대화로 이어지는지, 또는 더 어려운 샘플로 점진적으로 나아가는 것이 학습에 도움이 될 수 있는지는 여전히 불분명합니다. 한편, 정책(policy)이 발전함에 따라 샘플 난이도 또한 변화하므로, 고정된 난이도 추정치는 현재 정책과 불일치할 수 있습니다. 따라서 본 연구에서는 현재 정책에 따라 샘플 난이도를 재추정하고, 쉬운 것부터 어려운 것으로 진행하는 커리큘럼 학습의 원리에 착안하여 활성 난이도 구간을 점진적으로 더 어려운 샘플 쪽으로 전환하는 단계별 커리큘럼을 설계하고 평가합니다. GSM8K 실험 결과, 지속적인 중간 난이도 선택이 가장 우수한 성능을 달성하지는 못하는 것으로 나타났습니다. 3개의 무작위 시드 전반에 걸쳐, 적당히 더 어려운 난이도 구간으로 진행했을 때 테스트 정확도는 고정 중간 커리큘럼의 $0.6449 \pm 0.0024$와 비교하여 $0.6591 \pm 0.0077$로 향상되었습니다. 그러나 난이도 구간을 더 어렵게 추가로 확장하면 정확도가 $0.6405 \pm 0.0053$으로 감소합니다. 이러한 결과는 단계별 난이도 확장이 지속적인 중간 난이도 선택보다 뛰어난 성능을 보일 수 있지만, 그 이점이 단조적이지는 않음을 보여줍니다. 따라서 효과적인 GRPO 커리큘럼은 중간 난이도를 넘어 확장함으로써 이점을 얻을 수 있지만, 지나치게 어려운 샘플로의 과도한 진행은 피해야 합니다.

arXiv:2602.14868v3cs.LG공통 태그 curriculum learning

골디락스 RL: 추론을 위한 희소 보상 탈출을 위한 작업 난이도 조율

Goldilocks RL: Tuning Task Difficulty to Escape Sparse Rewards for Reasoning

강화학습(RL)은 언어 모델에서 추론 능력을 이끌어내기 위한 강력한 패러다임으로 부상했습니다. 그러나 희소 보상(sparse reward)에 의존하는 방식은 모델이 최소한의 피드백만으로 방대한 탐색 공간을 탐색해야 하므로 표본 효율성(sample efficiency)을 크게 떨어뜨립니다. 고전적인 커리큘럼 학습(curriculum learning)은 복잡도를 기준으로 데이터를 정렬하여 이를 완화하고자 하지만, 기존 연구들은 주로 소규모 데이터셋을 대상으로 하여 현대 언어 모델 학습에 일반적인 대규모 설정으로 직접 전이되지 않습니다. 또한, 특정 모델에 적합한 데이터 순서를 파악하기 어려운 경우가 많습니다. 이를 해결하기 위해, 각 후보 문제에 대한 모델의 롤아웃 전반에 걸친 보상의 표준편차를 예측하는 선택기(Selector) 네트워크를 활용하는 적응형 데이터 선택 전략인 골디락스(Goldilocks)를 제안합니다. 이 선택기는 GRPO로 모델을 학습시키는 동안 모델의 현재 능력에 비해 너무 쉽지도 너무 어렵지도 않은 문제(골디락스 원리)에 해당하는, 예측된 보상 변동성이 높은 문제를 우선시합니다. 이미 본 샘플에 대한 모델의 성능을 활용함으로써 선택기는 모델의 진화하는 능력에 지속적으로 적응합니다. OpenMathReasoning 및 Polaris 데이터셋 전반에서 골디락스는 표준 GRPO 대비 일관된 성능 향상을 보였으며, 해당 GRPO 성능에 도달하는 데 최대 78% 적은 최적화 단계를 필요로 했습니다.

arXiv:2610.00234v1cs.AI공통 태그 curriculum learning

상충하는 감독은 역량이 아닌 전념을 이동시킨다: 관례 무관 점수 하에서는 정확히 0이 되는 12.29σ의 배치 효과

Conflicting Supervision Moves Commitment, Not Capability: A 12.29σ arrangement effect that is exactly zero under a convention-agnostic score

둘 다 맞지만 서로 양립할 수 없는 두 가지 관례로 작성된 동일한 문제들로 모델을 학습(training)시키고, 이러한 데이터의 순서가 파라미터에 무엇을 새겨 넣는지 질문해 본다. 학습률 스케줄(learning-rate schedule)은 그 질문에 대한 배경 조건에 불과한 것이 아니다. 그것은 평균화 연산자(averaging operator)이며, 그 해답을 결정한다. 우리는 순서 효과에 배치와 스케줄이 서로 곱해지는 분리된 인수로 들어가는 경계를 증명한다. 배치는 오직 블록 주기(block period)로서만, 스케줄은 종점이 실행 과정의 특정 시점에 얼마나 많은 가중치를 둘 수 있는지로서만 관여한다. 감쇠하는 스케줄(decaying schedule)은 동일한 시점에 큰 보폭(step size)과 수축되지 않은 잔차를 동시에 둘 수 없지만, 상수 스케줄은 마지막 스텝에서 정확히 그렇게 한다. 감쇠가 순서 효과를 완화한다는 점은 사전학습(pre-training)에서 보고된 바 있으나, 그 메커니즘과 분리, 그리고 두 부분에 대한 통제된 측정은 본 연구의 성과이다. 하나의 말뭉치, 하나의 예산으로 경로 외의 모든 것을 고정한 채 10가지 순서로 lr_scheduler_type만 다르고 다른 것은 동일한 군(family) 하에서 두 번 실행하였다. 상수 학습률에서는 내부가 할당에서 0.2221, 11.63의 대비 하한을 차지하며 배치가 얼마나 블록화되어 있는지에 따라 단조성을 띤다. 기발표된 모든 실험군(arm)이 사용하는 단일 코사인 하에서는, 동일한 10개의 실험군이 자체 해상도로는 약 10개를 허용함에도 식별 가능한 2개의 상태를 차지한다. '순서가 중요하다'와 '순서가 중요하지 않다'는 하나의 조절 노브의 양쪽 끝에 해당한다. 경로가 새겨 넣는 것은 모델이 어느 관례에 전념(commit)하는지이며, 어떤 완전 일치(exact-match) 벤치마크도 이를 감지할 수 없다. 12개의 실험군 전반에서 acc_A+acc_B는 9.7% 이내로 일정한 반면 할당 비율은 0.04에서 0.87까지 변동하므로, 본 논문에서 측정하는 12.29-시그마 배치 전환은 관례 무관(convention-agnostic) 지표 하에서는 정확히 0이다. 이러한 보존 법칙은 감쇠군 전체에서 인용된 것으로, 상수 학습률군은 이를 확인하기에 더 노이즈가 많은 환경이다. 프롬프트에 관례를 명시하면 이러한 전환이 붕괴되어 합집합 상한(union ceiling)의 87.5%에 도달한다.

arXiv:2610.00906v1cs.AI공통 태그 curriculum learning

ActiveSaddler: 에이전트 하네스 최적화를 위한 자동 커리큘럼 학습

ActiveSaddler: Automated Curriculum Learning for Agent Harness Optimization

자동화된 하네스 최적화(harness optimization)는 실행 피드백을 바탕으로 프롬프트, 도구 인터페이스, 제어 로직을 반복적으로 업데이트함으로써 대규모 언어 모델(LLM) 에이전트를 크게 향상시킬 수 있습니다. 그러나 기존 방법들은 하네스가 업데이트되는 방식을 최적화하는 데 주로 집중하며, 이러한 업데이트를 이끄는 피드백을 생성하는 학습 시나리오를 대체로 고정해 둡니다. 하네스가 진화함에 따라 추가 최적화에 가장 유용한 시나리오도 변할 수 있으며, 이는 학습 커리큘럼 자체가 하네스와 함께 적응해야 함을 시사합니다. 본 논문에서는 하네스 최적화에서 결여되었던 이러한 차원을 자동 커리큘럼 학습(automated curriculum learning) 문제로 정식화하고 ActiveSaddler를 소개합니다. ActiveSaddler는 진화하는 커리큘럼을 동적으로 인스턴스화되는 최적화 대상을 갖춘 비정상 밴딧(non-stationary bandit)으로 모델링합니다. 이 방법은 반복되는 실패를 재사용 가능한 실패 패턴 암(arm)으로 추상화하고, 각 패턴을 추가로 목표 삼았을 때 얻을 수 있는 잠재적 학습 진행도를 추정하며, 알려진 약점을 다시 탐색하는 것과 새로운 약점을 찾기 위해 미확인 시나리오를 탐색하는 것 사이의 균형을 적응적으로 맞춥니다. 최적화 결과는 발견된 실패 패턴 집합과 그 우선순위를 지속적으로 업데이트하여 커리큘럼이 하네스와 함께 공동 진화할 수 있도록 합니다. GAIA2 및 Terminal-Bench 2.0에 대한 실험 결과, ActiveSaddler는 지속적으로 더 강력한 하네스를 발견하여 최적화 전에 고정된 시나리오 순서를 사용하는 동일한 하네스 옵티마이저 대비 테스트 Pass@1을 각각 4.4%p 및 7.5%p 향상시키는 것으로 나타났습니다. 추가 절제 연구(ablation study)는 이러한 향상이 최적화 대상을 동적으로 구성하고, 진화하는 유용성을 추정하며, 지속적인 최적화와 새로운 실패 발견 간의 균형을 맞추는 데 기인함을 보여줍니다. 종합적으로 이러한 결과는 자동 커리큘럼 학습이 하네스 최적화를 위한 핵심적인 새로운 최적화 차원임을 입증합니다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.