arXiv:2610.10623v1 cs.LG

순환적 자기 개선: 루프 언어 모델을 위한 동적 크로스-루프 온-정책 증류

Recurrent Self-Improvement: Dynamic Cross-Loop On-Policy Distillation for Looped Language Models

Yi Wang, Rui Qian, Yu Li, Haoyang Yao, Wenjie Wang

제출 2026-10-07

저자 비고

arXiv Comments

28 pages, 8 figures. Submitted to ICLR 2027

한국어 초록

루프 언어 모델(LoopLM)은 순환 계산 단계 전반에 걸쳐 공유 매개변수(parameter)를 재사용함으로써 추론을 스케일링하는 매개변수 효율적인 접근 방식을 제공합니다. 이러한 유망성에도 불구하고, LoopLM의 효과적인 사후 학습(post-training)은 여전히 어렵습니다. 기존 접근 방식들은 루프 전반으로 확장하기에 희소하거나 비용이 많이 드는 보상(reward) 기반 감독을 제공하거나, 외부 교사 또는 특권 정보에 의존하여 교사의 가용성이 제한되거나 교사-학생 간 문맥 불일치를 초래합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 LoopLM 내의 추가적인 순환 계산을 자체 감독의 원천으로 활용하는 크로스-루프 온-정책(on-policy) 지식 증류(distillation) 프레임워크인 LoopOPD를 소개합니다. LoopOPD는 동결된 최종 루프 정책을 학생 생성 롤아웃에 대한 중간 루프 학생의 계산 특권 교사로 활용하여, 외부 교사나 특권 정보 없이도 조밀한 감독을 제공합니다. 더 나아가 공유 모델 매개변수가 업데이트됨에 따라 최종 루프 교사를 지속적으로 갱신하여 순환적 자기 개선을 가능하게 하는 Dynamic LoopOPD(D-LoopOPD)를 제안합니다. 본 논문에서는 증류 업데이트가 루프 깊이 전반에 걸쳐 어떻게 전파되는지 특성화하고, 단일 업데이트가 두 루프 깊이 모두에서 동시적인 국소 개선을 도출하는 충분조건을 유도합니다. Ouro-Thinking 모델을 대상으로 한 실험에 따르면 LoopOPD는 수학적 추론을 향상시키며, D-LoopOPD는 동적 교사 업데이트를 통해 추가적인 성능 향상을 달성합니다. 수학 데이터로만 학습(training)되었음에도 불구하고, 결과 모델은 일반 추론 및 코드 생성 벤치마크에서도 향상된 성능을 보여 순환 계산이 LoopLM의 효과적인 감독 원천으로 기능할 수 있음을 입증합니다. 코드와 모델 체크포인트는 논문 채택 시 공개될 예정입니다.

원문 초록

Looped Language Models (LoopLMs) offer a parameter efficient approach to scaling reasoning by reusing shared parameters across recurrent computation steps. Despite their promise, effective post-training of LoopLMs remains challenging. Existing approaches either provide reward based supervision that is sparse or costly to extend across loops, or rely on external teachers or privileged information, leading to limited teacher availability or teacher-student context mismatch. To address these limitations, we introduce LoopOPD, a cross-loop on-policy distillation framework that uses additional recurrent computation within a LoopLM as its own source of supervision. LoopOPD uses a frozen terminal loop policy as a compute privileged teacher for an intermediate loop student on student generated rollouts, providing dense supervision without an external teacher or privileged information. We further propose Dynamic LoopOPD (D-LoopOPD), which continually refreshes the terminal loop teacher as the shared model parameters are updated, enabling recurrent self-improvement. We characterize how distillation updates propagate across loop depths and derive sufficient conditions under which a single update yields simultaneous local improvement at both loop depths. Experiments on Ouro-Thinking models show that LoopOPD improves mathematical reasoning, while D-LoopOPD yields further gains through dynamic teacher updates. Despite being trained only on mathematical data, the resulting models also improve on general reasoning and code generation benchmarks, demonstrating that recurrent computation can serve as an effective source of supervision for LoopLMs. Our code and model checkpoints will be released upon acceptance.

제출 이력

확인된 버전만 표시합니다. 전체 제출 이력은 arXiv 원문에서 확인하세요.

  1. arXiv:2610.10623v1

함께 살펴볼 논문

공통 태그를 근거로 연결했습니다. 실제 인용 관계나 논문의 우수성을 뜻하지 않습니다.

arXiv:2610.02359v1cs.LG공통 태그 Language Modelling, Math, Knowledge Distillation

사전식 다중 목적 온-정책 증류

Lexicographic Multi-Objective On-Policy Distillation

검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.

arXiv:2610.02703v1cs.AI공통 태그 Math, Knowledge Distillation, Code Generation

구간별 온-정책 증류를 통한 추론 수정 학습

Learning to Revise Reasoning with Segment-wise On-Policy Distillation

온-정책 증류(On-policy distillation, OPD)는 교사(teacher) 모델로부터 밀집된 토큰별(token-wise) 지도 신호를 받아 학생(student) 모델이 자체적으로 생성한 롤아웃(rollout)을 기반으로 학습함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 토큰 단위의 OPD는 학생의 추론 단계를 어떻게 수정하여 이후의 추론을 개선할 수 있는지를 보여주는 일관된 대안적 추론 단계를 명시적으로 제공하지 못합니다. 또한, 학생 모델이 퇴행적인 추론 접두 문맥(prefix)을 생성할 경우, 이후의 교사 지도 역시 해당 접두 문맥에 조건화되어 전달되므로 잘못된 추론 패턴을 강화할 수 있어 이러한 패러다임의 효과가 저하될 수 있습니다. 본 연구에서는 중간 추론 단계를 수정하고 후속 추론을 더 잘 뒷받침할 수 있도록 구간별(segment-wise) OPD를 통한 추론 수정 학습에 주목합니다. 통제된 추론 개입 실험을 통해, 학생의 구간을 교사의 재작성본(redraft)으로 대체하면 후속 추론 정확도가 향상된다는 점을 확인했습니다. 따라서 교사의 재작성본을 추론 수정 학습을 위한 명시적 지도 신호로 전환하는 문제를 다룹니다. 본 논문에서는 불확실성 지표를 기반으로 학생 구간을 선택하고 이에 대응하는 교사의 재작성본을 획득하는 구간별 온-정책 증류(Segment-wise On-Policy Distillation, Seg-OPD)를 제안합니다. Seg-OPD는 밀집된 토큰 단위 OPD 지도 신호를 유지하면서, 학생 모델이 쌍을 이루는 자신의 구간보다 교사의 재작성본을 더 선호하도록 학습시킵니다. 수학적 추론 및 경쟁 프로그래밍 태스크에 대한 광범위한 실험 결과, Seg-OPD로 학습된 학생 모델은 베이스라인 대비 더 높은 수정 성공률을 달성했습니다. Seg-OPD는 다양한 모델과 태스크에 걸쳐 평균 5.22%의 상대적 개선율을 보이며 비교 대상인 최신 베이스라인들보다 일관되게 우수한 추론 정확도를 달성했습니다. 코드는 https://anonymous.4open.science/r/Seg-OPD 에서 이용할 수 있습니다.

arXiv:2610.13481v1cs.AI공통 태그 Math, Knowledge Distillation

분기형 온-정책 증류

Branching On-Policy Distillation

온-정책 증류(OPD, On-policy distillation)는 학생 모델이 생성한 궤적에 대해 교사 모델의 지도를 제공하지만, 단일 궤적은 각 결정 시점에서 하나의 연속 생성만을 실현하므로 유한한 샘플링 예산 내에서 지도 범위를 제한합니다. 본 논문에서는 학생 모델의 불확실성과 교사-학생 간 불일치를 활용하여 유익한 결정 지점을 선택하고, 공유된 접두 문맥(prefix)으로부터 학생 정책의 연속 생성을 재샘플링하며, 메인 궤적과 분기 모두에 토큰(token) 수준의 교사 지도를 적용하는 BranchOPD(분기형 온-정책 증류)를 제안합니다. BranchOPD는 수학 분야에서는 토큰 수준 결정에서, 에이전트(agent) 과제에서는 턴 내부 결정에서 동작합니다. 공유된 접두 문맥 재사용은 7개의 독립적인 궤적과 비교했을 때 ALFWorld에서 약 19%, WebShop에서 약 31%만큼 학생이 생성하는 토큰 비용을 절감합니다. 또한 프로토콜 제약 조건 하에서 목표 지향적 지도를 활용하여 반복 및 낭비되는 생성을 완화하는 프로토콜 경계 복구(PBR, protocol-boundary repair)를 도입합니다. BranchOPD는 평가된 모든 벤치마크(benchmark)에서 바닐라 OPD 및 멀티 롤아웃(Multi-Rollout) OPD(n=7)보다 우수한 성능을 보였으며, 16개 샘플링 답변에 대한 평균 수학 정확도(avg@16)에서 18.55%p, 평균 ALFWorld ID/OOD 성공률에서 13.8%p의 성능 향상을 기록했습니다. 메커니즘 분석 및 선택 절제 연구(ablation study)에 따르면, 불확실한 결정 지점에서 분기하는 것이 후속 행동 범위를 확장하며 무작위 선택이나 턴 시작 분기보다 뛰어난 성능을 보임을 확인했습니다.

arXiv:2610.13536v1stat.ML공통 태그 Language Modelling, Knowledge Distillation

증류의 어둠의 기술에 대한 방어: 서브리미널 학습(subliminal learning)의 비지도 발견

Defence against the dark arts of distillation: Unsupervised discovery of subliminal learning

언어 모델(language model)이 기본 매개변수(parameter)를 공유하는 교사 모델로부터 증류(distillation)될 때, 학생 모델은 해당 특성과 의미적으로 무관한 데이터로부터도 교사 모델의 행동적 특성---정렬 실패(misalignment)를 포함하여---을 물려받을 수 있다(Cloud et al., 2026). 기존의 모든 방어 기법은 해당 특성을 미리 알아야 한다는 조건을 요구한다. 본 연구는 이러한 요구 조건을 제거하고, 서브리미널하게 전이된 특성이 단 하나의 비대칭성을 활용함으로써 감독(supervision) 없이 매개변수 업데이트만으로도 복원될 수 있음을 증명한다: 그 특성은 교사 모델이 생성한 다양한 데이터셋(dataset) 전반에서 일관되게 나타나는 반면, 과제별 능력과 공유 능력은 데이터셋마다 달라진다. 이로부터 도출되는 추정량(estimator)은 가중치(weight) 공간상의 방향을 반환하며, 이를 증폭하여 해당 특성을 발견하고 해석할 수도 있고, 투영 제거(project out)하여 그 특성의 발현을 억제할 수도 있다. (Cloud et al., 2026)의 서브리미널 학습 벤치마크(benchmark)에 적용한 결과, 본 방법은 특성 레이블(label) 없이도 전이된 동물 선호(animal-preference) 특성을 복원하며, 과제 성능에는 거의 영향을 주지 않으면서 그 발현을 억제한다.

arXiv:2610.13594v1cs.AI공통 태그 Math, Code Generation

MENTOR: 온-정책 교육적 개입을 통한 실패로부터의 학습

MENTOR: Learning from Failure with On-Policy Pedagogical Intervention

검증 가능한 보상을 활용한 강화학습(RLVR)은 대형 추론 모델의 핵심 동력이지만, 과제 난이도가 갑자기 높아지면서 학습 신호가 사라지는 훈련 실패 현상인 "제로 보상 붕괴(zero-reward collapse)"에 취약하다. 우리는 이러한 실패한 궤적을 폐기하는 기존 방식이 낭비적이라고 주장한다. 이 궤적들은 모델의 인지적 공백에 대한 귀중한 진단 정보를 담고 있으며, 이는 회복을 위해 활용될 수 있는 긍정적인 측면이기 때문이다. 그러나 기존 해결책들은 사전 정의된 힌트 라이브러리와 같은 정적인 "오프-정책(off-policy) 방식"의 개입으로 퇴행하거나 사후적(post-hoc) 보정을 수행하는 경우가 많아, 붕괴에서 벗어나는 데 필요한 적응적이고 미래지향적인 안내를 제공하지 못한다. 이를 해결하기 위해, 우리는 온-정책(on-policy) 교육적 개입으로의 패러다임 전환을 제안하고, 실시간 멘토 역할을 하는 다중 에이전트 프레임워크인 MENTOR를 소개한다. MENTOR는 실패의 근본 원인을 실시간으로 진단하고, 학습 에이전트의 다음 시도를 안내하기 위해 목표가 명확한 교육적 프롬프트를 동적으로 생성한다. 플러그 앤 플레이 모듈로서, MENTOR는 훈련 인프라를 수정하지 않고도 GRPO와 같은 기존 정책 최적화 파이프라인에 매끄럽게 통합된다. 수학 및 코드 생성에 대한 광범위한 실험 결과, MENTOR는 제로 보상 붕괴를 효과적으로 완화하며 최신 베이스라인들을 능가하는 것으로 나타났다. 특히, Llama-3.2-3B-Instruct에서는 기본 모델 대비 평균 최대 78.3%의 상대적 성능 향상이라는 큰 폭의 개선을 달성했다.

arXiv:2610.13744v1cs.AI공통 태그 Math, Knowledge Distillation

점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류

A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning

온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.

토론

이 논문과 연결된 포럼 글이 아직 없습니다.