PyTorchKR Papers

최신 논문

총 31편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2606.11559v2cs.AI

Multi-Turn Agent Self-Distillation with Compressed Hindsight

In reinforcement learning for multi-turn agents, a sparse outcome reward makes credit assignment across intermediate tool calls difficult. On-policy self-distillation eases credit assignment by having the model teach itself with dense supervision: the model with privileged information (the teacher) scores each token generated by the model without it (the student). However, it remains unclear what forms of feedback are most effective in multi-turn agentic settings. We find that the natural multi-turn variant fails: when the teacher is given a complete successful demonstration at every turn, training makes the agent worse than the untrained model. The teacher ends up rewarding the student for copying the demonstration, even when a copied action is not right in the student's context. We propose HINT, in which a reflector, by default the policy itself, reads the completed trajectory and writes short turn-level feedback. The teacher then sees what went wrong at each turn, not the actions that followed. On Tau-Bench and WebShop, HINT matches GRPO with one-eighth as many rollouts.

arXiv:2606.15920v3cs.CV

OmniOPSD: 감성 컴퓨팅을 위한 근거-특권 온-정책 자기증류

OmniOPSD: Rationale-Privileged On-Policy Self-Distillation for Affective Computing

Multimodal large language models (MLLMs) have advanced affective computing by enabling nuanced reasoning over visual, acoustic, and linguistic evidence. A key approach to improving their generalization is outcome-based reinforcement learning, which converts existing label-level annotations into rewards for final-answer correctness. However, its sparse sequence-level supervision provides limited fine-grained guidance for interpreting multimodal affective cues and may reward correct labels even when those cues are misinterpreted. To address this challenge, we introduce OmniOPSD, the first on-policy self-distillation framework for omni-modal affective reasoning. At its core, OmniOPSD transforms label-level supervision into evidence-rich, teacher-only rationales by leveraging reference affective judgments as semantic priors for offline multimodal evidence elicitation from frontier MLLMs. Through rationale-privileged self-distillation, it couples on-policy student rollouts with dense, evidence-informed token-level supervision from a local self-teacher, allowing the student to learn along its own trajectories rather than imitate fixed reasoning traces. This decoupling of offline evidence acquisition from local policy learning enables training without additional human annotation, frontier-model logits, or online frontier-model calls, while preserving student-only inference from the original task input. At both 3B and 7B scales, OmniOPSD outperforms supervised fine-tuning (SFT) and group relative policy optimization (GRPO) in mean macro-F1 on both in-domain and out-of-domain evaluations. Among the compared models, it ranks first by MER-UniBench mean across all three input-modality settings, reaching 84.13 with audio--video--text input, and achieves the highest MME-Emotion recognition score (Rec-S) of 42.4.

arXiv:2610.13744v1cs.AI

점수만 매기는 특권적 교사는 탐색할 수 없다: 추론을 위한 비평 조건부 온-정책 자기 증류

A Privileged Teacher That Only Scores Cannot Search: Critique-Conditioned On-Policy Self-Distillation for Reasoning

온-정책(on-policy) 자기 증류는 검증 가능한 보상(verifiable-reward) 기반 강화학습의 희소한 결과 신호를 토큰 단위의 조밀한 크레딧으로 대체할 것을 약속한다: 참조 해답에 조건화된 교사가 학생 자신의 롤아웃(rollout)을 채점하고, 그 결과로 나타나는 분포 변화가 다시 정책으로 증류된다. 우리는 이 채점 신호가 실제로 교정적 크레딧을 담고 있는지 조사한다. 학생 롤아웃 내의 정답(gold) 오류 구간을 이용하여, 자기 증류 목적함수가 사용하는 두 가지 신호, 즉 전체 분포 KL과 토큰 로그 비율(log-ratio)이 두 가지 속성, 즉 오류를 지역화(localize)하는지 여부와 학생의 오류 토큰으로부터 확률을 밀어내는지 여부를 테스트한다. 두 신호 모두 이러한 속성을 전혀 보이지 않으며, 동일한 문제 내에서 올바른 롤아웃과 잘못된 롤아웃을 신뢰성 있게 구분하지도 못한다. 우리는 이러한 실패가 구조적이라고 주장한다: 추론 과정(reasoning trace)에서 오류를 찾아내는 것 자체가 하나의 탐색(search) 문제인 반면, 채점을 수행하는 교사는 명시적으로 그러한 탐색을 수행하도록 요구받지 않는다. 동일한 모델이 동일한 특권 정보를 가지고도, 비평(critique)을 생성하도록 허용되었을 때는 오류를 훨씬 더 잘 지역화한다. 이는 \emph{비평 조건부 자기 증류(critique-conditioned self-distillation)}의 동기가 된다: 먼저 현재 롤아웃에 대한 비평을 생성한 다음, 그 비평에 채점 교사를 조건화하는 것이다. 그 결과로 나오는 신호는 오류를 지역화하고, 오류 구간 내에서 교정적이며, "Wait", "But", "Actually"와 같이 역추적(backtracking)을 시작하는 토큰 쪽으로 확률을 이동시킨다. 우리는 나아가 이 비평이 테스트 시점(test time)과 콜드 스타트(cold-start) GRPO 양쪽 모두에서 유용함을 보인다: 테스트 시점에서는 비평을 맥락에 포함한 채 잘못된 롤아웃을 재개하는 것이 샘플링만으로는 풀 수 없었던 수학 문제를 풀 수 있게 만들며, 콜드 스타트 GRPO에서는 검증 가능한 보상만으로는 전혀 이점 신호를 제공하지 못하는 프롬프트에 대해 이점(advantage) 신호를 제공한다.

arXiv:2607.01763v2cs.LG

더 조밀하다고 더 나은 것은 아니다: 지속적 사후 학습을 위한 온-정책 자기 증류의 한계

Denser $\neq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training

지속적 사후 학습(continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 지식을 습득할 수 있도록 합니다. 최근 연구에서는 온-정책(on-policy) 학습이 망각을 완화할 수 있음을 시사하며, 특히 자기 증류(self-distillation)를 매력적인 접근 방식으로 제시합니다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적인 주장을 재검토합니다. 실험 결과에 따르면 SDPO는 교사(teacher) 신호가 안정적이고 잘 정렬되어 있을 때 도메인 내 특화(in-domain specialization)를 가속하지만, 분포 외(out-of-distribution) 일반화에는 어려움을 겪습니다. 지속적 사후 학습에서 SDPO는 더 심한 망각을 보이며 심지어 붕괴(collapse)에 이를 수도 있는 반면, 더 확립된 온-정책 강화학습(RL) 방법인 GRPO는 더 보수적으로 적응하며 이전 능력을 더 잘 보존합니다. 추가 분석을 통해 이러한 실패 원인이 매개변수(parameter) 및 응답 공간에서의 드리프트 증가와, 자기 강화 교사-학생 루프를 통한 고주파 아티팩트(high-frequency artifacts)의 증폭과 연관되어 있음을 밝힙니다. 따라서 온-정책 데이터만으로는 지속적 학습(continual learning)에 불충분합니다. 자기 증류는 교사 타깃이 안정적이고 토큰(token) 수준의 감독이 신뢰할 수 있을 때는 효과적이지만, 지속적 사후 학습을 위한 기본적인 안정화 장치로 간주되어서는 안 됩니다. 코드는 https://github.com/Moenupa/SDPO-CL 에서 확인할 수 있습니다.

arXiv:2604.20733v2cs.LG

가까운 미래로부터의 학습: RLVR을 위한 시간적 자기 증류

Learning from the Near Future: Temporal Self-Distillation for RLVR

검증 가능한 보상을 활용한 강화학습(RLVR)은 추론 모델을 위한 핵심 사후 학습(post-training) 기법이지만, 유용한 궤적을 발견하기 어렵거나 탐험(exploration)이 좁아질 때 순수 온-정책(on-policy) 학습은 비효율적일 수 있습니다. 기존의 자기 유도 방식들은 대체로 현재 또는 이전 단계의 학습자가 이미 보유한 역량을 재사용합니다. 우리는 그 대신 학습 과정 후반에 발현되는 역량 역시 학습에 활용할 수 있는지 질문을 던집니다. 모델이 자신의 미래 자아로부터 학습할 수 있을까요? 본 논문에서는 정책이 자신보다 더 강력한 이후 시점의 체크포인트로부터 지침을 받는 시간적 자기 증류(temporal self-distillation)를 제안합니다. 우리는 가장 유용한 시간적 교사가 반드시 가장 강력한 교사일 필요는 없다고 가설을 세웠습니다. 즉, 교사는 충분히 새로운 역량을 제공하는 동시에 해당 역량이 쉽게 전이될 수 있을 만큼 호환성을 유지해야 하며, 이는 가까운 미래 체제(near-future regime)의 필요성을 시사합니다. 우리는 상호 보완적인 두 가지 메커니즘을 통해 이 원리를 연구합니다. Near-Future Policy Optimization(NPO)은 검증된 미래 자아의 궤적을 사용하여 오프-정책(off-policy) 행동 전이를 수행하는 반면, Near-Future Policy Distillation(NPD)은 학습자가 생성한 궤적에서 온-정책 토큰 수준 전이를 수행합니다. 또한, 시간적 지침이 유용한 시점과 롤백할 거리를 적응적으로 결정하여 미래 자아 지침을 반복적인 자기 부트스트랩 과정으로 전환하는 AutoNPO를 추가로 제안합니다. 8개의 이미지-텍스트 벤치마크 전반에서 NPO는 GRPO 성능을 60.25에서 62.84로 향상시키고 AutoNPO는 63.15에 도달했으며, 텍스트 전용 및 비디오 추론에서도 일관된 성능 향상을 보였습니다. NPD 환경에서 가까운 미래 교사는 증류 직후의 성능이 더 낮음에도 불구하고 지속적인 강화학습 후 63.23에 도달하여 먼 미래 교사의 61.92를 넘어섰습니다. 종합적으로 이러한 결과는 효과적인 시간적 자기 증류가 단순히 교사의 능력치에만 의존하는 것이 아니라, 새롭게 획득한 역량과 학습자와의 호환성 간의 균형에 달려 있음을 시사합니다.

arXiv:2607.22629v3cs.AI

마스크 자기 증류: 언어 모델 내 사고의 연쇄 내재화

Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models

대규모 추론 모델은 추론(inference) 시점에 최종 답변을 생성하기 전에 중간 단계들의 길고 명시적인 연쇄를 생성합니다. 최종 답변의 정확성이 중간 추적(trace)의 정확성과 인과적으로 연결되어 있지 않고 추적 길이가 문제의 복잡성을 나타내는 신뢰할 만한 지표가 아님에도 불구하고, 이러한 중간 추적은 지연 시간, 메모리 사용량 및 서빙 비용의 대부분을 차지합니다. 이는 자연스럽게 다음과 같은 질문을 제기합니다. 이러한 중간 토큰에 표현된 계산을 언어 모델의 파라미터 내부로 내재화하여 훨씬 더 짧은 중간 추적만으로 답변을 생성하도록 만들 수 있을까요? 본 논문에서는 동일한 모델의 복제본을 교사 모델과 학생 모델(student model)로 인스턴스화하고, 학생 모델이 중간 추적의 전체 또는 일부를 내재화하도록 학습(training)시켜 추론 효율성을 높이는 지식 증류(knowledge distillation) 기반 사후 학습(post-training) 프레임워크인 마스크 자기 증류(masked self-distillation)를 제안합니다. 우리는 학생 모델이 내재화하도록 학습되는 중간 추적의 비율을 변화시키며, 완전한 내재화와 무내재화 사이를 보간합니다. 수학 및 그래프 색칠하기라는 두 가지 추론 영역에서 통제된 실험을 수행하였으며, 마스크 자기 증류 프레임워크를 사용하여 Qwen3-4B 및 8B 모델을 사후 학습시켰습니다. 실험 결과는 이 방법이 다양한 도메인과 모델 크기 전반에서 추론 효율성을 높이는 동시에 작업 성능을 향상시키는 데 사용될 수 있음을 보여줍니다. 또한 사후 학습된 모델에서 향상된 효율성 이득이 OOD(분포 외) 문제로 일반화되는지 체계적으로 분석합니다. 그 결과 마스크 자기 증류 모델은 도메인 내 OOD 문제에 대해 잘 일반화되며, 마스크 자기 증류 학습이 도메인 외 문제에서 학생 모델의 치명적 망각(catastrophic forgetting)을 유발하지 않음을 확인했습니다. 나아가 절제 연구(ablation study)를 통해 지도 미세조정(supervised fine-tuning) 역시 모델이 더 짧은 추적을 생성하도록 학습시킬 수 있지만 일반화 성능이 저하됨을 보임으로써, 마스크 자기 증류에서 온-정책(on-policy) 학습의 중요성을 강조합니다.

arXiv:2610.02117v1cs.CV

Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD

arXiv:2606.18974v3cs.CV

Visual-OPSD: 효율적인 통합 멀티모달 추론을 위한 크로스-모달 온-정책 자기 증류

Visual-OPSD: Cross-Modal On-Policy Self-Distillation for Efficient Unified Multimodal Reasoning

통합 멀티모달 모델(UMMs)은 공간적 작업을 개선하기 위해 생성된 '시각적 사고(visual thoughts, VTs)'를 텍스트 추론과 결합합니다. 이로 인해 다단계 확산(diffusion) 과정에서 약 10배 수준의 추론(inference) 비용이 발생합니다. 우리는 이 비용이 제한적인 직접적인 이점만을 제공한다는 것을 발견했습니다. ThinkMorph에서 VTs를 제거하거나 노이즈를 추가해도 9개 벤치마크 전반에 걸쳐 정확도에는 거의 변화가 없었습니다. 렌더링된 후에는 내용에 관계없이 어텐션(attention)이 VT에 집중되는 현상이 관찰되었습니다. 그러나 KL(Kullback-Leibler) 진단 결과, 특권(privileged) VT 궤적(trace)을 조건으로 사용할 경우 모델의 완료(completion) 분포가 변화함을 보여줍니다. 이는 생성 경로가 렌더링된 픽셀 그 이상의 유용한 추론(reasoning) 정보를 인코딩하고 있음을 시사합니다. 이러한 격차에 착안하여, 우리는 Visual On-Policy Self-Distillation(Visual-OPSD)을 제안합니다. 교사(teacher)와 학생(student) 모델은 동일한 가중치를 공유하지만 맥락(context)에서 차이가 있습니다: 교사는 특권 VTs를 확인하는 반면, 학생은 질문만을 확인합니다. 온-정책(on-policy) 학생 궤적에 대한 토큰(token) 수준의 JSD 증류를 통해 교사의 추론 능력을 텍스트 전용 학생 모델로 전이합니다. 9개 벤치마크 전반에서 Visual-OPSD는 생성형 교사 모델 대비 정확도를 +3.40pp 향상시켰으며, 14.3배의 속도 향상(샘플당 10.0초 vs 142.8초)을 달성했습니다. 또한 VSP 벤치마크에서 동일 규모의 VLMs(Vision-Language Models)보다 +63.83pp 더 높은 성능을 보였습니다. 가우시안 노이즈 통제 실험(+0.40pp vs 실제 VTs의 +10.28pp)과 KL 갭(gap)의 58.4% 해소는, 성능 향상이 생성 경로의 의미론적(semantic) 내용에서 비롯되었음을 확인시켜 줍니다.

arXiv:2606.30345v2cs.LG

DRIFT: 리듬 게이팅 탐험과 성공 버퍼 학습을 활용한 난이도 라우팅 자기 증류

DRIFT: Difficulty Routing Self-DIstillation with Rhythm-Gated Exploration and Success BuFfer Training

DRIFT는 외부 감독 없이 대규모 언어 모델(LLM)의 안정적인 자기 개선을 위해 문제 수준의 난이도 라우팅(Difficulty Routing)과 토큰 수준의 리듬 게이팅(Rhythm Gating)을 결합한 온라인 자기 진화 정책 최적화 프레임워크로, 성공 버퍼와 2단계 커리큘럼 학습을 통해 GRPO 및 SDPO 대비 5개 벤치마크 평균 점수에서 각각 9.5%, 7.5% 높은 79.5%를 달성했다.

arXiv:2607.24447v1cs.CV

RP-OPSD: 멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류

RP-OPSD: Resolution-Privileged On-Policy Self-Distillation for Multimodal Large Language Models

온-정책 자기 증류(OPSD)는 교사에게만 제공되는 특권 정보를 활용하여 학생이 생성한 궤적에 대해 밀도 높은 토큰 수준의 감독을 제공한다. 그러나 기존 방법들은 검증된 풀이 추적, 외부 모델이 생성한 설명, 또는 수동으로 위치를 특정한 시각적 근거에 의존하는 경우가 많아, 멀티모달 대규모 언어 모델에의 확장 가능한 적용을 제한한다. 이 문제를 해결하기 위해, 동일 이미지의 고해상도 및 저해상도 뷰 간 정보 격차를 활용하고 RP-OPSD(멀티모달 대규모 언어 모델을 위한 해상도 특권 온-정책 자기 증류)를 제안한다. 학습 중 학생 정책은 원본 해상도의 1/4 해상도 이미지로부터 온-정책 궤적을 생성하고, 교사 정책은 원본 해상도 이미지를 사용하여 감독을 제공한다. 학생 궤적을 따라 두 모델의 출력 분포 간 발산을 최소화함으로써, 학생은 고해상도 입력 하에서 교사의 예측 행동을 학습하고, 이를 통해 저해상도 능력을 강화하며 학습된 개선을 원본 해상도 추론으로 전이한다. RP-OPSD는 해법 추적을 생성하기 위해 추가적인 사람 주석이나 외부 모델을 필요로 하지 않으며, 이미지-질문 쌍만 필요로 한다. Qwen3.5-9B에 대한 실험에서 RP-OPSD는 원본 해상도에서 평균 성능 5.45% 상대적 향상과 OPSD 대비 1.78배 학습 속도 향상을 달성한다. 이 결과는 해상도 차이가 간단하고 확장 가능한 특권 정보의 원천이 될 수 있음을 보여주며, 멀티모달 대규모 언어 모델을 위한 온-정책 자기 증류의 효과적이고 효율적인 접근법을 제공한다.

arXiv:2607.18955v3cs.LG

H$^2$SD: 하이브리드 후견 자기 증류

H$^2$SD: Hybrid Hindsight Self-Distillation

검증 가능 보상 강화학습(RLVR)은 언어 모델 추론에 신뢰할 수 있는 결과 감독을 제공하지만, 스칼라 궤적 보상은 토큰 수준 지도를 제한적으로만 제공한다. 기존 자기 증류(self-distillation) 방법은 특권 교사(privileged teacher)를 추가하지만 일반적으로 고정된 역할을 부여한다: 직접적인 분포 매칭(distribution matching)은 성공적인 행동을 불안정하게 만들 수 있고, 크기만 조절(magnitude-only modulation)하는 방식은 실패 이후에는 거의 교정적 지도를 제공하지 못한다. 우리는 성공한 궤적과 실패한 궤적이 서로 다른 형태의 후견(hindsight) 지도를 필요로 한다는 점을 관찰한다. 성공적인 응답은 이미 유효한 학생(student)이 생성한 추론 경로를 포함하므로, 외부 근거로 대체되기보다 특권 컨텍스트로 활용될 수 있다. 반면 실패한 응답은 교정을 위한 참조 정보가 필요하다. 우리는 Hybrid Hindsight Self-Distillation($\mathrm{H}^{2}\mathrm{SD}$)을 제안한다. 이 방법은 교사 컨텍스트와 업데이트 전략을 궤적의 정확성에 맞게 공동으로 적응시킨다. 성공한 궤적에 대해서는 검증된 응답과 재구성(rephrasing) 지시문으로 교사 컨텍스트를 구성하고, 교사는 원래 응답 토큰을 재평가하는 데만 사용한다. 이렇게 얻은 확률은 보상이 결정한 방향을 바꾸지 않으면서 토큰 신용 할당(credit assignment)을 정교화한다. 실패한 궤적에 대해서는 검증된 참조 힌트가 역 KL 증류(reverse-KL distillation)를 통해 교정적 지도를 제공한다. 도전적인 추론 벤치마크에서의 실험은 H$^2$SD가 대표적인 RLVR 및 자기 증류 베이스라인 중 최고의 전반적 성능을 달성하며, 안정적인 최적화와 유리한 정확도-효율 트레이드오프를 보여준다.

arXiv:2607.10805v1cs.CL

온-정책 자기 증류에서의 사고 붕괴 진단 및 완화

Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

온-정책 자기 증류(On-Policy Self-Distillation, OPSD)는 대규모 언어 모델(LLM)의 성능 향상 및 정렬을 위한 핵심 패러다임으로 부상했다. 그러나 복잡한 추론 과제에서 OPSD는 역설적으로 다운스트림 성능을 저하시킨다. 본 논문에서는 이 병리 현상을 체계적으로 규명하고, 우리가 \textbf{사고 붕괴(Thinking Collapse)}로 정의하는 심각한 최적화 함정을 식별한다. 이는 인식론적 토큰 밀도(ET per 1k)로 측정되는 모델 고유의 중간 추론 행동이 급격히 감소하는 현상이다. 엔트로피 기반 그래디언트 마스킹과 토큰 수준의 목표 분석을 통해, 이 붕괴가 학생 모델의 인식론적 토큰이 교사 모델의 비인식론적 목표로 빈번히 억압되고 높은 포인트별 학생-교사 발산 영역에 집중되는 고-학생-엔트로피 결정 분기점에서의 공격적인 교사 그래디언트에 의해 유발됨을 보인다. 이 최적화 병리를 해결하기 위해, 우리는 자기 증류 목표를 동적으로 조절하는 강건한 제어 프레임워크인 \textbf{적응형 이중-관점 OPSD(Adaptive Dual-Perspective OPSD, AD-OPSD)}를 제안한다. AD-OPSD는 비대칭 포인트별 발산 게이트를 통해 동결된 기반 모델에서 도출된 참조 사전분포에 억압 위험이 높은 샌드박스 토큰을 선택적으로 고정함으로써, OPSD의 오류 수정 능력을 유지하면서 고유한 사고 능력을 보존한다. 경쟁적 수학 벤치마크에 걸친 광범위한 실험에서 AD-OPSD는 다양한 모델 규모와 데이터셋에 걸쳐 표준 OPSD 대비 절대 평균 정확도를 최대 \textbf{+4.1\%} 향상시킨다. 추가 분석을 통해 AD-OPSD가 사고 붕괴를 완화하고 다양한 사후 학습 패러다임에 강건하게 일반화됨을 보인다.

arXiv:2607.09709v1cs.AI

검증기가 커리큘럼이다: 크로스-패밀리 게임 생성을 위한 실행-게이팅 자기 증류

The Verifier is the Curriculum: Execution-Gated Self-Distillation for Cross-Family Game Generation

학습된 판별자(judge)를 기준으로 코드 생성기를 사후 학습(post-training)하면, 실제 결과물을 개선하지 않고도 점수를 높이는 프록시 특성이 최적화될 수 있다. 본 논문은 이와 반대되는 신호, 즉 결정론적이고 판별자 없이 조작이 불가능한 필터—생성된 프로젝트가 헤드리스 엔진에서 정상적으로 실행되는지 여부(strict-launch)—를 연구한다. 이 게이트 하에서 거절 샘플링(rejection-sampling) 자기 증류(self-distillation)는 패밀리 외(out-of-family) 일반화를 복합적으로 향상시킨다. 자연어 지시문을 완전한 Godot 프로젝트로 변환하는 GameCraft-Bench에서, strict-launch 하에 증류된 14B 모델(Qwen3-14B+LoRA)은 세 라운드에 걸쳐 미관측 네 가지 게임 패밀리에서의 정상 생성률을 후보당 8.8%에서 42.2%로, best-of-K 커버리지를 18/25에서 25/25(골드 상한)로 끌어올렸으며, 각 라운드에서 유의미한 향상을 달성했다(p=0.0019, p<1e-4, p<1e-4). 이 향상은 단순히 데이터를 추가한 결과가 아니다: 정확히 일치하는 골드 복제 제어 실험은 기본 모델보다 낮은 성능(5.6% vs. 8.8%, p=0.019)으로 회귀한 반면, 수량을 맞춘 분해 실험은 라운드 1에서 2로의 도약을 품질(+8.8pp)과 수량(+8.5pp)의 비슷한 두 채널로 분리했다. 가장 직접적인 증거로, 필터만 교체하여—실행 게이트 대신 생성물의 99.9%를 통과시키는 관대한 BUILD 검사로—루프를 재실행하면 향상이 완전히 사라지고(기본 모델 수준으로 회귀, p=1e-3 vs. 실행-게이팅 라운드), 옵티마이저가 아닌 검증기의 정밀도(precision)가 결정 요인임이 분리된다. 두 번째 조작 불가능한 신호인 헤드리스 실행 그라운딩(headless execution grounding)은 라운드 전반에 걸쳐 단조롭게 증가하며, 동일한 예산에서 골드 복제보다 훨씬 많은 그라운딩된 후보를 생성해(16 vs. 5), 향상이 기능적임을 확인한다—단순히 실행만 되고 내용이 없는 것이 아니라. 게임 생성은 하나의 교훈을 위한 검증 가능한 테스트베드다: 검증기가 커리큘럼이다—검증기가 인증하는 것이 모델이 학습하는 것이다.

arXiv:2607.08766v1cs.CV

OPSD-V: 사후 학습 기반 소수 단계 자기회귀 비디오 생성기를 위한 온-정책 자기 증류

OPSD-V: On-Policy Self-Distillation for Post-Training Few-Step Autoregressive Video Generators

소수 단계 자기회귀(AR) 비디오 확산 모델의 장기 롤아웃에서 발생하는 오류 누적과 모션 다이나믹 약화 문제를 해결하기 위해, OPSD-V는 실제 장편 비디오 데이터를 시간적 컨텍스트로 활용해 교사 모델의 KV 캐시를 정제하고 학생 모델의 온-정책 롤아웃에 조밀한 디노이징 수준의 지도를 제공하는 사후학습 자기 지식 증류(self-distillation) 패러다임이다. Self-Forcing과 LongLive에 적용한 실험에서 VBenchLong 점수, 시각적 품질, 모션 다이나믹 모두 일관된 향상을 보였으며, 사용자 연구에서 66.0%의 전반적 선호도를 기록했다.

arXiv:2607.04428v1cs.CL

dOPSD: 확산 언어 모델을 위한 온-정책 자기 증류

dOPSD: On-Policy Self-Distillation for Diffusion Language Models

확산 대규모 언어 모델(dLLM)은 마스킹된 시퀀스를 반복적으로 디노이징하여 텍스트를 생성하며, 자기회귀 모델에 대한 병렬 대안을 제공한다. 그러나 사후 학습을 통해 강력한 추론 능력을 이끌어내는 것은 여전히 어렵다. 지도 미세조정은 오프-정책 방식이라 노출 바이어스를 겪으며, 강화학습은 시퀀스 수준의 희소한 보상만을 제공하고 다루기 쉬운 시퀀스 우도 없이는 적용하기 어렵다. 온-정책 자기 증류(OPSD)는 하나의 모델을 학생과 교사로 동시에 활용하여 밀도 높고 토큰 수준의 온-정책 지도 신호를 제공하는 유망한 대안이지만, 그 효과는 교사에게 특권 정보(PI)—일반적으로 추론 시에는 사용할 수 없는 인스턴스별 정답 레퍼런스—를 부여하는 것에 달려 있다. 이로 인해 학생은 개선 효과가 거의 없는 약한 PI-프리 합의 정책을 증류하게 되어 dLLM 추론에 별다른 향상을 가져오지 못한다. 우리는 dOPSD를 제안한다. 이 방법은 교사의 특권을 외부 레이블이 아닌 학생 자신의 디노이징 경로에서 직접 도출하며, 마스킹된 위치를 동일한 경로의 이후 더 많이 디코딩된 단계를 활용하여 평가함으로써 교사의 이점이 모델 자체의 디코딩 과정에서 창출되도록 한다. Dream과 LLaDA에서 dOPSD는 도메인 내 수학 추론과 도메인 외 코드 생성 모두를 개선하며, 지도 기반 및 온-정책 베이스라인을 능가한다.

arXiv:2602.12262v4cs.CL

궤적 자기 증류를 통한 소수 단계 확산 언어 모델

Few-Step Diffusion Language Models via Trajectory Self-Distillation

확산 대규모 언어 모델(DLLM)은 병렬 디코딩을 통한 빠른 텍스트 생성의 가능성을 지닌 강력한 생성 모델로 부상하고 있다. 그러나 이러한 잠재력을 실제로 실현하는 것은 여전히 어렵다. 디코딩 단계 수를 줄이면 토큰 인수분해 오류(token factorization error)로 인해 출력 품질이 크게 저하되는 경우가 많기 때문이다. 이를 완화하기 위해, 우리는 소수 단계 학생 모델이 풀 스텝 교사 모델의 생성 궤적을 모방하도록 학습시키는 자기 지식 증류(self-distillation) 프레임워크를 제안한다. 우리는 궤적 수준의 지도(supervision)가 이 인수분해 오류를 이론적·실험적으로 완화하여 효과적인 소수 단계 디코딩을 가능하게 함을 보인다. 또한 교사 모델의 모드를 향한 모드 탐색(mode-seeking)을 장려하는 역방향 KL 목적함수인 DDO(Direct Discriminative Optimization)를 통합하여, 어려운 추론 과제에서 더욱 강력한 성능을 발휘한다. 추론 및 코드 생성 벤치마크 전반에 걸쳐, 우리의 방법은 소수 단계 디코딩과 풀 스텝 디코딩 간의 격차를 크게 줄인다. 소스 코드는 https://github.com/Tyrion58/T3D 에서 확인할 수 있다.

arXiv:2607.02234v1cs.AI

Purified OPSD: On-Policy Self-Distillation Without Losing How to Think

온-폴리시 자기 증류(OPSD)가 long-CoT 추론 모델에 적용될 때 성능을 오히려 저하시키는 근본 원인을 분석한 결과, 교사 모델의 감독 신호가 문제 해결에 전이 불가능한 참조 답안 암기 성분에 지배되고 있음을 규명했다. 이를 해결하기 위해 참조 답안만으로 조건화된 교사를 활용해 비전이 성분을 제거하고, 점별 상호정보량(PMI)으로 전이 가능한 교정 신호만을 추출하는 Purified OPSD를 제안하여, 4개의 long-CoT 모델에서 표준 OPSD 대비 일관된 성능 향상과 반성적 추론 능력 보존을 달성했다.

arXiv:2607.02502v1cs.LG

DemoPSD: 불일치 조절 정책 자기 증류

DemoPSD: Disagreement-Modulated Policy Self-Distillation

온-정책 자기 증류(OPSD)에서 발생하는 특권 정보 누출(privileged information leakage) 문제를 해결하기 위해, DemoPSD는 교사-학생 분포 간 불일치(disagreement)를 측정하여 각 토큰 위치에서 역방향-KL 중심점 타깃(reverse-KL barycenter target)으로 혼합 비율을 적응적으로 조절하는 새로운 자기 증류 프레임워크를 제안한다. SciKnowEval 4개 과학 분야 실험에서 DemoPSD는 GRPO와 SDPO를 능가하면서 35–97% 높은 학습 엔트로피를 유지하고, 분포 외 벤치마크 GPQA에서도 강건한 일반화 성능을 보였다.

arXiv:2607.02460v1cs.LG

주석 없는 LLM 자기 증류를 위한 뉴런 인식 데이터 선택

Neuron-Aware Data Selection for Annotation-Free LLM Self-Distillation

주석 없는 자기 증류(annotation-free self-distillation)의 한계를 극복하기 위해, 내부 뉴런 활성화 패턴을 활용하여 학습 데이터 선택(Neuron Consensus)과 교사 컨텍스트 구성(Neuron Overlap)을 동시에 안내하는 Neuron-OPSD 프레임워크를 제안한다. 특화 도메인 벤치마크에서 기존 주석 없는 기준 방법 대비 도메인 내 성능 향상, 교차 도메인 일반화 유지, 캘리브레이션 붕괴 완화를 달성했다.

arXiv:2606.29863v1cs.CL

KbSD: 에이전틱 검색에서의 행동 보정을 위한 지식 경계 인식 자기 증류

KbSD: Knowledge Boundary aware Self-Distillation for Behavioral Calibration in Agentic Search

에이전틱 검색은 대규모 언어 모델(LLM)에 동적 검색 능력을 부여하지만, 기존의 강화학습 방법은 지식 경계 보정 — 파라메트릭 메모리를 신뢰할 시점, 검색된 증거에 의존할 시점, 그리고 답변을 자제할 시점을 결정하는 것 — 에서 보상 희소성의 한계를 지닌다. 이진(binary) 보상은 바람직하지 않은 결과에 페널티를 부여할 수 있지만, 다양한 지식 상태에 걸쳐 보정된 결정을 내리는 데 필요한 추론 과정에 대한 지침은 거의 제공하지 못한다. 이를 해결하기 위해 우리는 KbSD(Knowledge boundary Self-Distillation)를 제안한다. 이는 밀집 토큰 수준 감독, 결과 수준 희소 보상, 사분면 적응형 최적화를 통해 이 한계를 극복하는 프레임워크이다. KbSD는 학생 모델과 구조적으로 동일한 힌트 증강(hint-augmented) 교사 모델을 구성하며, 이 교사 모델은 파라메트릭 확실성, 검색 품질, 정답을 포함한 명시적 지식 경계 신호를 수신하여 보정된 추론 시연을 생성한다. 이러한 정보 비대칭 자기 증류는 더 큰 외부 모델 없이도 밀집 감독을 가능하게 한다. 지식 상태에 따른 이질적인 추론 분포를 추가로 고려하기 위해, 우리는 사분면 적응형 증류 목표를 도입한다: 집중적 통합을 위한 역방향 KL, 다양한 거부를 위한 순방향 KL, 그리고 정밀도와 커버리지를 모두 필요로 하는 비대칭 사분면을 위한 파레토 최적 양방향 KL이다. 다양한 벤치마크에서의 실험 결과, KbSD는 강력한 기준선 대비 과제 정확도와 환각(hallucination) 완화 모두에서 일관된 개선을 보이며, 특히 희소 보상이 가장 정보를 제공하지 못하는 어려운 사분면에서 가장 큰 성능 향상을 나타낸다.