PyTorchKR Papers

최신 논문

총 40편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2607.11505v3cs.LG

Proxy OPD: On-Policy Distillation with Transferable Relative Proxy Update for Large Language Models

Reward-based reinforcement learning (RL) improves large language models but incurs substantial costs when repeated across targets. On-policy distillation (OPD) reuses experts by matching their distributions on target-generated trajectories, yet differing base policies can confound reward-induced updates with pre-existing policy differences, potentially distorting transferred update directions. We propose Proxy OPD (P-OPD), a post-training method that transfers reward-induced relative policy updates using the target's frozen base policy as a reference. A proxy undergoes reward-guided exploration, yielding token-level log-probability changes between its initial and optimized policies. These signals guide learning on target-generated trajectories, with calibration controlling signal absorption, enabling reuse of reward-induced improvements across targets. Experiments on Qwen3-family targets in mathematical reasoning, code generation, and instruction following show that P-OPD improves targets and outperforms conventional OPD in most settings. For 1.7B-to-8B transfer, average Math Mean@16 and Code Mean@8 scores exceed OPD by 8.3 and 3.4 points, respectively. Mechanism analyses show more faithful reward-induced supervision and controllable adaptation. Cross-scale and cross-generation experiments confirm signal transferability and reusability, while multi-domain distillation reveals synergistic gains and cross-domain interference. In the measured 4B-to-8B setting, target adaptation after proxy exploration takes approximately 15\% of direct target RL time; repeated signal reuse amortizes the one-time exploration cost across compatible models. These findings support relative policy updates as effective, transferable, and composable supervision for an ``explore once, transfer multiple times'' post-training paradigm.

arXiv:2609.14193v4cs.LG

데이터 없는 온-정책 지식 증류: 외부 데이터 없이 얼마나 멀리 갈 수 있는가?

Data-Free On-Policy Distillation: How Far Can We Go Without External Data?

온-정책 지식 증류(On-Policy Distillation, OPD)는 프론티어 파운데이션 모델의 사후 학습(post-training)에 점점 더 많이 적용되고 있습니다. 이 분야의 기존 연구는 주로 알고리즘적 발전에 초점을 맞추었으나, OPD가 학습 질문에 얼마나 의존하는지, 특히 이러한 의존성을 어디까지 줄일 수 있는지는 여전히 불분명합니다. 두 가지 대표적인 단일 교사(single-teacher) OPD 설정에 걸쳐, 저자들은 단 8개의 실제 프롬프트로 학습해도 17,000개 문제로 학습한 것과 유사한 성능을 얻을 수 있으며, 측정된 난이도와 초기 증류 격차가 크게 다른 데이터셋들 간에도 유사한 결과를 산출함을 발견했습니다. 이러한 분석은 두 가지 상호보완적인 설명을 제시합니다. 즉, 반복 샘플링을 통해 적은 프롬프트만으로도 상당한 교사 지도(teacher supervision)를 드러낼 수 있으며, OPD가 데이터셋별 지식을 넘어 일반화 가능한 추론 능력을 전이한다는 것입니다. 이러한 관찰을 바탕으로, 저자들은 외부 데이터의 필요성을 없애고 시스템이 스스로 학습 질문을 제공할 수 있는지 조사하기 위해 데이터 없는 온-정책 지식 증류(Data-Free On-Policy Distillation, DF-OPD) 설정을 제안합니다. 시드 예시 없이 생성된 64개의 자체 생성 질문을 통해, DF-OPD는 두 단일 교사 설정 모두에서 전체 데이터를 사용한 OPD와 유사한 성능을 산출합니다. 이러한 발견은 다중 교사(multi-teacher) OPD에서도 유효하여, 수학, 코드 및 인스트럭션 추종(instruction following) 전반에 걸쳐 1,000개의 생성된 질문이 약 7,000개의 실제 사후 학습 예시로 학습한 것과 유사한 성능을 달성합니다. 나아가 저자들은 OPD가 명시적인 학습 질문 없이도 작동할 수 있는지 탐구합니다. 실험 결과 이는 학생 모델이 예상치 못하게 자체 질문을 생성하고 답변하여 프로세스가 암묵적인 형태의 DF-OPD로 귀결되는 제한적인 경우에만 효과적임을 보여줍니다. 종합적으로 이러한 발견들은 온-정책 지식 증류에서 학습 데이터의 역할에 대한 재평가를 유도합니다. 코드는 https://github.com/Ryuki661/DF-OPD 에서 이용 가능합니다.

arXiv:2610.02614v1cs.LG

사후 학습에서 무엇이 사라지는가? 기본값 붕괴와 다양한 관점에 걸친 문맥 내 조정 가능성의 상실

What Is Lost in Post-Training? Default Collapse and the Loss of In-Context Steerability Across Diverse Perspectives

이질적인 사용자 집단을 대상으로 하는 AI 모델은 각 사용자와 맥락에 적합한 원칙에 따라 행동해야 한다. 사후 학습(post-training)이 대규모 언어 모델(LLM)이 표현하는 관점의 폭을 좁힌다는 것은 이미 밝혀졌지만, 기존 연구는 문맥 정보에 적응하는 능력보다는 기본 행동(default behavior)에 초점을 맞춰왔다. 우리는 사후 학습이 모델을 학습 과정에서 선호하도록 학습되지 않은 관점으로 문맥 내에서(in-context) 조정하는 능력 또한 저하시킨다는 것을 보인다. 통제된 실험에서, 우리는 모델을 문화적 가치 불일치의 한쪽 입장으로 파인튜닝(fine-tuning)하고 학습 전 과정에 걸쳐 체크포인트를 평가한다. 일반적인 사용 환경에서는 학습된 입장이 점점 더 우세해지는 반면, 반대 관점을 인식하고 충실하게 구현하는 능력은 저하된다. 이러한 결과는 단일한 가치 집합을 우선시하는 것과 다양한 이해관계자에게 서비스를 제공하는 데 필요한 기술적 역량을 보존하는 것 사이의 긴장 관계를 시사한다. 마지막으로, 우리는 표현된 관점에 대해 미리 정해진 분포를 따르는 제약 하에서 보상(reward)을 최대화하는 대안적 목적 함수를 제안 및 분석하고, 이를 실용적으로 구현한 방법으로서 입장 분포 매칭(stance-distribution matching)을 제시한다.

arXiv:2609.35793v2cs.LG

Pass@K와 Pass@1 사이의 격차로부터의 학습

Learning from the Gap Between Pass@K and Pass@1

여러 응답을 샘플링하고 검증기(verifier)를 통과하는 하나의 응답을 유지하는 방식은 대규모 언어 모델(LLM)이 단일 응답 능력 이상의 문제를 해결할 수 있게 하지만, 다수의 배포 환경이 단일 응답으로 답변하는 반면 이러한 탐색(search) 비용은 모든 쿼리마다 반복적으로 지불되어야 합니다. 검증된 응답을 활용한 사후 학습(post-training)은 이러한 탐색의 이점을 모델로 전이할 수 있습니다. 그러나 고정된 예산 하에서 정답 여부만을 기준으로 선택할 경우, 모델이 이미 올바르게 답변하는 문제에 슬롯을 소모하게 되어 오류를 교정하는 데 배정되는 슬롯이 줄어듭니다. 이러한 불균형을 해결하기 위해, 우리는 Pass@K와 Pass@1 사이의 격차, 즉 소스 모델이 단일 응답에서는 실패하지만 K개의 샘플 내에서는 해결하는 문제를 대상으로 학습하는 GapFT를 제안합니다. GapFT는 목적 함수와 학습 예산을 고정한 채 어떤 검증된 응답을 학습에 포함할지만을 변경합니다. 또한 정확한 분해 분석을 통해 결과적인 Pass@1의 변화를 교정된 실패와 소스 모델이 이미 해결했던 문제에서의 성능 퇴행(regression)으로 분리합니다. 세 가지 모델 계열을 대상으로 한 LogiQA 2.0 및 ReClor 실험에서, GapFT는 예산이 일치된 균일 기각 샘플링 미세조정(rejection-sampling fine-tuning, RFT) 대비 모든 환경에서 우수한 성능을 보이며 양의 통합 효과(pooled effect)를 나타냈고, Llama-3.1-8B 및 Mistral-7B에서는 전체 검증된 풀의 11~34% 문제만으로 전체 풀 미세조정 이득의 약 3분의 2에서 5분의 4를 회복합니다. 추가 분석을 통해 이러한 성능 향상은 초기 몇 개의 탐색 샘플로 회복되는 실패 사례에서 비롯되는 반면, 더 깊은 탐색을 통해서만 발견되는 실패 사례는 리플레이(replay)를 대체하여 순이득을 더하지 못한다는 점, 탐색이 도달할 수 없는 정답 레이블(gold-labeled) 실패 사례로 동일한 예산을 채우면 정확도가 떨어진다는 점, 그리고 성능 향상은 탐색이 노출하는 전이 가능한 실패 사례의 수에 의해 제한된다는 점을 밝힙니다.

arXiv:2610.01509v1cs.AI

사후 학습에서의 샤프닝 세금

Sharpening Tax in Post-Training

대규모 언어 모델(LLM)의 강화학습(RL) 사후 학습(post-training)에 관해 최근 떠오르는 가설은, 이것이 단지 베이스 모델의 기존 동작을 샤프닝(sharpening)하여 솔루션 커버리지를 희생하는 대신 단일 시도 정확도(single-shot accuracy)를 향상시킬 뿐이라는 점입니다. 이러한 상충 관계(trade-off)는 수학 및 코딩 과제에서 관찰되었으나, 멀티턴 도구 사용 및 상호작용을 위해 사후 학습 과정에서 새로 습득된 기능이 필요할 수 있는 에이전트(agent) 과제에까지 반드시 확장 적용될 필요는 없습니다. 본 연구의 놀라운 발견은 가벼운 추론(inference) 하네스를 갖춘 사전학습(pre-trained) LLM 또한 유능한 에이전트로 동작할 수 있다는 사실입니다. 훨씬 낮은 정확도(pass@1)에도 불구하고, 충분한 테스트 시간 예산이 주어지면 이들은 솔루션 커버리지(pass@K) 측면에서 종종 사후 학습된 대응 모델(post-trained counterparts)을 능가합니다. 더 나아가 기본 메커니즘을 분석하여 사후 학습이 과제를 '항상 해결됨' 또는 '전혀 해결되지 않음'이라는 두 극단으로 밀어붙이며, 이를 통해 솔루션 커버리지를 희생하면서 샘플링 효율성과 일관성을 개선한다는 점을 보여줍니다. 이러한 비용을 측정하기 위해, 사후 학습 후 테스트 시간 확장성(test-time scalability)의 손실(loss)을 정량화하는 진단 지표인 샤프닝 세금(Sharpening Tax)을 제안합니다. 4개 패밀리의 14개 베이스/사후 학습 모델(model) 쌍과 3개의 에이전트 벤치마크(총 42개 사례)에 걸쳐 평가한 결과, 이 세금은 대부분의 설정에서 만연하게 나타나며, 소수의 롤아웃만으로도 추정 가능하고 다른 지표들과도 잘 상관관계를 이룹니다. 마지막으로 프롬프트(prompt)별 샘플링 온도를 추정된 난이도에 맞게 적응시키는 간단한 플러그 앤 플레이 베이즈 샘플러인 후험 조정 그룹 샘플링(posterior-tempered group sampling, PTGS)을 제시합니다. 두 개의 에이전트 환경에서 RL 학습(training) 중에 적용했을 때, PTGS는 고정 온도 기준선(baseline)보다 더 적은 세금을 치르며, 단일 시도 정확도를 개선하는 동시에 반복 샘플링 조건에서 더 많은 과제를 해결합니다.

arXiv:2610.01352v1cs.CV

MMVistaReason: 멀티모달 추론을 위한 공개 데이터 및 사후 학습 레시피를 향하여

MMVistaReason: Toward Open-Data and Post-Training Recipes for Multimodal Reasoning

오픈 멀티모달 추론 모델은 대규모 추론 지도(supervision)를 통해 발전해 왔으나, 고르지 않은 데이터 품질, 비효율적인 지도 구성, 불균형한 난이도, 교차 도메인 간섭으로 인해 신뢰할 수 있는 사후 학습(post-training)은 여전히 까다로운 과제로 남아 있습니다. 본 연구에서는 세 가지 구성 요소로 이루어진 공개 데이터 사후 학습 레시피인 MMVistaReason(MVR)을 소개합니다: (1) 구조화된 추론 대 시각적 지각 및 공간적 그라운딩(spatial grounding)을 강조하며 상호 보완적인 분석적(Analytical) 및 실세계(Real-World) 추론 그룹 전반에 걸친 더 넓은 역량 커버리지, (2) 단계별 정제 및 주석을 통해 이종 공개 데이터를 표준화하고 난이도 인식 계단식 교사 증류와 정답 가능도(likelihood) 기반 궤적 선택을 결합하여 MVR-SFT-528K를 구축하며 스케일별 프론티어 필터링을 적용해 MVR-RL-63K를 구축하는 효율적인 SFT 및 강화학습(RL) 데이터 구성, (3) 상호 보완적인 RL 전문가를 학습(training)시키고 다중 교사 온-정책 증류(MOPD)를 통해 역량을 통합하는 '전문화 후 통합(specialize-then-integrate)' 학습. 본 연구의 분석을 통해 지도 난이도, 궤적 품질, 모델(model) 용량 간의 용량 의존적 상호작용이 밝혀졌습니다. 즉, 더 작은 학생 모델은 엄선된 지도 신호로부터 더 많은 이점을 얻는 반면, 더 큰 학생 모델은 궤적 변동 및 혼합 도메인 간섭에 강건합니다. 혼합 도메인 RL은 벤치마크 수준의 부정적 전이(negative transfer)를 유발하는 반면, MOPD는 일관된 역량 통합을 제공하며 선호되는 KL 방향은 모델 스케일에 따라 달라집니다. 15개 멀티모달 벤치마크 전반에서 MVR-4B는 평균 점수 72.8을 달성하여 MMFineReason 대비 약 70% 적은 샘플을 사용하면서도 Qwen3.5-9B(Instruct) 및 MMFineReason-8B를 능가했습니다. 9B로 스케일링하면 평균 74.4로 향상되어 Qwen3.5-35B-A3B(Instruct)를 능가합니다. 전반적으로 MMVistaReason은 체계적인 공개 데이터 구축과 용량 인식 사후 학습이 신뢰할 수 있는 멀티모달 추론을 향한 실용적이고 확장 가능한 경로를 제공함을 입증합니다.

arXiv:2610.00812v1cs.CV

비디오 생성 모델: 사후 학습 및 정렬에 관한 서베이

Video Generation Models: A Survey of Post-Training and Alignment

비디오 생성은 짧고 화질이 낮은 클립에서 복잡한 시공간적 역학을 지닌 고해상도·장시간 시퀀스로 빠르게 발전했습니다. 대규모 사전학습(pre-training)을 통해 학습된 강력한 생성 사전 지식(generative priors)에도 불구하고, 사전학습된 비디오 모델은 인간의 의도를 안정적으로 따르거나, 시간적 일관성을 유지하거나, 물리적 및 안전성 제약 조건을 만족하지 못하는 경우가 많습니다. 이미지 및 텍스트 생성과 비교할 때, 비디오 생성에서의 정렬(alignment)은 시간에 따른 오류 누적, 모션과 외형의 결합, 다중 목표 간의 트레이드오프, 시간적 속성에 대한 제한적인 지도(supervision) 등 고유한 도전 과제를 안고 있습니다. 이러한 과제들은 사전학습된 모델을 처음부터 다시 학습하지 않고 적응시키는 체계적인 사후 학습 전략의 필요성을 촉발합니다. 본 서베이에서는 비디오 생성 모델의 사후 학습 및 정렬에 대한 최초의 포괄적인 개괄을 제시합니다. 우리는 사후 학습을 통합적 프레임워크로 정의하고, 정렬 신호가 적용되는 방식에 따라 암시적 정렬과 명시적 정렬로 구분합니다. 이러한 관점에서 기존 접근 방식을 지도 미세조정 방법, 자가 학습(self-training) 및 지식 증류 방법, 선호도 및 보상 기반 방법, 추론 시점(inference-time) 방법의 네 가지 주요 범주로 정리합니다. 이 분류 체계는 정렬 신호가 학습과 배포 전반에 걸쳐 모델의 동작을 어떻게 형성하는지에 대한 일관된 관점을 제공합니다. 방법론적 진전을 넘어, 본 연구는 흔히 사용되는 데이터셋, 벤치마크, 평가 관행을 검토하며, 확장 가능한 보상 설계, 장기적(long-horizon) 시간적 일관성, 안정성-표현력 간의 트레이드오프, 안전성을 고려한 생성과 같은 미해결 과제를 논의합니다. 본 서베이는 제어 가능하고 신뢰할 수 있는 비디오 생성 모델을 발전시키기 위한 체계적인 개념적 토대와 실질적인 지침을 제공하는 것을 목표로 합니다.

arXiv:2609.16639v2cs.AI

ReDraft, 단순 증류가 아닌 참조 기반 수정: 지속적 VLLM 사후 학습

ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training

대규모 멀티모달 모델의 지속적 사후 학습은 새로운 능력을 추가하면서 사전학습에서 얻은 능력을 보존해야 하며, 두 목표는 서로 반대 방향으로 당긴다. SFT는 거의 0에 가까운 정확도에서 과제를 학습하는 명시적 타깃 지도를 제공하지만, 오프-정책 타깃이 모델을 충분히 멀리 이동시켜 망각을 유발한다. RLVR 및 자기 증류(self-distillation) 같은 온-정책 방법은 정책 근접성을 유지하지만, 정책이 아직 과제를 풀 수 없을 때는 신호를 거의 제공하지 않는다. 우리는 ReDraft(Reference-Driven Revision and Fine-Tuning, 참조 기반 수정 및 미세조정)를 제안한다. 이 방법은 모델 자신의 실패로부터 두 목표를 모두 달성한다. 전문가 응답은 참조로만 사용하고, 모델이 자신의 잘못된 롤아웃을 수정하게 한 뒤, 검증기(verifier)가 수용한 수정만 유지하고, 남은 것에 대해 미세조정한다. 따라서 유지된 각 타깃은 명시적이면서도 현재 정책에 가깝다. Counting, Clock Reading, Jigsaw에서 Qwen2.5-VL-3B/7B로 평가했으며, 이 중 두 과제는 거의 0에 가까운 정확도였다. ReDraft는 타깃 과제에서 SFT의 52.9점 대비 56.9점을 얻었고, 이전 과제 손실을 16.6점에서 1.5점으로 줄였다(망각 11.3배 감소). OPSD 대비 두 축 모두에서 개선되었다(19.3점 향상, 6.2점 손실). 데이터 및 매개변수 공간 분석은 설계와 일치한다. 수정된 타깃은 베이스 모델 하에서 더 높은 확률을 갖고, 이들이 유도하는 업데이트는 compact하며 OPSD보다 SFT 방향을 더 가깝게 따른다. 전문가 출력으로 대체하는 대신 모델 자신의 출력을 수리하는 것이 하나의 목표로 두 가지를 모두 가능하게 한다.

arXiv:2607.23771v1cs.AI

추론 시점 컨트롤러와 협력하도록 언어 모델 학습

Training Language Models to Cooperate with Inference-Time Controllers

대규모 언어 모델(LLM)의 성능은 점점 더 기본 모델뿐 아니라 추론을 구성하는 데 사용되는 추론 시점 컨트롤러에도 의존한다. 그러나 기존 사후 학습 방법은 실제 배포 환경에서는 사고의 연쇄(Chain-of-Thought), self-consistency, debate, planning, verification 파이프라인 등 다양한 컨트롤러에 의존함에도 불구하고, 일반적으로 단일 고정 상호작용 패턴에 최적화된다. 이는 학습-배포 불일치를 야기하며 새로운 워크플로에 대한 전이를 제한한다. 우리는 컨트롤러를 학습 루프에 명시적으로 배치하는 사후 학습 프레임워크인 CALM(Controller-Aware Language Models)을 제안한다. 컨트롤러 인식 사후 학습을 컨트롤러가 유도하는 상호작용 프로토콜에 대한 다중 과제 강화학습으로 공식화하며, 여기서 컨트롤러는 재사용 가능한 지역적 추론 모듈의 조합이다. 이 구조는 또한 턴 수준 GRPO 목적 함수 하에서 혼합 컨트롤러 학습의 모듈 수준 분해를 유도하여, 컨트롤러 및 모듈 인식 학습 전략의 체계적 연구를 가능하게 한다. 우리는 학습에 포함되지 않은 컨트롤러 조합과 더 넓은 컨트롤러 전환에 대해 CALM을 평가하고, 컨트롤러 인식 사후 학습이 단일 컨트롤러 최적화를 넘어 추론 시점 워크플로 전반에 걸친 일반화를 향상시킴을 보인다.

arXiv:2607.22688v1cs.AI

Co-Harness: LLM 에이전트를 위한 하네스와 모델 가중치의 공동 진화

Co-Harness: Co-Evolving Harnesses and Model Weights for LLM Agents

자동화된 AI 연구를 위한 사후 학습 에이전트는 모델 파라미터뿐 아니라, 연구 궤적이 생성·평가·학습되는 방식을 형성하는 런타임 하네스(runtime harness)도 최적화해야 한다. 기존 파이프라인은 프롬프트, 도구, 스킬, 미들웨어, 메모리를 포함한 고정 하네스 아래에서 모델을 학습하는 경우가 일반적이며, 데이터 생성 과정은 최적화 목표 밖에 둔다. 이는 모델 업데이트와 궤적 품질을 결정하는 정적 스캐폴딩(static scaffolding) 사이의 불일치를 야기한다. 우리는 사후 학습 동안 에이전트 하네스와 모델 파라미터를 공동으로 최적화하는 프레임워크인 Co-Harness를 제안한다. Co-Harness는 하네스 최적화와 모델 최적화를 교대로 수행한다. LLM 기반 HarnessCritic은 실패한 궤적을 분석하고, 하네스 수준의 실패 모드를 식별하며, 검증된 국소 업데이트(local updates)를 제안한다. 그다음 모델은 개선된 하네스가 생성한 고품질 궤적에 대해 파인튜닝(fine-tuning)되며, 효과적인 스캐폴딩을 모델 파라미터로 지식 증류(distillation)한다. 200시간 이상의 자율 사례 연구는 Co-Harness가 시스템 충돌에서 복구하고, 추론 효율을 개선하며, 인간 개입 없이 앙상블 전략을 발견할 수 있음을 추가로 보여준다. 이 결과는 고정 하네스 사후 학습을 넘어 에이전트를 개선하는 효과적인 방법으로 하네스와 모델의 공동 최적화가 있음을 시사한다.

arXiv:2607.22676v1cs.AI

LLM 과제 적응이 정렬을 어떻게 재형성하는가: 행동 및 표현 드리프트의 다차원 연구

How LLM Task-Adaptation Reshapes Alignment: A Multi-dimensional Study of Behavioral and Representational Drift

사후 학습은 대규모 언어 모델(LLM)을 하위 과제에 적응시키는 핵심 메커니즘이다. 선행 연구는 과제 적응이 모델의 기존 정렬, 특히 안전성 행동을 변경할 수 있음을 시사하지만, 정렬 도메인 전반에 걸친 그 광범위한 영향은 여전히 잘 이해되지 않는다. 우리는 지도 미세조정(SFT), KL 정규화 지도 미세조정, 검증 가능한 보상을 이용한 강화학습(RLVR)을 포함한 대표적인 과제 적응 방법을 체계적으로 평가하여 이 공백을 해소한다. 평가는 안전성, 사실성, 입장 안정성, 사회적 해로, 제어 가능성, 지시 따르기 능력(instructability)의 6개 핵심 도메인에 걸친 15가지 정렬 측면을 아우른다. 결과는 사후 학습이 정렬을 균일하게 재형성하지 않음을 보여준다. RLVR은 과제 성능을 향상시키면서 비교적 작지만 0이 아닌, 지표별 변화를 유발하는 반면, SFT는 도메인 전반에 걸쳐 훨씬 더 큰 정렬 드리프트를 초래한다. KL 정규화는 이 효과를 완화한다. 더 강한 참조 모델 앵커링은 기준선으로부터의 정렬 드리프트를 줄이지만, KL-SFT는 정렬 보존 면에서 여전히 RLVR에 미치지 못한다. 표현 수준 분석은 정렬 관련 표현의 변화가 행동적 드리프트를 따라간다는 점에서 이 패턴을 더욱 뒷받침한다. 종합하면, 이러한 결과는 과제 적응이 단순한 역량 향상 단계가 아니라 그 자체로 정렬 개입임을 보여주며, 다차원 정렬 평가를 사후 학습 파이프라인의 표준 구성 요소로 삼을 필요성을 제기한다.

arXiv:2607.13399v1cs.CL

온-정책 증류 해명: 역할, 병리, 규제

Demystifying On-Policy Distillation: Roles, Pathologies, and Regulations

온-정책 증류(on-policy distillation, OPD)는 대규모 언어 모델(LLM) 사후 학습의 핵심 패러다임이 되었지만, 그 학습 동역학은 여전히 잘 이해되지 않는다. 본 연구는 OPD의 역할, 병리, 규제를 살펴보는 체계적 연구를 제시한다. 먼저 OPD의 역할을 탐험 촉매로 명확히 한다: 밀집된 토큰 수준 지도를 통해 학생을 올바른 추론 경로로 이끌되, 능력 상한을 확장하지는 않는다. 프롬프트 다양성이 문제당 샘플링 수보다 더 중요함을 보여 이를 확인하며, 결정적으로 OPD의 효과는 전적으로 안내 신호의 품질에 달려 있음을 밝힌다. 이러한 의존성은 탐험을 탈선시키는 두 가지 병리를 드러낸다. 학생-교사 불일치(Student-Teacher Mismatch)는 큰 교사-학생 분포 격차가 안내 신호를 과제 정확성과 어긋나게 하여, 생산성 없는 방향으로 탐험을 이끌 때 발생한다. 길이 활용(Length Exploitation)은 집계된 토큰 수준 목표가 길이에 의존하는 지름길을 만들어, 학생이 응답 절단 또는 불필요한 패딩을 통해 보상 landscape를 우회할 수 있게 하고, 추론 전략이 아닌 퇴화된 길이 모드를 탐험하게 한다. 이러한 병리를 억제하기 위해, advantage clipping과 log-scale compression과 같은 경량 신호 규제를 조사하여, 탐험이 충실한 신호에 의해 안내되도록 한다. 7개 벤치마크에 걸친 실험은 이러한 규제가 길이 활용을 완화하고 효과적인 지식 증류를 가능하게 하며, OPD 변형과 RLVR 베이스라인을 안정적으로 능가함을 보여준다. 이를 통해 단순한 교사 규모가 아니라 잘 규제된 신호 품질이 OPD에서 성공적인 탐험을 좌우함을 확인한다.

arXiv:2510.26707v2cs.CL

가치 표류: LLM 사후 학습 중 가치 정렬 추적

Value Drifts: Tracing Value Alignment During LLM Post-Training

대규모 언어 모델(LLM)이 사회에서 점점 더 중요한 역할을 차지함에 따라, 모델은 일반 지식에 의존하는 것뿐만 아니라 특정 인간 가치 체계에 부합해야 하는 질문들을 점점 더 자주 마주하게 된다. 따라서 LLM의 인간 가치와의 정렬(alignment)을 연구하는 것은 중요한 연구 분야가 되었다. 그러나 기존 연구는 대부분 완전히 학습된 모델의 정렬을 평가하는 데 초점을 맞추어, 모델이 인간의 가치를 표현하도록 학습되는 학습 역학을 간과해 왔다. 본 연구에서는 모델의 사후 학습 과정에서 가치 정렬이 어떻게, 그리고 어느 단계에서 발생하는지 조사한다. 우리의 분석은 사후 학습 알고리즘과 데이터셋의 효과를 분리하여, 학습 중 가치 표류의 크기와 시점을 측정한다. 서로 다른 크기의 Llama-3 및 Qwen-3 모델과 널리 사용되는 지도 미세조정(SFT) 및 선호도 최적화 데이터셋과 알고리즘으로 실험한 결과, SFT 단계가 일반적으로 모델의 가치를 확립하며, 이후의 선호도 최적화는 이러한 가치를 거의 재정렬하지 않는다. 또한 가치를 통제된 방식으로 조작할 수 있는 합성 선호도 데이터셋을 사용하여, 선호도 데이터를 일정하게 유지하더라도 서로 다른 선호도 최적화 알고리즘이 서로 다른 가치 정렬 결과로 이어진다는 것을 발견했다. 우리의 발견은 사후 학습 중 가치가 어떻게 학습되는지에 대한 실행 가능한 통찰을 제공하며, 데이터 큐레이션과 인간 가치에 대한 모델 정렬을 개선하기 위한 모델 및 선호도 최적화 알고리즘 선택에도 도움이 된다.

arXiv:2607.13389v1cs.LG

RL 사후 학습 연산은 어디에 배분해야 할까? 모델 크기, 탐색, 학습, 피드백

Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback

강화학습(RL) 사후 학습은 추론, 계획, 그리고 피드백 기반 로봇 학습 파이프라인에 기반 모델을 적응시키는 데 점점 더 많이 사용되지만, 제한된 사후 학습 자원은 종종 단일 총 FLOP 예산으로 요약된다. 우리는 이러한 관행 뒤에 있는 고정 예산 의사결정 문제를 연구한다: 같은 사후 학습 예산 하에서 더 큰 정책을 쓸 것인지, 더 작은 정책을 더 오래 학습할 것인지, 더 많은 롤아웃 탐색을 생성할 것인지, 아니면 연산을 더 강력한 보상 피드백에 쓸 것인지. 우리는 GRPO 사후 학습을 위한 FLOP 회계 프레임워크를 도입하며, 이는 연산을 롤아웃/탐색, 정책 업데이트/학습, 그리고 보상 또는 피드백 모델 평가로 분해한다. LoRA로 적응된 Qwen2.5 정책들에 걸쳐, 우리는 조건부 할당 프론티어를 발견한다: 관측된 최적 할당은 모델 크기, 연산 예산, 보상 시스템, 평가 대상에 따라 달라진다. 동일 FLOP 모델 크기 비교는 모델 선택과 학습 할당이 결합되어 있음을 보여준다. 더 큰 정책이 토큰당 더 많은 연산을 소비하기 때문에 같은 예산 하에서 더 적은 업데이트나 롤아웃을 확보할 수 있기 때문이다. 보상 시스템도 회계를 바꾼다: 규칙 기반 보상은 업데이트 외 연산의 거의 전부를 정책 롤아웃에 쓰는 반면, PRM 스타일 피드백은 예산의 눈에 띄는 부분을 보상 모델 추론에 할당한다. 우리는 비용이 큰 검증 실행 이전에 할당 체제를 식별하기 위한 진단용 파일럿 그리드 프로토콜로서 RACE를 제시한다. 이는 홀드아웃 개선을 보장하지는 않는다. 우리 결과는 RL 사후 학습 논문들이 총 FLOP와 함께 연산이 모델 크기, 탐색, 학습, 피드백 사이에서 어떻게 분배되는지를 보고해야 함을 시사한다.

arXiv:2607.08072v2cs.CV

엔드투엔드 자율 주행에서의 사후 학습

Post-Training in End-to-End Autonomous Driving

멀티모달 입력을 미래 궤적/기동에 직접 매핑하는 엔드투엔드 모델은 자율 주행 분야에서 점점 더 두드러진 연구 패러다임으로 부상하고 있다. 이러한 모델군에는 비전-언어-행동(Vision-Language-Action) 모델과 궤적 생성형 플래너(trajectory-generative planner)가 모두 포함된다. 전통적인 머신러닝 응용과 달리, 자율주행차는 안전이 핵심인(safety-critical) 환경과 상호작용이 빈번한(interaction-intensive) 환경에서 작동하며, 전문가 시연에 대한 전통적인 개방 루프(open-loop) 모방만으로는 신뢰성을 보장하기에 충분하지 않다. 특히 작은 실행 오류는 시간에 따라 누적될 수 있고, 복구 행동(recovery behaviors)은 학습 데이터에서 매우 드물다. 또한 안전과 주행 편안함과 같은 장기(long-horizon) 목표는 점별(pointwise) 레이블로도 포착되지 않는다. 이러한 한계는 순수 모방을 넘어 주행 정책(driving policy)을 추가로 정교화하는 사후 학습 기법으로의 전환을 이끌었다. 본 서베이는 자율 주행 사후 학습의 범위를 정의하고, 사용하는 감독(supervision) 형태에 따라 기존 문헌을 4가지 주요 계열로 체계화함으로써 통합적 관점을 제시한다. 각 계열마다 역량, 한계, 미해결 과제를 논의한다. 우리는 이 신흥 분야에 대한 체계적 이해를 촉진하고, 자율 주행을 위한 신뢰할 수 있고 효율적인 사후 학습에 관한 향후 연구를 활성화하는 것을 목표로 한다. 관련 논문 모음은 https://github.com/RYNing/Awesome-Post-Training-In-Autonomous-Driving-Papers 에서 확인할 수 있다.

arXiv:2607.05711v1cs.LG

FourTune: 확산 모델을 위한 완전한 4비트 효율적 사후 학습을 향하여

FourTune: Towards Fully 4-Bit Efficient Post-Training for Diffusion Models

FourTune은 확산 모델의 사후학습에서 메모리 부족과 낮은 학습 속도 문제를 해결하기 위해 가중치·활성화·그라디언트를 모두 4비트로 양자화하는 W4A4G4 엔드-투-엔드 프레임워크를 제안한다. 고정된 수치 안정자(numerical stabilizer)를 포함한 삼중 분기 파이프라인과 블록 단위 양자화 및 커스텀 퓨전 커널을 결합하여, FLUX.1-dev(12B) 기준 BF16 LoRA 대비 메모리를 2.25배 절감하고 학습 처리량을 2.27배 향상시키면서 전체 정밀도 파인튜닝과 동등한 생성 품질을 달성했다.

arXiv:2604.00860v5cs.LG

정책 개선 강화학습

Policy Improvement Reinforcement Learning

기존 RL 사후학습 방법들이 현재 배치의 보상으로만 정책을 업데이트하는 개루프(open-loop) 구조의 한계를 지적하며, 반복 간 성능 향상 자체를 명시적 목표로 삼는 PIRL(Policy Improvement Reinforcement Learning) 프레임워크와 이를 기반으로 한 폐루프(closed-loop) 플러그인 알고리즘 PIPO를 제안한다. PIPO는 슬라이딩 윈도우 방식의 과거 성능 앵커와 비교해 업데이트 효과를 검증하고, PPO·GRPO·SDPO 등 다양한 정책 최적화 계열에서 수학적 추론, 코드, 도구 사용 태스크 전반에 걸쳐 일관된 성능 향상을 달성했다.

arXiv:2607.03065v1cs.LG

탐험, 정제, 모델 병합을 위한 스펙트럴 리와이어링

Spectral Rewiring for Exploration, Purification, and Model Merging

강화학습 사후학습(RL post-training)의 추론 효과적 성분이 기반 모델의 스펙트럴 공간에 집중되어 있다는 관찰을 바탕으로, SAR(Subspace-Aligned Rewiring)은 전체 파라미터 업데이트를 기반 모델의 SVD 부분공간에 사영하여 전체 파라미터의 약 0.58%만으로 사후학습 성능의 99% 이상을 보존하는 간결한 추론 핵심을 추출한다. 이 방법은 학습 없이(training-free) 적용 가능하며, 수학적 추론의 탐험(exploration) 개선, 혼합 도메인 학습에서의 간섭 제거, 전문가 모델 병합 시 단일 도메인 전문가 모델을 능가하는 교차 도메인 일반화를 동시에 달성한다.

arXiv:2607.03478v1cs.AI

조건부 정책 혼합을 통한 일반화 실패 시연

Demonstrating Generalization Failures via Mixtures of Conditional Policies

프론티어 언어 모델의 사후 학습(post-training)은 선별된 태스크 스위트에서 수행되며, 이로 인해 학습 환경과 배포 환경 사이에 불가피하게 분포 이동(distribution shift)이 발생한다. 이는 개발자를 일반화 실패에 노출시키는데, 이 현상은 아직 충분히 이해되지 않고 있다. 이러한 일반화 실패를 보다 잘 이해하기 위해, 우리는 연구 커뮤니티가 단순화된 조건 하에서 명확한 시연 사례를 구성해야 한다고 본다. 이를 위해, 주어진 학습 태스크 분포에 대해 강화학습(RL)으로 추가 학습 시 제어 가능한 방식으로 일반화에 실패하는 언어 모델을 구성하는 간단하고 유연한 방법을 제안한다. 우리의 구성 방법은 '조건부 정책(conditional policies)' 집합에 해당하는 대화록의 혼합 데이터셋에 대한 지도 미세조정(Supervised Fine-Tuning)을 사용하며, 각 조건부 정책은 서로 다른 태스크 분포에서 독립적으로 특정 행동을 할당받아 '조건부 정책 혼합(mixture of conditional policies)'으로 잘 근사되는 모델을 얻는다. 이후 RL 학습은 학습 분포에서 가장 높은 보상(reward)을 획득하는 정책을 선택한다는 사실을 관찰하였다. 이는 두드러진 행동을 유발할 수 있는데, 동일한 질문 앞에 서로 다른 두 '트리거 문자열'을 붙인 두 분포로 구성된 통제 실험에서, 어느 한 분포에 대한 RL 학습이 기저 태스크가 동일함에도 불구하고 다른 분포에서의 성능을 능동적으로 0으로 저하시켰다. 또한 우리의 구성 방법을 활용하여, 각각 태스크 커버리지와 시간적 컨텍스트의 분포 이동에 해당하는, 미래 언어 모델에서 일반화가 실패할 수 있는 두 가지 새로운 방식을 제시한다. 우리의 구성은 의도적으로 단순하게 설계되었으며 '자연적인' 일반화 실패와 밀접하게 유사하지 않을 수 있지만, 결과로 얻어진 '모델 유기체(model organisms)'는 정렬(alignment) 스트레스 테스트와 일반화 과학에 유용하며, 학습 성공과 일반화가 구조적인 방식으로 분리될 수 있다는 존재 증명으로 활용될 수 있다.

arXiv:2607.01232v2cs.LG

Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

대규모 언어 모델(LLM)의 강화학습(RL) 사후학습에서 성능 향상이 트랜스포머 레이어 전체에 균등하게 분포한다는 기존 가정에 도전하며, 단일 레이어만 학습해도 전체 파라미터 RL 학습 성능의 대부분을 회복하거나 능가할 수 있음을 체계적 실험으로 규명했다. Qwen3, Qwen2.5 등 7개 모델과 GRPO, GiGPO, Dr. GRPO 세 가지 알고리즘에 걸쳐 고기여 레이어가 일관되게 트랜스포머 스택 중간부(전체 깊이의 40~60%)에 집중된다는 구조적 패턴을 발견하고, 이를 활용한 레이어 인식 학습 전략이 표준 전체 파라미터 RL을 지속적으로 능가함을 보였다.