PyTorchKR Papers

최신 논문

총 4,526편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.02703v1cs.AI

구간별 온-정책 증류를 통한 추론 수정 학습

Learning to Revise Reasoning with Segment-wise On-Policy Distillation

온-정책 증류(On-policy distillation, OPD)는 교사(teacher) 모델로부터 밀집된 토큰별(token-wise) 지도 신호를 받아 학생(student) 모델이 자체적으로 생성한 롤아웃(rollout)을 기반으로 학습함으로써 대규모 언어 모델(LLM)의 추론 능력을 향상시킵니다. 그러나 토큰 단위의 OPD는 학생의 추론 단계를 어떻게 수정하여 이후의 추론을 개선할 수 있는지를 보여주는 일관된 대안적 추론 단계를 명시적으로 제공하지 못합니다. 또한, 학생 모델이 퇴행적인 추론 접두 문맥(prefix)을 생성할 경우, 이후의 교사 지도 역시 해당 접두 문맥에 조건화되어 전달되므로 잘못된 추론 패턴을 강화할 수 있어 이러한 패러다임의 효과가 저하될 수 있습니다. 본 연구에서는 중간 추론 단계를 수정하고 후속 추론을 더 잘 뒷받침할 수 있도록 구간별(segment-wise) OPD를 통한 추론 수정 학습에 주목합니다. 통제된 추론 개입 실험을 통해, 학생의 구간을 교사의 재작성본(redraft)으로 대체하면 후속 추론 정확도가 향상된다는 점을 확인했습니다. 따라서 교사의 재작성본을 추론 수정 학습을 위한 명시적 지도 신호로 전환하는 문제를 다룹니다. 본 논문에서는 불확실성 지표를 기반으로 학생 구간을 선택하고 이에 대응하는 교사의 재작성본을 획득하는 구간별 온-정책 증류(Segment-wise On-Policy Distillation, Seg-OPD)를 제안합니다. Seg-OPD는 밀집된 토큰 단위 OPD 지도 신호를 유지하면서, 학생 모델이 쌍을 이루는 자신의 구간보다 교사의 재작성본을 더 선호하도록 학습시킵니다. 수학적 추론 및 경쟁 프로그래밍 태스크에 대한 광범위한 실험 결과, Seg-OPD로 학습된 학생 모델은 베이스라인 대비 더 높은 수정 성공률을 달성했습니다. Seg-OPD는 다양한 모델과 태스크에 걸쳐 평균 5.22%의 상대적 개선율을 보이며 비교 대상인 최신 베이스라인들보다 일관되게 우수한 추론 정확도를 달성했습니다. 코드는 https://anonymous.4open.science/r/Seg-OPD 에서 이용할 수 있습니다.

arXiv:2610.02678v1cs.AI

교사 토큰을 필요한 곳에 집중하기: 성공 참조 온-정책 지식 증류

Spend Teacher Tokens Where They Matter: Success-Referenced On-Policy Distillation

온-정책(on-policy) 지식 증류(OPD)는 학생이 생성한 롤아웃(rollout)과 교사의 조밀한 토큰 수준 감독을 결합하지만, 모든 롤아웃에 이러한 감독을 제공하려면 상당한 교사 연산량이 요구됩니다. 본 연구에서는 교사의 감독을 받을 프롬프트(prompt)와 롤아웃을 선별함으로써 이러한 비용을 줄이는 성공 참조 온-정책 지식 증류(SR-OPD)를 소개합니다. 동일한 프롬프트에 대해 학생이 성공한 롤아웃과 실패한 롤아웃을 모두 생성할 때, 성공한 롤아웃은 실패한 롤아웃을 선별하는 자연스러운 기준점이 될 수 있습니다. 따라서 SR-OPD는 이러한 프롬프트에 집중하며, 추정된 교사 입력 비용을 고려하는 동시에 성공적인 참조로부터 은닉 상태 궤적(hidden-state trajectory)의 지속적인 발산(divergence)을 보이는 실패 롤아웃을 우선적으로 선택합니다. 3가지 교사-학생 쌍과 6가지 수학적 추론 벤치마크에 걸쳐, SR-OPD는 원-패스(one-pass) 설정에서 바닐라 OPD(Vanilla OPD)가 필요로 하는 교사 입력 토큰의 3.46~5.02%만을 사용하면서도 대등한 추론 성능을 유지합니다. 바닐라 OPD의 교사 입력 예산 5%에 맞춘 통제된 설정에서의 추가 실험은 성공과 실패 롤아웃을 모두 포함하는 프롬프트에 감독을 집중시키는 것과 성공한 롤아웃을 활용해 실패 선별을 유도하는 것 모두의 핵심 설계 선택을 뒷받침합니다. 이러한 결과는 고정된 교사 입력 예산 하에서 교사의 감독을 할당할 때 학생 자신의 성공적인 행동이 유용한 기준점이 될 수 있음을 보여줍니다.

arXiv:2610.02638v1cs.AI

디코딩 없는 배치 음성 의사결정: 단일 토큰 감독을 통해 동결된 LLM이 전사본 너머의 음성을 듣게 하다

Batched Speech Decisions Without Decoding: Single-Token Supervision Lets a Frozen LLM Hear Beyond the Transcript

전이중(Full-duplex) 음성 에이전트는 작고 닫힌 형태의 수많은 의사결정을 수행하지만, 현재 시스템들은 느린 자기회귀 디코딩(autoregressive decoding)을 통해 이를 처리합니다. 본 논문에서는 ASR 인코더의 은닉 상태를 소형 커넥터를 통해 동결된 대규모 언어 모델(frozen LLM)에 입력하고, 각 질문을 선택지에 대한 단일 토큰 분포로 읽어내는 DuplexJev를 제안합니다. 디코딩 과정을 전혀 거치지 않으며, 8-GPU 노드 하나로 8개 발화에 대한 80개의 의사결정을 약 0.1초 만에 수행합니다. 마지막 층 커넥터를 사용했을 때 음성 질의응답(spoken QA) 성능은 텍스트 전사본을 직접 읽는 것과 유사한 수준을 유지합니다(90% 대 91%). 또한 DuplexJev는 화자의 음성 특성도 포착하여, 교차 어텐션 커넥터를 사용할 경우 음성 질의응답 성능 저하는 단 1%포인트(83%에서 82%)에 불과하면서도 성별 및 감정 인식 정확도는 모두 90%에 도달합니다(기존 55% 및 28%에서 상승). 본 연구에서는 교사 모델이 음성을 듣지 못하는 통상적인 전사본 지식 증류 대신, 판독된 정답 토큰에 교차 엔트로피를 적용하여 의사결정을 학습하고 콘텐츠 전달을 위해 증류를 유지합니다. 인코더와 LLM은 상호 교체 가능하며, 가중치, 학습 레시피, 전이중 서빙을 위한 배치 추론 파이프라인, 이중언어 음성 질의응답 데이터셋을 함께 공개합니다.

arXiv:2608.22364v2cs.AI

WAM-OPD: 온-정책 증류를 통한 월드 액션 모델 사후 학습을 위한 비디오-액션 공동 지도

WAM-OPD: Joint Video-Action Supervision for World Action Model Post-Training with On-Policy Distillation

월드 액션 모델(World Action Model, WAM)은 미래 비디오와 로봇 액션을 모두 생성하여 사후 학습(post-training) 지도를 위한 두 가지 연결된 출력을 제공합니다. 사전 학습된 WAM은 실행 중에 마주치는 이력에 대해 더 강력한 교사(Teacher) 모델로부터 어떻게 학습할 수 있을까요? 본 논문에서는 학생(Student) 모델의 롤아웃(rollout) 이력을 수집하고 교사 모델에 쌍을 이루는 비디오 및 액션 타깃을 질의하는 WAM-OPD를 제시합니다. 학생 모델은 배포 시 1단계 비디오 및 액션 생성을 유지하면서 두 타깃 모두로부터 학습합니다. 12개의 RoboTwin 2.0 태스크 전반에서 WAM-OPD는 평균 성공률을 33.8%에서 65.7%로 향상시켰으며, 4개의 실제 로봇 태스크에서는 평균 성공률을 51.4%에서 64.6%로 끌어올렸습니다. 수집된 학생 모델의 이력을 고정한 상태에서, 비디오-액션 공동 지도는 세 가지 절제 연구 태스크 모두에서 가장 높은 관찰 성공률을 달성한 반면, 두 모달리티 중 어느 하나만 단독으로 사용해도 성능이 향상되었습니다. 교사 모델이 생성한 이력과의 별도 비교에서는 두 이력 출처 간에 태스크에 따른 차이가 있음을 확인했습니다. 이러한 결과는 배포 시의 샘플링 예산을 늘리지 않고도 WAM 정책을 개선하는 데 있어 쌍을 이루는 비디오-액션 지도의 유용성을 입증합니다.

arXiv:2502.03979v3cs.SD공식 코드 · Papers with Code

차원 및 범주형 모델 전반의 통합 음악 감정 인식을 향하여

Towards Unified Music Emotion Recognition across Dimensional and Categorical Models

음악 감정 인식(MER)에서 가장 중요한 과제 중 하나는 감정 라벨이 범주형(예: 행복, 슬픔) 라벨과 차원형(예: valence-arousal) 라벨을 포함하여, 감정 표현 방식 측면에서 데이터셋마다 이질적일 수 있다는 점에서 기인합니다. 본 논문에서는 이 두 가지 유형의 라벨을 결합하여 여러 데이터셋에서 학습될 수 있는 통합 멀티태스크 학습 프레임워크를 제안합니다. 이 프레임워크는 음악적 특징(즉, 조(key) 및 코드)과 MERT 임베딩을 결합한 효과적인 입력 표현을 사용합니다. 또한, 개별 데이터셋에서 학습된 교사 모델의 지식을 학생 모델로 전이하기 위해 지식 증류를 적용하여 여러 태스크에 걸친 일반화 능력을 향상시킵니다. 제안된 프레임워크를 검증하기 위해 MTG-Jamendo, DEAM, PMEmo, EmoMusic을 포함한 다양한 데이터셋에서 광범위한 실험을 수행했습니다. 실험 결과에 따르면 음악적 특징의 포함, 멀티태스크 학습, 지식 증류가 성능을 크게 향상시키는 것으로 나타났습니다. 특히 본 모델은 MTG-Jamendo 데이터셋에서 MediaEval 2021 대회의 최고 성능 모델을 포함한 최신(SOTA) 모델들을 능가합니다. 본 연구는 범주형 및 차원형 감정 라벨을 하나의 통합 프레임워크로 결합할 수 있게 하여 데이터셋 전반의 학습을 가능하게 함으로써 MER 분야에 유의미한 기여를 합니다.

arXiv:2610.03543v1cs.CV

DuoMatching: 소수 스텝 비디오 생성을 위한 결합-주변 분포 매칭

DuoMatching: Joint-Marginal Distribution Matching for Few-Step Video Generation

스트리밍 비디오 생성은 실제 비디오 분포에 대한 비디오 교사(teacher) 모델의 근사치에 비디오 프레임의 결합 분포(joint distribution)를 맞추는 분포 매칭 증류(DMD)의 이점을 활용해 왔습니다. 이러한 결합 매칭은 자기회귀 롤아웃 과정에서 발생하는 드리프트를 완화하지만, 시각적 품질과 의미론적 정렬(semantic alignment) 측면에서는 여전히 한계가 존재합니다. 이러한 한계를 해결하기 위해, 우리는 통합된 결합-주변(joint-marginal) 정식화를 통해 실제 비디오 분포를 근사하는 분포 매칭 프레임워크인 DuoMatching을 제안합니다. 기존의 결합 매칭 정식화 위에 추가적인 주변 매칭 목표를 도입하여 이미지 생성기로부터 전용 프레임 수준의 지도(supervision)를 제공함으로써, 상호 보완적인 시각적 및 의미론적 사전 정보(priors)를 전이합니다. 비디오 생성에 이러한 프레임 수준의 지도를 적용하기 위해, 비디오 학생(student)과 이미지 교사 모델 간의 잠재 표현(latent representation) 불일치를 해결하는 LatentBridge를 도입합니다. 또한 Latent Variation Sampling은 이러한 프레임 수준 지도를 서로 다른 시간 세그먼트에 분산시켜 중복성을 줄입니다. 실험을 통해 DuoMatching이 모션 동역학을 대부분 유지하면서 시각적 품질, 구도, 의미론적 정렬을 향상시킴을 입증했습니다. 사람 평가(human evaluation)에서는 평가된 모든 베이스라인 대비 80% 이상의 전반적인 선호도를 기록했습니다. 프로젝트 페이지는 https://johnzhan2023.github.io/DuoMatching/ 에서 확인할 수 있습니다.

arXiv:2610.03221v1cs.CV

VDOT++: 불균형 최적 수송 증류를 통한 통합 소수 단계 비디오 생성

VDOT++: Unified Few-Step Video Generation via Unbalanced Optimal Transport Distillation

비디오 생성은 텍스트-비디오(T2V), 이미지-비디오(I2V), 조건 기반 생성을 아우르지만, 비디오 확산 모델은 샘플링 과정에서 대규모 백본을 반복적으로 평가해야 하므로 여전히 많은 비용이 듭니다. 분포 매칭 증류(DMD)는 이러한 비용을 줄여주지만, 학생(student)과 교사(teacher) 분포 간의 중첩이 제한적일 때 역 쿨백-라이블러(KL) 발산 목표가 불안정하거나 불완전한 유도를 제공할 수 있습니다. VDOT은 명시적 결합을 통해 조건 기반 생성에 기하학적 방향을 제공하는 최적 수송 증류(OTD)를 추가하여 이 문제를 해결했습니다. 그러나 균형 OTD는 상응하는 각 학생-교사 프레임 쌍의 공간 토큰 간에 전체 질량 매칭을 수행합니다. 하나의 조건이 여러 유효한 출력을 허용하고 서로 다른 구현 간에 공간적 내용이 일치할 필요가 없는 T2V 및 I2V에서는 이러한 가정이 약화됩니다. 본 논문에서는 세 가지 태스크 군의 생성기에 동일한 학습 레시피를 개별적으로 적용하는 통합 증류 프레임워크인 VDOT++를 제시합니다. VDOT++는 교사 토큰의 커버리지를 유지하면서 신뢰할 수 없는 학생 토큰이 더 적은 질량을 갖도록 허용하는 비대칭 불균형 정식을 통해 출력 다양성에 견고하도록 OTD를 개선합니다. 또한 $\ell_1$ 지상 비용(ground cost)은 평균 기반 집계를 보다 모드를 잘 보존하는 가중치 중앙값으로 대체하여 먼 수송 대상의 영향을 제한합니다. 이 두 가지 변화는 각각 누구와 매칭할지, 그리고 선택된 대상을 어떻게 집계할지를 결정합니다. 아울러 순차적 역전파를 통해 분포 매칭과 적대적 개선을 결합하고, 더 큰 스코어 네트워크가 소형 생성기를 개선하는 교차 스케일 증류를 위해 분리된 스코어 네트워크를 활용합니다. UVCBench, VBench, VBench-I2V 및 VACE 벤치마크에 대한 실험 결과, 이를 통해 도출된 4단계 생성기가 세 가지 태스크 군 모두에서 다단계 교사 모델 및 강력한 소수 단계 베이스라인과 견줄 만한 성능을 보임을 입증합니다.

arXiv:2610.02903v1cs.CV

ViTok: PHI-S 및 마스크드 이미지 모델링을 활용한 AM-RADIO 스타일 다중 교사 지식 증류에서의 조밀한 의미론 개선

ViTok: Improving Dense Semantics in AM-RADIO-Style Multi-Teacher Distillation with PHI-S and Masked Image Modelling

본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.

arXiv:2610.02597v1cs.CV

GRAFT: 지속적 교사 지식 증류를 통한 응집형 파운데이션 모델의 점진적 확장

GRAFT: Growing Agglomerative Foundation Models via Continual Teacher Distillation

DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.

arXiv:2609.39223v2cs.LG

QATFactory: LLM의 양자화 인식 학습 및 증류를 위한 다목적 배포 정렬 프레임워크

QATFactory: A Versatile, Deployment-Aligned Framework for Quantization-aware Training and Distillation of LLMs

대규모 언어 모델(LLM) 추론은 하드웨어 가속기의 처리량을 최대한 활용하기 위해 점차 저정밀도로 전환되고 있으나, 공격적인 사후 학습 양자화(PTQ)는 모델 성능을 저하시킬 수 있습니다. 본 논문에서는 배포 환경에 정렬된 양자화 인식 증류(QAD) 및 강화학습(QARL)을 위한 오픈소스 프레임워크인 QATFactory를 제시합니다. QATFactory는 BF16으로 행렬 곱셈을 수행하면서 배포 시점의 양자화를 시뮬레이션하므로, 목표 포맷을 네이티브로 지원하는 학습 하드웨어 없이도 모델이 양자화 노이즈에 적응할 수 있도록 합니다. 예를 들어 FP4 텐서 코어가 없는 H100 GPU에서도 NVFP4 학습을 지원합니다. 이 프레임워크는 NVFP4, MXFP4, 그리고 $\text{llama}.\text{cpp}$의 Q4_K 포맷을 지원하며, 밀집(dense) 및 전문가 혼합(MoE) 모델과 전체 매개변수 및 LoRA 기반 학습을 모두 지원합니다. 또한 추가적인 손실 변환 단계나 추론 오버헤드 없이 체크포인트를 vLLM 및 $\text{llama}.\text{cpp}$로 직접 내보냅니다. QATFactory를 활용하여 8B부터 230B 매개변수에 이르는 모델을 대상으로 광범위한 실험을 수행하고 프로덕션 추론 엔진에서 내보낸 체크포인트를 평가했습니다. 다양한 모델과 포맷 전반에서 QAD는 강력한 PTQ 베이스라인 대비 배포된 모델의 품질을 일관되게 향상시킵니다. Qwen3.5-9B의 경우, QAD는 NVFP4 환경에서 68.9%, MXFP4 환경에서 66.0%의 평균 벤치마크 정확도를 달성하여 가장 우수한 PTQ 결과인 각각 65.4%와 56.4%를 능가했습니다. 실험을 통해 두 FP4 포맷 모두 배포 시 가중치와 활성화를 양자화함에도 불구하고 최적의 학습 전략은 포맷에 따라 다르다는 점을 발견했습니다. NVFP4는 학습 중 가중치만 양자화할 때 전반적으로 더 나은 성능을 보이는 반면, MXFP4는 가중치와 활성화를 모두 양자화할 때 이점을 얻습니다. 고정된 학습 토큰 예산에서, 더 많은 4K 시퀀스로 학습하는 것보다 더 적은 수의 32K 시퀀스로 학습할 때 평균 정확도가 1.9%포인트 향상됩니다.

arXiv:2609.31882v2cs.LG

DOHF: 둡의 $h$-변환 가이던스를 활용한 온라인 확산 모델 미세조정

DOHF: Online Diffusion Fine-tuning with Doob's $h$-transform Guidance

보상(reward) 기반 확산 모델 미세조정(diffusion fine-tuning)은 바람직한 결과가 드물게 발생하거나 조건부 보정(conditioning correction)을 추정하는 데 많은 비용이 들 때 실질적인 한계에 직면합니다. 본 연구에서는 둡의 $h$-변환(Doob's $h$-transform)을 실용적인 온라인 학습 알고리즘으로 전환한 DOHF(Diffusion Online $h$-guidance Fine-tuning)를 제안합니다. DOHF는 생성된 샘플에 최적성 가중치를 부여하고, 현재 롤아웃(rollout) 정책 하에서 정규화된 국소 보정치 $\nabla\log h$를 추정한 후, 이를 생성 모델(generative model)에 직접 증류(distill)합니다. 이론적으로는 통일된 $h$-변환 관점을 통해 모집단 최적 DiffusionNFT 업데이트와 다양한 분류기 없는 가이던스(classifier-free guidance) 기법들을 규명합니다. 방법론적으로 본 프레임워크는 추가적인 네트워크 평가 없이도 블랙박스 및 미분 불가능한 보상을 수용할 수 있습니다. 나아가 세 가지 실험적 시나리오에서 향상된 정렬(alignment) 성능을 입증합니다. 본 연구는 저비용 추정과 반복적 증류를 통한 확률적 조건화의 적용이 통계적 샘플링 및 시각적 생성 전반에서 생성 학습을 어떻게 개선할 수 있는지를 보여줍니다.

arXiv:2604.20733v2cs.LG

가까운 미래로부터의 학습: RLVR을 위한 시간적 자기 증류

Learning from the Near Future: Temporal Self-Distillation for RLVR

검증 가능한 보상을 활용한 강화학습(RLVR)은 추론 모델을 위한 핵심 사후 학습(post-training) 기법이지만, 유용한 궤적을 발견하기 어렵거나 탐험(exploration)이 좁아질 때 순수 온-정책(on-policy) 학습은 비효율적일 수 있습니다. 기존의 자기 유도 방식들은 대체로 현재 또는 이전 단계의 학습자가 이미 보유한 역량을 재사용합니다. 우리는 그 대신 학습 과정 후반에 발현되는 역량 역시 학습에 활용할 수 있는지 질문을 던집니다. 모델이 자신의 미래 자아로부터 학습할 수 있을까요? 본 논문에서는 정책이 자신보다 더 강력한 이후 시점의 체크포인트로부터 지침을 받는 시간적 자기 증류(temporal self-distillation)를 제안합니다. 우리는 가장 유용한 시간적 교사가 반드시 가장 강력한 교사일 필요는 없다고 가설을 세웠습니다. 즉, 교사는 충분히 새로운 역량을 제공하는 동시에 해당 역량이 쉽게 전이될 수 있을 만큼 호환성을 유지해야 하며, 이는 가까운 미래 체제(near-future regime)의 필요성을 시사합니다. 우리는 상호 보완적인 두 가지 메커니즘을 통해 이 원리를 연구합니다. Near-Future Policy Optimization(NPO)은 검증된 미래 자아의 궤적을 사용하여 오프-정책(off-policy) 행동 전이를 수행하는 반면, Near-Future Policy Distillation(NPD)은 학습자가 생성한 궤적에서 온-정책 토큰 수준 전이를 수행합니다. 또한, 시간적 지침이 유용한 시점과 롤백할 거리를 적응적으로 결정하여 미래 자아 지침을 반복적인 자기 부트스트랩 과정으로 전환하는 AutoNPO를 추가로 제안합니다. 8개의 이미지-텍스트 벤치마크 전반에서 NPO는 GRPO 성능을 60.25에서 62.84로 향상시키고 AutoNPO는 63.15에 도달했으며, 텍스트 전용 및 비디오 추론에서도 일관된 성능 향상을 보였습니다. NPD 환경에서 가까운 미래 교사는 증류 직후의 성능이 더 낮음에도 불구하고 지속적인 강화학습 후 63.23에 도달하여 먼 미래 교사의 61.92를 넘어섰습니다. 종합적으로 이러한 결과는 효과적인 시간적 자기 증류가 단순히 교사의 능력치에만 의존하는 것이 아니라, 새롭게 획득한 역량과 학습자와의 호환성 간의 균형에 달려 있음을 시사합니다.

arXiv:2610.01278v1cs.AI

SCOPE-AD: 진단 에이전트를 위한 에너지 기반 모델 기반 순차적 비용 인지 순서-신념 계획

SCOPE-AD: Sequential cost-aware ordinal-belief planning with energy-based models for diagnostic agents

알츠하이머병(AD) 진단은 서로 다른 검사 비용과 환자 부담 속에서 순차적인 증거 수집을 필요로 합니다. 고정된 양식(fixed-modality)을 사용하는 예측 모델은 어떤 검사를 수집해야 할지, 혹은 언제 확보된 증거가 진단에 충분한지를 함께 결정하지 못합니다. 본 논문에서는 인지 정상(CN), 경도 인지 장애(MCI), 알츠하이머병 사례의 비용 인지 분류를 위한 SCOPE-AD(Sequential Cost-Aware Ordinal-Belief Planning with Energy-Based Models for Diagnostic Agents)를 제안합니다. 마스크 인지 순서 모델은 순서화된 CN-MCI-AD 연속선 상의 불확실성을 표현합니다. 후향적 학습 기록은 에너지 기반 티처를 위한 표본화된 벨만 목표를 제공하며, 이 티처의 행동 분포는 Qwen 정책으로 증류됩니다. 실제 배포 환경에서 에이전트는 미수집된 값에 접근하지 않고 가용성 및 예산 제약 조건 하에서 수집 또는 진단 행동을 선택합니다. 각 수집 단계 후에는 다음 결정을 내리기 전에 증거와 순서-신념이 업데이트됩니다. ADNI 데이터셋에서 SCOPE-AD는 평균 수집 비용 $50.46로 77.70%의 Macro-F1을 달성하여, 평가된 가장 강력한 기준선보다 9.34%포인트 높은 성능을 기록했습니다. 모든 양식을 활용한 평가는 수집 비용을 116.7배 증가시키면서도 Macro-F1은 단 1.89%포인트 올리는 데 그쳤습니다. 이러한 결과는 비용 효율적인 진단을 위한 선택적 수집 전략을 뒷받침합니다.

arXiv:2610.00979v1cs.AI

RISED: 에이전트 다중 환경 선택 및 자기 증류를 위한 루브릭

RISED: RubrIcs for agentic multi-environment Selection and sElf-Distillation

다양한 상호작용 환경에서 단일 대규모 언어 모델(LLM) 에이전트를 공동으로 학습(training)시키는 것은 제너럴리스트 에이전트로 나아가는 경로로서 점점 더 많은 주목을 받고 있습니다. 기존의 커리큘럼 및 데이터 선택 전략은 종종 환경(environment) 수준에서 학습을 할당하거나 국소적인 보상(reward) 기반 신호에 우선순위를 두며, 프롬프트(prompt) 그룹 선택 시 환경 간 현재 롤아웃(rollout) 사이의 관계를 명시적으로 고려하지 않습니다. 한편, 환경마다 학습되는 속도가 다르기 때문에 배치(batch) 내에 전체 실패 및 전체 성공 롤아웃 그룹이 공존할 수 있으며, 이로 인해 해당 데이터에는 그룹 상대적 보상 신호가 남지 않게 됩니다. 이러한 두 가지 과제는 다중 환경 강화학습(RL)에서 스칼라 보상에만 의존하는 것의 한계를 부각합니다. 즉, 스칼라 보상은 환경 간 관계에 대한 제한적인 정보만 제공하며, 보상이 동일할 때는 그룹 내 보상 대조를 제공하지 못합니다. 이는 학습을 유도하기 위해 롤아웃 행동을 기술하는 루브릭(rubric)과 같은 더 풍부한 텍스트 피드백의 필요성을 동기부여합니다. 보상으로서의 루브릭 활용을 넘어, 본 연구는 온라인 데이터 선택과 정책 감독을 모두 유도하도록 루브릭을 재목적화합니다. LLM 판별기(judge)는 환경 전반에 걸쳐 공유되는 사전 정의된 루브릭 어휘를 사용하여 각 롤아웃에 태그를 지정합니다. 생성된 프로필은 이미 선택된 데이터와의 중복을 제한하면서 혼합 환경 배치의 전반적인 행동 구성과 일치하는 데이터 선택을 안내합니다. 사용 가능한 긍정적 루브릭(바람직한 행동 설명)은 온-정책(on-policy) 자기 증류 교사 모델(model)을 위한 특권적 맥락(privileged context)을 제공하여 추가적인 토큰(token) 수준의 감독을 공급하는 반면, 부정적 루브릭(원치 않는 행동 설명)은 이후의 롤아웃 생성이 반복되는 실패 모드에서 벗어나도록 유도합니다. 이러한 구성 요소들이 결합하여 RISED를 형성합니다. 여러 모델 백본에 걸쳐 RISED는 환경 전반에서 가장 높은 평균 통과율을 달성하며 모든 개별 환경에서 1위 또는 2위를 기록합니다. RISED에 대한 루브릭 기반 분석은 이러한 성능 향상에 수반되는 행동 변화를 추가로 규명할 수 있습니다.

arXiv:2607.22629v3cs.AI

마스크 자기 증류: 언어 모델 내 사고의 연쇄 내재화

Masked Self-Distillation: Internalizing the Chain-of-Thought in Language Models

대규모 추론 모델은 추론(inference) 시점에 최종 답변을 생성하기 전에 중간 단계들의 길고 명시적인 연쇄를 생성합니다. 최종 답변의 정확성이 중간 추적(trace)의 정확성과 인과적으로 연결되어 있지 않고 추적 길이가 문제의 복잡성을 나타내는 신뢰할 만한 지표가 아님에도 불구하고, 이러한 중간 추적은 지연 시간, 메모리 사용량 및 서빙 비용의 대부분을 차지합니다. 이는 자연스럽게 다음과 같은 질문을 제기합니다. 이러한 중간 토큰에 표현된 계산을 언어 모델의 파라미터 내부로 내재화하여 훨씬 더 짧은 중간 추적만으로 답변을 생성하도록 만들 수 있을까요? 본 논문에서는 동일한 모델의 복제본을 교사 모델과 학생 모델(student model)로 인스턴스화하고, 학생 모델이 중간 추적의 전체 또는 일부를 내재화하도록 학습(training)시켜 추론 효율성을 높이는 지식 증류(knowledge distillation) 기반 사후 학습(post-training) 프레임워크인 마스크 자기 증류(masked self-distillation)를 제안합니다. 우리는 학생 모델이 내재화하도록 학습되는 중간 추적의 비율을 변화시키며, 완전한 내재화와 무내재화 사이를 보간합니다. 수학 및 그래프 색칠하기라는 두 가지 추론 영역에서 통제된 실험을 수행하였으며, 마스크 자기 증류 프레임워크를 사용하여 Qwen3-4B 및 8B 모델을 사후 학습시켰습니다. 실험 결과는 이 방법이 다양한 도메인과 모델 크기 전반에서 추론 효율성을 높이는 동시에 작업 성능을 향상시키는 데 사용될 수 있음을 보여줍니다. 또한 사후 학습된 모델에서 향상된 효율성 이득이 OOD(분포 외) 문제로 일반화되는지 체계적으로 분석합니다. 그 결과 마스크 자기 증류 모델은 도메인 내 OOD 문제에 대해 잘 일반화되며, 마스크 자기 증류 학습이 도메인 외 문제에서 학생 모델의 치명적 망각(catastrophic forgetting)을 유발하지 않음을 확인했습니다. 나아가 절제 연구(ablation study)를 통해 지도 미세조정(supervised fine-tuning) 역시 모델이 더 짧은 추적을 생성하도록 학습시킬 수 있지만 일반화 성능이 저하됨을 보임으로써, 마스크 자기 증류에서 온-정책(on-policy) 학습의 중요성을 강조합니다.

arXiv:2602.03006v3cs.AI

LLM 추론을 개념 예측기 그래프로 증류하기

Distilling LLM Reasoning into Graph of Concept Predictors

판별(discriminative) 작업에 대규모 언어 모델(LLM)을 배포하는 것은 대규모 환경에서 추론(inference) 지연 시간, 연산량 및 API 비용으로 인해 제한되는 경우가 많습니다. 능동적 증류(active distillation)는 LLM 오라클에 질의하여 작은 크기의 판별 학생(student) 모델을 학습(training)시킴으로써 이러한 비용을 절감하지만, 대부분의 파이프라인은 최종 라벨만을 증류하므로 중간 추론 신호를 버리게 되고 어떤 추론이 누락되었으며 어디서 오류가 발생하는지에 대한 제한적인 진단만을 제공합니다. 본 논문에서는 교사(teacher) 모델의 추론을 중간 개념들의 유향 비순환 그래프(DAG)로 도출하고 이를 학생 모델에 반영하는 추론 인식 능동적 증류 프레임워크인 개념 예측기 그래프(Graph of Concept Predictors, GCP)를 제안합니다. GCP는 개념별 불확실성, 그래디언트(gradient) 다양성, 노드(node) 중심성에 기반한 커버리지를 가중하는 그래프 인식 획득(acquisition) 전략을 통해 샘플 효율성을 향상시킵니다. 또한 다운스트림 손실(loss)을 특정 개념 예측기의 원인으로 귀속시키고 가장 영향력 있는 모듈만을 업데이트하는 타깃 하위 모듈 재학습을 수행하여 학습 안정성과 효율성을 개선합니다. 8개의 자연어 처리(NLP) 분류(classification) 벤치마크에 대한 실험을 통해 GCP가 제한된 어노테이션 예산 내에서 성능을 향상시키는 동시에 보다 해석 가능하고 제어 가능한 학습 동역학을 제공함을 입증합니다. 코드는 https://github.com/Ziyang-Yu/GCP 에서 확인할 수 있습니다.

arXiv:2610.02207v1cs.CV

모두를 애니메이션화하는 하나의 기저: 실시간 아바타를 위한 가우시안 블렌드셰이프 지식 증류

One Basis to Animate Them All: Gaussian Blendshape Distillation for Real-Time Avatars

3D 가우시안 아바타는 빠른 렌더링을 지원하지만, 비용이 많이 드는 신경망 추론(inference)으로 인해 실시간 애니메이션화에 어려움을 겪는 경우가 많습니다. 본 논문에서는 이러한 병목 현상을 해결하고, 사전학습(pre-training)된 아바타 모델의 애니메이션이 신원과 무관한 블렌드셰이프(blendshape)들의 선형 결합으로 근사될 수 있음을 보입니다. 이러한 발견을 바탕으로, 프레임별 과도한 신경망 디코딩을 얕은 계수 예측기와 선형 블렌딩으로 대체하는 지식 증류(distillation) 기법인 GALA(Gaussian Animation via Linear Approximation)를 제안합니다. 충실도(fidelity)를 높이고 메모리 요구량을 줄이기 위해, 렌더링 인식 메트릭과 메모리 예산 제약 하에서 블록 로컬 PCA를 사용해 기저를 구성하는 방법을 제안합니다. 본 방법은 블렌드셰이프 계수를 예측하기 위해 얕은 MLP 네트워크를 학습하며, 기존 모델을 재학습하지 않고도 다양한 애니메이션 아키텍처에 적용할 수 있습니다. 본 논문에서는 얼굴 표정과 의복 다이내믹스를 포함한 전신 3D 애니메이션을 위한 세 가지 서로 다른 아바타 모델의 추론을 가속화하여 GALA를 검증합니다. 이러한 모델 전반에서 제안하는 지식 증류는 미확인 신원(held-out identities)에도 일반화되며, 대부분의 렌더링 품질을 유지하면서 CPU 애니메이션 비용을 최대 세 자릿수(three orders of magnitude)까지 절감합니다. 본 기법의 우수한 결과는 학습된 아바타 표현의 공유 선형 구조를 확인해 주며, 모바일 기기에서 최대 60fps에 달하는 프레임 속도로 매우 효율적이고 정확한 애니메이션을 가능하게 합니다. 프로젝트 페이지: https://ramazan793.github.io/gala/

arXiv:2610.02188v1cs.CV

DMAD: 빠른 시각적 생성을 위한 적대적 증류 기반의 분포 매칭

DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation

분포 매칭 증류(DMD, Distribution Matching Distillation)는 개별적으로 추정된 타깃 및 학생 스코어 간의 차이로부터 소수 단계(few-step) 학생 모델을 학습시키므로, 추가적인 메모리와 계산 비용을 들여 학생의 변화하는 분포에 맞춰진 보조 확산 모델을 유지해야 합니다. 본 논문에서는 분포 매칭을 분류(classification) 문제로 재구성하고 필요한 로그 밀도 비(log-density ratios)를 직접 학습하는 적대적 증류 기반의 분포 매칭인 DMAD(Distribution Matching as Adversarial Distillation)를 소개합니다. 공유된 백본 상의 두 판별기 헤드는 실제 데이터 및 교사 샘플을 학생 샘플과 구별하며, 이들의 로짓(logit)에 적용되는 선형 손실은 보조 스코어 피팅 없이 학생 모델을 학습시킵니다. 판별기 로짓을 로그 밀도 비로 연결하는 고전적 항등식을 통해, 판별기 최적점에서 이러한 손실들이 DMD의 기반이 되는 분포 매칭 그래디언트(gradient)를 복원함을 증명합니다. 나아가 실제 데이터 헤드에서 측정한 실제 샘플과 교사 샘플 간의 경험적 로짓 갭을 바탕으로 노이즈 레벨 전반에 걸쳐 교사 지도를 적응시키는 갭 기반 재가중치(gap-based reweighting)를 제안합니다. DMAD는 ImageNet-64x64에서 1단계 생성으로 1.04의 Fréchet Inception Distance(FID)를 기록하고, COCO-10K에서 4단계 SDXL로 14.47, 4단계 Wan2.1-T2V-14B로 85.15의 VBench 총점을 달성하여 비교된 소수 단계 방법론과 다단계 교사 모델 중 최고의 성능을 보였습니다. MiniMax-H3-33B 기반의 오디오-비디오 공동 생성에서 본 연구의 4단계 학생 모델은 동점을 제외했을 때 DMD2 대비 79.1%, rCM 대비 84.6%의 전반적인 인간 선호도를 달성했습니다. 코드, 모델 및 데모는 https://yzmblog.github.io/projects/DMAD 에서 확인할 수 있습니다.

arXiv:2610.02148v1cs.CV

Omni-Embed-Mini: 조밀 증류를 통해 망각 없이 모달리티를 결합하기

Omni-Embed-Mini: Binding Modalities Without Forgetting via Dense Distillation

텍스트 임베딩 모델을 새로운 모달리티로 확장하는 것은 일반적으로 텍스트 검색 품질을 저하시키며, 기존의 옴니모달(omni-modal) 임베더들은 수십억 개의 매개변수로 이를 보완합니다. 본 논문에서는 텍스트 측 매개변수를 전혀 업데이트하지 않고도 텍스트, 음성, 오디오, 이미지, 비디오, 시각적으로 풍부한 문서를 단일 공유 코사인 공간으로 매핑하는 0.9B 매개변수 모델인 Omni-Embed-Mini를 제시합니다. 우리의 핵심 통찰은 교사 신호에 별도의 임베딩 모델이 필요하지 않다는 점입니다. 즉, 각 미디어 샘플은 조밀한 연쇄 캡션(dense cascaded caption)과 쌍을 이루며, 교사 목표는 동결된 백본 자체의 해당 캡션 임베딩일 뿐입니다. 교사와 학생이 동일한 백본 가중치를 공유하므로 이들은 바이트 단위로 동일한 기하학적 구조를 가지며, 정렬에는 모달리티 인코더의 경량 프로젝터와 단계별 LoRA 어댑터만으로 충분합니다. 학습은 Matryoshka SigLIP 대조 손실과 인코더가 향상됨에 따라 하드 네거티브가 정교해지는 온라인 하이브리드 하드 네거티브 마이너(hard-negative miner)를 결합합니다. 이 레시피는 네이티브 비전-언어 백본으로 교체함으로써 2.3B 변형 모델로도 확장됩니다. Omni-Embed-Mini-0.9B는 백본과 비트 단위로 동일한 텍스트 가중치를 유지하므로 학습으로 인해 텍스트 검색 성능이 저하될 수 없으며(MTEB-v2 BEIR-8에서 49.57 nDCG@10), 동시에 5개의 추가 모달리티로 확장되고 비교 대상인 모든 공개 옴니 임베더보다 약 2.7배에서 9.5배 더 작습니다. 2.3B 변형 모델은 비공개 모델인 gemini-embedding-2와 경쟁력이 있으며, 전체 모달리티 평균에서 이를 근소하게 앞섭니다. 모델, 코드, 데이터 및 평가 하네스는 프로젝트 페이지(https://omniembed.cvmbzuai.com)에서 확인할 수 있습니다.

arXiv:2610.02117v1cs.CV

Where-OPD: 합성 장면을 활용한 MLLM의 공간 유도 온-정책 자기 증류

Where-OPD: Spatially Guided On-Policy Self-Distillation of MLLMs with Synthetic Scenes

온-정책(on-policy) 자기 증류는 특권 정보(privileged information)를 제공받는 동결되거나 지수이동평균(EMA)이 적용된 자기 자신을 통해 학생 모델을 지도함으로써 언어 모델의 추론 능력을 향상시키는 효과적인 접근법으로 최근 부상했습니다. 그러나 이를 멀티모달 대규모 언어 모델(MLLM)에 적용하는 연구는 아직 미개척 상태로 남아 있습니다. 최근 접근법들은 질문에 해당하는 이미지 크롭과 같은 특권 시각 정보를 활용하여 미세 지각 능력을 향상시키지만, 이러한 성능 향상은 시각적 줌(zooming) 효과를 얻을 수 있는 태스크에만 국한되며 사람이 주석을 단 그라운딩(grounding) 데이터나 외부 교사 모델을 필요로 합니다. 본 연구에서는 질의와 관련된 시각적 요소를 식별하는 텍스트 기반의 공간적 그라운딩 안내(guidance)를 교사 모델에 제공하는 새로운 방식의 MLLM용 온-정책 자기 증류를 제안합니다. 객체 식별 정보와 공간 좌표를 자동으로 얻을 수 있는 절차적으로 생성된 장면을 활용하여, 확장 가능하고 주석이 필요 없는 사후 학습(post-training)을 실현합니다. 교사 모델은 이러한 공간적 안내를 활용하여 여러 관련 이미지 영역의 증거를 찾아 통합하며, 학생 모델은 이미지와 질문만을 바탕으로 그 결과를 재현하도록 학습합니다. 본 접근법은 여러 모델에 걸쳐 개수 세기, 문서 및 차트 이해 벤치마크에서 지속적으로 성능을 향상시킵니다. 특히 사후 학습에 합성 장면만을 사용함에도 불구하고, 개선된 성능이 실제 환경의 지각 벤치마크로 전이되어 CVBench, V*, ZoomBench, BLINK, HR-Bench, MME-RealWorld 전반에서 평균 성능이 3.23점 향상되었습니다. 이러한 결과는 공간적으로 그라운딩된 특권 정보가 온-정책 자기 증류를 통해 더 넓은 범위의 지각 능력을 유도할 수 있으며, 사후 학습에 사용된 태스크 및 데이터 분포를 넘어 상당한 수준의 합성-실제(synthetic-to-real) 전이를 가능하게 함을 보여줍니다. 프로젝트 페이지: https://github.com/sirkosophia/Where-OPD