검증 가능한 보상을 활용한 강화학습(RLVR)은 주로 상호작용 후의 스칼라 결과 보상을 통해 에이전트 경험을 학습 신호로 전환합니다. 그러나 그룹 상대적 목적 함수의 경우, 모든 롤아웃이 동일한 보상을 받으면 해당 궤적이 작업에 필요한 요소와 에이전트가 실패하는 방식에 대한 유용한 정보를 드러낼 수 있음에도 불구하고 이러한 신호가 사라집니다. 우리는 이와 상호보완적인 질문을 던집니다. 사후적 통찰(hindsight)이 에이전트에게 행동하기 전에 무엇을 예측할 수 있었는지를 가르쳐줄 수 있을까요? 우리는 상호작용 이전 시점에서의 예측을 지도하기 위해 사후 경험을 사용하는 전향적 학습(prospective learning)을 도입하고, 이를 자기 회고 증류(Self-Retrospection Distillation, SRD)로 구체화합니다. 직관적으로 완료된 궤적은 유용했을 지식과 피해야 했을 함정을 드러내며, SRD는 이 특권적 사후 통찰을 동일한 정책의 궤적 비인지 사전 예측으로 증류합니다. 사전 예측은 학습 목표로만 기능하며 추론 시 명시적으로 생성될 필요가 없습니다. 10가지 도구 통합 추론 및 장기적 에이전트 작업 전반에서, SRD는 RLVR 및 자기 증류 베이스라인을 보완하여 최대 24.2%p의 성능 향상을 달성합니다. 특히 모델 규모 전반에 걸쳐 롤아웃 그룹의 37~98%가 균일한 보상을 보여 보상 대조가 부족한 경우에도 SRD는 샘플링된 궤적으로부터 학습 신호를 활용할 수 있어 그 이점이 두드러집니다. 그룹의 98%가 전면 실패하는 2B 설정에서 RLVR 학습은 0.0%의 성공률로 끝나는 반면, 동일한 롤아웃 예산 하에서 SRD를 추가하면 60.6%에 도달합니다. 우리의 결과는 사후 에이전트 경험이 행동을 평가하거나 개선하는 것뿐만 아니라 상호작용 이전에 예측적 표현을 형성하는 데에도 유용함을 시사합니다.
비디오 확산 트랜스포머는 긴 시공간 토큰 시퀀스에서 어텐션이 지배적이기 때문에 연산 비용이 큽니다. 본 연구에서는 극단적인 어텐션 희소성에서 스텝별 국소 학습 손실(step-local training loss)은 계속 감소하지만 최종 생성 품질은 정체되거나 저하되는 '고희소성 함정(high-sparsity trap)'을 규명합니다. 이 함정은 지도(supervision) 방식의 문제입니다. 지배적인 최종 오차는 고노이즈 구조 생성 단계에서 비롯되며, 최종 상태에 정렬된 학습(terminal-aligned training)은 스텝별 국소 학습을 대폭 연장해도 해결할 수 없는 최종 오차를 교정합니다. 이를 통해 '먼저 희소 아키텍처를 거친 사전 분포(coarse prior)에 적응시킨 후, 최종 분포를 교정한다'는 간단한 단계별 원칙이 도출됩니다. 우리는 이 원칙을 시각 생성을 위한 통합 가속 프레임워크인 SparkDiffusion으로 구현하며, 이는 짧은 희소 웜업, 소수 스텝 궤적 혼합 증류(few-step trajectory-mixed distillation), 융합 커널을 활용한 FP8 양자화를 결합합니다. SparkDiffusion은 Wan2.1/Wan2.2 백본 및 T2V/I2V 태스크 전반의 긴 시퀀스 720P 생성에서 우수한 시각적 품질과 함께 97%의 어텐션 희소성을 유지하며, Wan2.1-T2V-1.3B-480P에서는 90%의 희소성을 유지합니다. 3스텝 CFG-free 추론을 통해 SparkDiffusion은 단일 RTX 5090에서 Wan2.1-T2V-14B-720P에 대해 50스텝 CFG 밀집 기준선(dense baseline) 대비 265배(H100에서 220배)의 엔드투엔드 속도 향상을 달성하고, Wan2.1-T2V-1.3B-480P 비디오를 1.3초 만에 디노이징합니다.
온-정책 지식 증류(On-Policy Distillation, OPD)는 프론티어 파운데이션 모델의 사후 학습(post-training)에 점점 더 많이 적용되고 있습니다. 이 분야의 기존 연구는 주로 알고리즘적 발전에 초점을 맞추었으나, OPD가 학습 질문에 얼마나 의존하는지, 특히 이러한 의존성을 어디까지 줄일 수 있는지는 여전히 불분명합니다. 두 가지 대표적인 단일 교사(single-teacher) OPD 설정에 걸쳐, 저자들은 단 8개의 실제 프롬프트로 학습해도 17,000개 문제로 학습한 것과 유사한 성능을 얻을 수 있으며, 측정된 난이도와 초기 증류 격차가 크게 다른 데이터셋들 간에도 유사한 결과를 산출함을 발견했습니다. 이러한 분석은 두 가지 상호보완적인 설명을 제시합니다. 즉, 반복 샘플링을 통해 적은 프롬프트만으로도 상당한 교사 지도(teacher supervision)를 드러낼 수 있으며, OPD가 데이터셋별 지식을 넘어 일반화 가능한 추론 능력을 전이한다는 것입니다. 이러한 관찰을 바탕으로, 저자들은 외부 데이터의 필요성을 없애고 시스템이 스스로 학습 질문을 제공할 수 있는지 조사하기 위해 데이터 없는 온-정책 지식 증류(Data-Free On-Policy Distillation, DF-OPD) 설정을 제안합니다. 시드 예시 없이 생성된 64개의 자체 생성 질문을 통해, DF-OPD는 두 단일 교사 설정 모두에서 전체 데이터를 사용한 OPD와 유사한 성능을 산출합니다. 이러한 발견은 다중 교사(multi-teacher) OPD에서도 유효하여, 수학, 코드 및 인스트럭션 추종(instruction following) 전반에 걸쳐 1,000개의 생성된 질문이 약 7,000개의 실제 사후 학습 예시로 학습한 것과 유사한 성능을 달성합니다. 나아가 저자들은 OPD가 명시적인 학습 질문 없이도 작동할 수 있는지 탐구합니다. 실험 결과 이는 학생 모델이 예상치 못하게 자체 질문을 생성하고 답변하여 프로세스가 암묵적인 형태의 DF-OPD로 귀결되는 제한적인 경우에만 효과적임을 보여줍니다. 종합적으로 이러한 발견들은 온-정책 지식 증류에서 학습 데이터의 역할에 대한 재평가를 유도합니다. 코드는 https://github.com/Ryuki661/DF-OPD 에서 이용 가능합니다.
확산 언어 모델(diffusion language model)은 단 한 번의 순전파(forward pass)로 일관된 토큰 블록을 생성할 수 있을까요? 마스크 기반 모델은 이미 모든 위치를 한 번에 예측하지만, 각 예측은 가시적 컨텍스트가 주어졌을 때의 주변분포(marginal distribution)이므로 토큰들이 상호 불일치할 수 있으며 후속 단계에서 이미 확정된 토큰을 수정하게 됩니다. 본 연구에서는 서로 다른 노이즈 샘플을 서로 다른 일관된 블록에 매핑하도록 처음부터 학습(train from scratch)된 CONDOR(Coupled-Noise Distillation for One-Step Readout)를 소개합니다. 초기에는 무작위 노이즈가 목표와 자연스럽게 짝지어지지 않습니다. 승자독식(Winner-take-all) 지도 방식을 통해 서로 다른 샘플이 전문화되도록 하며, 자체 증류(self-distillation)를 통해 1회 순전파 출력이 정제된 일관된 블록과 일치하도록 학습합니다. TinyStories 실험에서는 각각 한 번의 순전파만으로 연속적인 블록에 걸쳐 다양하고 일관된 이어 생성을 보여줍니다. 정성적 MNIST 실험을 통해서는 동일한 접근 방식이 텍스트-이미지 생성 및 무조건적 텍스트-이미지 생성과 같은 멀티모달 생성으로 확장될 수 있음을 보여줍니다.
RLVR에서 GRPO가 모든 토큰에 균일한 크레딧을 부여하는 한계를 줄이기 위해, 모델을 자신의 검증된 궤적으로 조건화할 때 발생하는 토큰별 KL 발산을 GRPO 그래디언트의 곱셈 가중치로 쓰는 SC-GRPO를 제안한다. 수학·코드·에이전트 작업 5개 벤치마크에서 GRPO 대비 8.1%, DAPO 대비 5.9% 성능 향상과 더 강한 OOD 일반화를 보이며, 외부 교사를 사용하는 OPD도 능가한다.
암시적 사고의 연쇄(implicit Chain-of-Thought, iCoT) 방식은 대규모 언어 모델(LLM) 내에서 추론을 내재화하는 것을 목표로 하지만, 명시적 CoT 프롬프팅에 비해 성능이 떨어지는 경우가 많습니다. 본 연구에서는 은닉 상태의 추론 궤적이 저순위(low-rank) 구조를 보인다는 점을 실증적으로 발견했습니다. 이러한 관찰에 착안하여, 1차 및 2차 통계량을 활용해 공유된 저순위 텐서 부분공간에서 교사(teacher)와 학생(student)의 궤적을 정렬함으로써 추론 능력을 전이하는 저순위 증류(distillation) 프레임워크를 제안합니다. 이를 통해 도출된 공식화는 추론의 전역적 구조를 포착하는 동시에 간결한 잠재 추론 과정을 지원합니다. 수학적 추론 벤치마크에서 LLaMA 및 Qwen을 포함한 다양한 모델 계열과 여러 크기에 걸쳐 제안 방법을 평가했습니다. 그 결과, 본 접근법은 특히 까다로운 다단계 작업에서 성능을 지속적으로 향상시켜 명시적 CoT 정확도에 근접하였으며, 기존의 iCoT 증류 방식들을 능가했습니다.
본 논문에서는 메모리에 대한 명시적 가정으로부터 효율적인 순환 시퀀스 매핑을 유도하는 방식인 설계-모델 프레임워크(design-model framework)를 소개합니다. 설계 모델은 정확한 베이즈 필터링(Bayesian filtering)을 통해 증거를 메모리에 기록하며, 쿼리 의존적 판독(query-dependent readout)은 평균이 층 출력이 되는 예측 분포를 생성합니다. 선형 가우시안(linear-Gaussian) 구체화에서 베이지안 층(Bayesian Layer)은 평균과 공분산을 모두 전파합니다. 여기서 공분산은 저장된 연관성에 대한 불확실성을 추적하여, 쓰기 동작을 불확실한 방향으로 유도하고 증거가 축적됨에 따라 이득을 감쇄시키며 확신도가 높은 메모리를 보존합니다. 동일한 프레임워크는 여러 아이차(sub-quadratic) 순환 모델을 통합합니다. 즉, 선형 어텐션(linear attention), GLA 및 Mamba-2/SSD는 잠재 입력(latent-input) 설계 모델 하에서의 정확한 필터인 반면, DeltaNet 및 관련 델타 규칙(Delta-rule) 모델들은 베이지안 층 설계 모델의 공분산 초기화 축약형입니다. 공분산 전파를 복원하면 검색 동역학에 대한 닫힌 형식(closed-form)의 예측이 가능해지며, 이를 실증적으로 검증하고 제어된 충돌 연구, 학습된 연관 재현율(associative recall) 및 Zoology MQAR 벤치마크에서 학습 범위를 넘어서는 견고성을 향상시킵니다. 일치된 상태 예산 하에 WikiText-103에서 처음부터 학습(training from scratch)했을 때 연관 재현율 적중 시의 펄플렉서티(perplexity)가 낮아집니다. 사전학습된 340M Gated DeltaNet에 베이지안 층을 지식 증류하면 2.5–2.7%의 검증 펄플렉서티 비용으로 동일 연산량 제어군 대비 RULER 긴 컨텍스트 검색 성능이 향상됩니다.
실제 사용자 행동은 고립된 행동으로 이루어지는 경우가 드물며, 대신 시공간적 의존성에 의해 지배되는 의도 흐름을 형성하는 경우가 많다. 통합 서비스 추천을 제공하기 위해, 본 연구는 복잡한 시공간적 맥락 내에서 논리적으로 일관되고 물리적으로 실행 가능한 의도 시퀀스를 생성하는 것을 목표로 하는 생성형 시공간 의도 시퀀스 추천(Generative Spatiotemporal Intent Sequence Recommendation, GSISR) 과제에 주목한다. LLM은 GSISR에 대해 강력한 추론 가능성을 제공하지만, 산업 현장에 직접 배포하기에는 높은 추론 지연과 맥락 불일치 또는 물리적으로 실행 불가능한 계획이라는 한계가 있다. 이러한 문제를 해결하기 위해, 본 연구는 두 가지 구성 요소를 통해 LLM의 추론을 경량 모델에 내재화하는 생성형 프레임워크 GPlan을 제안한다. 첫째, 엄격한 지연 제약 조건 하에서도 추론이 가능하도록, 명시적 추론 과정을 예비된 잠재 토큰으로 압축하는 점진적 암묵적 CoT 증류(Progressive Implicit CoT Distillation)를 도입하여, 소형 모델이 긴 추론 텍스트를 생성하지 않고도 복잡한 계획 수립 로직을 물려받을 수 있도록 한다. 둘째, 일반 지식과 실제 제약 조건 사이의 단절을 해결하기 위해, 시공간 반사실적 DPO(Spatiotemporal Counterfactual DPO)를 설계한다. 모델을 반사실적 맥락-계획 쌍에 맞춰 정렬함으로써, 시공간적 맥락에 대한 민감도를 높이고 맥락 불일치 계획을 줄인다. 오프라인 실험과 온라인 A/B 테스트는 본 접근법이 시퀀스 일관성과 맥락 반응성을 향상시킨다는 것을 보여준다. 구현 코드와 익명화된 GSISR 데이터셋은 https://github.com/alibaba/GPlan 에서 확인할 수 있다.
증류(distillation) 공격은 모델 제공자에게 배포상의 트레이드오프를 만든다: 모델을 더 유용하게 만드는 바로 그 출력이 모델을 더 쉽게 모방하게 만들 수도 있다. 우리는 효용이 제약된 교사(teacher)와 적응형 학생(student) 간의 미니맥스 게임을 통해 이 트레이드오프를 연구한다. 우리의 프레임워크는 다루기 쉬운 일방적 대응 규칙들을 도출한다: 학생이 고가치 예제의 가중치를 재조정하는 적응형 평가 규칙과, 증류에 가장 유용한 출력을 억제하는 교사 측 방어 템플릿이다. 예제 가치에 대한 저비용 프록시(proxy)로부터, 우리는 Product-of-Experts(PoE)를 도출한다. 이는 생성 과정에서 교사와 프록시 학생을 결합하는, 순전파(forward-pass)만으로 작동하는 단순한 방어 기법이다. 실험적으로, 적응형 평가는 큰 수동(passive)-적응(adaptive) 간극을 드러낸다: 최신 방어 기법들에 대해, 적응형 학생은 GSM8K와 MATH에서 수동 평가가 암시하는 것보다 상당히 더 많은 능력을 회복한다. 이러한 더 강력한 평가 하에서, 고비용 방어 기법과 PoE 사이의 겉보기 강건성(robustness) 격차는 상당히 좁아지며, 동시에 PoE는 훨씬 더 저비용을 유지하면서 더 높은 품질의 추론 과정(reasoning trace)을 보존한다. 전반적으로, 우리의 결과는 강력한 증류를 막기가 여전히 어렵다는 것을, 그리고 항증류(antidistillation) 연구의 진전은 수동적 학생이 아니라 적응형 학생을 기준으로 평가되어야 한다는 것을 시사한다. 코드는 다음 주소에서 확인할 수 있다: https://github.com/ysfalh/distillation-game.
AI 생성 이미지(AIGI)의 부상은 디지털 진위성에 대한 과제를 점점 더 심화시키고 있으며, 이에 따라 효율적이고 일반화 가능한 이미지 위조 탐지 시스템의 필요성이 대두되고 있습니다. 비(Non)-대규모 언어 모델(LLM) 기반이든 LLM 기반이든, 기존 방법들은 뚜렷한 장단점을 보입니다. 비-LLM 기반 모델은 효율적인 저수준 아티팩트(artifact) 탐지를 제공하지만 종종 의미론적 이해가 부족합니다. 반대로, LLM 기반 방법은 강력한 의미론적 추론과 설명 가능성을 제공하지만 계산 집약적이며 미세한 시각적 아티팩트에 덜 민감합니다. 나아가 위조 탐지 성능에 대한 설명적 추론 텍스트의 실질적인 기여도는 여전히 불분명합니다. 본 연구에서는 LLM이 생성한 추론 텍스트의 본질적 가치와 잠재력을 일반화 및 의미론적 오류 민감성의 원천으로 간주하여 조사합니다. 이러한 발견을 바탕으로, 대조 학습(contrastive learning)을 통해 GRPO로 최적화된 LLM이 생성한 고품질 추론 텍스트를 경량 AIGI 탐지기로 지식 증류(distillation)하는 새로운 프레임워크인 ReAlign을 제안합니다. ReAlign은 배포를 위한 효율성과 경량성을 유지하면서도 추론 텍스트 표상의 일반화 능력과 의미론적 민감도 능력을 효과적으로 계승합니다. 또한, ReAlign은 이미지-텍스트 정렬을 위한 대조 손실(loss)과 정확한 위조 판별을 위한 분류(classification) 손실을 통합하는 맞춤형 공동 최적화 전략을 채택합니다. AIGCDetectBenchmark, AIGI-Holmes, 그리고 새롭게 구축된 UltraSynth-10k에 대한 실험 결과는 ReAlign이 최신 생성 모델로부터 생성된 복잡하고 충실도 높은 위조를 마주했을 때 특히 정확도와 일반화 측면 모두에서 기존 SOTA(state-of-the-art) 탐지기들을 일관되게 능가함을 입증합니다.
본 논문에서는 경량 GUI 에이전트를 구축하기 위한 새로운 프레임워크인 LiteGUI를 제시합니다. GUI 상호작용은 복잡한 작업의 장기적(long-horizon) 특성과 다수의 유효한 상호작용 경로의 존재로 인해 경량 GUI 에이전트가 효과적으로 처리하기 어려운 고유한 문제를 제기합니다. 이러한 문제를 해결하기 위해 LiteGUI는 기록된 GUI 상태에서 작동하는 2단계 사후 학습(post-training) 프레임워크를 도입합니다. 첫째, 학생(student) 모델의 온-정책(on-policy) 롤아웃(rollout)은 변경하지 않고 유지하면서, 사람이 검증한 다중 솔루션 액션 어노테이션에서 가장 일치하는 유효한 액션을 선택함으로써 각 GUI 상태에서 학습(training) 시점의 특권적 교사(teacher) 지도를 제공하는 유도형 온-정책 증류(Guided On-Policy Distillation)를 제안합니다. 둘째, 기록된 각 GUI 상태에서 여러 개의 유효한 액션을 고려하면서 액션 수준의 지도와 이력 조건부 상태별 계획 품질 지도를 결합하는 Multi-Solution Dual-Level GRPO를 개발합니다. 이 단계들이 결합되어 학생 모델이 고정된 시연(demonstration) 궤적을 재현할 필요 없이 다단계 GUI 작업을 지원합니다. 나아가 기존 문헌의 공백을 메우기 위해 GUI 에이전트의 학습 및 평가를 지원하는 확장 가능한 데이터 생성 파이프라인과 그에 상응하는 다중 솔루션 데이터셋인 Lite-Dataset을 구축합니다. 여러 GUI 벤치마크에 걸친 광범위한 실험을 통해 LiteGUI가 지도 미세조정(SFT), 온-정책 증류, GRPO를 포함한 기존 학습 패러다임 대비 경량 GUI 에이전트의 성능을 크게 향상시키며, 훨씬 더 큰 모델들과 비교해도 경쟁력 있거나 우수한 성능을 달성함을 입증합니다.
실시간 객체 검출은 정교하게 설계된 아키텍처와 최적화 전략을 통해 상당한 발전을 이루어 왔다. 그러나 경량 네트워크 설계를 통한 고속 추론 추구는 흔히 특징 표현의 저하를 초래하며, 이는 추가적인 성능 향상과 실제 온디바이스 배포를 저해한다. 본 논문에서는 비전 파운데이션 모델(Vision Foundation Models, VFMs)의 빠르게 발전하는 능력을 활용하여 경량 객체 검출기를 개선하는, 비용 효율적이며 적응성이 높은 증류(distillation) 프레임워크를 제안한다. VFM과 자원이 제한된 검출기 사이의 상당한 아키텍처 및 학습 목표 차이를 고려할 때, 안정적이고 과제에 부합하는 의미적 전이(semantic transfer)를 달성하는 것은 어려운 문제이다. 이를 해결하기 위해, 한편으로는 VFM의 고수준 표현을 검출기의 깊은 레이어에 통합할 수 있도록 하는 심층 의미 주입기(Deep Semantic Injector, DSI) 모듈을 도입한다. 다른 한편으로는, 그래디언트 노름 비율에 기반하여 의미적 전이의 강도를 동적으로 조정하는 그래디언트 기반 적응형 변조(Gradient-guided Adaptive Modulation, GAM) 전략을 설계한다. 배포 및 추론 오버헤드를 증가시키지 않으면서도, 본 접근법은 다양한 DETR 기반 모델 전반에서 손쉽게 두드러지고 일관된 성능 향상을 제공하며, 이는 실시간 검출에 대한 실용적 유용성을 뒷받침한다. 새로운 모델 패밀리인 RT-DETRv4는 COCO에서 최첨단 성능을 달성하여, 각각 273/169/124/78 FPS의 속도에서 49.8/53.7/55.4/57.0의 AP 점수를 기록한다. 코드는 https://github.com/RT-DETRs/RT-DETRv4 에서 공개되어 있다.
모델 융합은 경량 학습(training) 방법을 통해 서로 다른 강점을 지닌 여러 대규모 언어 모델(LLM)을 더욱 강력한 하나의 통합 모델로 결합합니다. 모델 융합에 관한 기존 연구들은 주로 지도 미세조정(SFT)에 집중되어 있으며, LLM 성능 향상의 중요한 단계인 선호 정렬(PA)은 대체로 탐구되지 않은 상태로 남아 있습니다. WRPO와 같은 PA 단계의 소수 기존 융합 방법들은 소스 모델의 확률 정보를 버리고 응답 출력만을 활용하여 과정을 단순화합니다. 이러한 한계를 해결하기 위해, 본 논문에서는 암시적 모델 융합을 위한 선호 최적화 방법인 InfiFPO를 제안합니다. InfiFPO는 직접 선호 최적화(DPO)의 참조 모델을 시퀀스 수준에서 다중 소스 확률을 종합하는 융합 소스 모델로 대체하여, 기존 연구의 복잡한 어휘 정렬 문제를 우회하는 동시에 확률 정보를 유지합니다. 또한 확률 클리핑과 최대 마진(max-margin) 융합 전략을 도입함으로써, 피벗 모델이 소스 모델로부터 지식을 효과적으로 증류하는 동시에 인간 선호에 정렬할 수 있도록 합니다. 널리 사용되는 11개 벤치마크(benchmark)에 대한 종합적인 실험 결과, InfiFPO가 기존의 모델 융합 및 선호 최적화 방법들을 지속적으로 능가함을 입증했습니다. Phi-4를 피벗 모델로 사용했을 때, InfiFPO는 11개 벤치마크에서의 평균 성능을 79.95에서 83.33으로 향상시켜 수학, 코딩 및 추론 작업에서의 역량을 크게 개선했습니다.
온라인 정책 자가 증류(OPSD)의 최근 발전은 대규모 언어 모델(LLM)이 수작업 주석이나 외부 환경 피드백과 같은 외부 특권 정보(PI)를 활용하여 역량을 향상할 수 있음을 보여주었다. 그러나 정확한 주석을 확보하고 정교한 환경을 구축하는 데는 상당한 인적 노력과 연산이 요구되는 경우가 많아 OPSD의 확장성을 제한한다. 최근 몇몇 연구에서 외부 PI 없는 자가 개선을 탐색했으나 그에 따른 이득은 여전히 제한적이다. 본 연구에서는 LLM이 외부 PI 없이도 이에 필적하는 자가 개선을 달성할 수 있는지 탐구한다. 우리의 핵심 관찰은 단일 LLM이 심층 사고(deep-thinking) 모드 및 비사고(non-thinking) 모드와 같은 여러 추론(reasoning) 모드를 지원할 수 있으며, 심층 사고는 추론 과정에서 추가 정보를 생성한다는 점이다. 이러한 관찰을 바탕으로 우리는 LLM이 자체적인 사고의 연쇄(Chain-of-Thought, CoT)에서 생성된 정보를 증류하고 내재화할 수 있도록 하는 자가 진화형 온라인 정책 증류(SeOPD)를 제안한다. 구체적으로 SeOPD는 (1) 심층 사고 모드로 CoT를 생성하고, (2) 비사고 모드로 응답을 생성하며, (3) 생성된 CoT를 PI로 활용하여 비사고 응답에 토큰 수준의 감독을 제공함으로써, 추론 중 도출된 새로운 정보가 비사고 모드를 안내하고 공유된 모델 파라미터로 내재화되도록 하여 비사고 및 심층 사고 역량을 모두 향상시킨다. 다양한 LLM과 과제에 걸친 광범위한 실험은 SeOPD의 효과를 입증한다.
공유된 체크포인트로부터 학습된 도메인 전문가들은 온-정책 증류(OPD)를 통해 단일 학생 모델로 자신의 특화된 역량을 전이할 수 있습니다. 기존 연구는 주로 이러한 병합 과정을 개선하는 데 집중해 온 반면, 전문가들을 학습시키는 데 사용되는 알고리즘에 대한 체계적인 비교는 제한적이었습니다. 본 연구에서는 에이전트(Agentic), 추론(Reasoning), 인식(Perception) 영역에 걸쳐 지도 미세조정(SFT)과 강화학습(RL)에 대한 통제된 단일 교사 비교를 통해 어떤 학습 알고리즘이 OPD에 더 적합한 교사 모델을 생성하는지 조사합니다. 교사 모델과 학생 모델은 동일한 Qwen3.5-9B 초기화를 공유하며, 두 교사 유형은 유사한 작업 성능 수준에서 비교됩니다. 실험 결과에 따르면 RL 교사 모델은 세 가지 도메인 모두에서 더 뛰어난 학생 모델을 도출하고 교사 모델의 성능 향상분을 더 높게 회복합니다. 최고 체크포인트에서 RL 유도 학생 모델은 SFT 유도 학생 모델보다 각각 4.27, 1.50, 0.86%포인트 더 우수한 성능을 보였습니다. 에이전트 영역에서 최고 성능의 SFT 유도 학생 모델은 베이스 모델 대비 교사의 성능 향상분 중 44.44%만을 회복한 반면, 최고 성능의 RL 유도 학생 모델은 115.00%를 회복하여 교사를 능가했습니다. 추가 분석에 따르면 RL 교사 모델은 SFT 교사 모델보다 공유된 초기화로부터의 매개변수 변위가 더 작게 나타납니다. 이러한 발견은 RL 교사 모델이 학생의 시작점으로부터 더 적게 벗어남으로써 OPD를 통한 학습을 촉진하고 더 우수한 학생 모델로 이어진다는 가설을 뒷받침합니다.
지식 증류(KD)는 대규모 파운데이션 모델(FM)의 단일 스칼라 예측값을 소형 버티컬 모델(VM)로 전달하지만, 단일 스칼라로는 더 큰 FM이 학습하는 풍부한 중간 지식을 전달할 수 없기 때문에 FM의 성능 향상분 중 VM이 흡수하는 비율인 전이 비율(transfer ratio)이 감소하는 문제를 겪습니다. 이러한 병목 현상을 해결하기 위해, 서빙 시 실시간 FM 추론이나 FM과 VM 간의 아키텍처 결합을 요구하지 않으면서 FM의 중간 임베딩을 다운스트림 VM의 입력 피처(예: 사용자 히스토리 시퀀스)로 구조화하여 고대역폭 전이 채널을 여는 프레임워크인 LoopFM(Learning frOm HistOrical RePresentations of FM)을 제안합니다. 또한 이득 분해(gain decomposition) 및 전이 비율 분석을 포함한 LoopFM의 이론적 프레임워크를 제공합니다. 세 가지 공개 벤치마크에서 LoopFM은 강력한 AUC 향상(예: TaobaoAd에서 6% 이상)과 KD와의 상호보완적인 지식 전이 능력을 입증했습니다. 수십억 개의 예제와 수조 개의 매개변수를 가진 FM으로 구성된 산업 규모 시스템에서, LoopFM은 KD 대비 지식 전이 비율을 약 2배로 높여 초기 출시 후 상반기에 +0.5%의 전환율 개선을 달성했으며, 이어진 하반기의 두 차례 개별 출시에서 각각 +1.03% 및 +1.22%의 전환율 개선을 이끌어냈습니다. 체계적인 실험을 통해 LoopFM은 시퀀스 길이, 임베딩 차원, 업스트림 FM 크기에 걸친 스케일링 법칙(scaling law)을 보여줍니다.
확산 모델(diffusion model)에 전달된 단일 텍스트 프롬프트는 순전히 확률적 과정(stochastic process)에 의해 결정되는 광범위한 시각적 출력을 생성하므로, 사용자는 어떤 의미적 변형이 나타날지 직접 제어할 수 없습니다. 이러한 범위를 탐험(exploration)하는 것은 어렵습니다. 무작위 탐색은 범위를 모두 포괄한다는 보장이 없으며, 프롬프트 수정은 단어 선택의 미세한 변화만으로도 생성된 이미지를 크게 바꿀 수 있어 정밀하지 못합니다. 본 연구에서는 체계적인 탐험을 위해 모델 자체가 생성 가능한 조건부 분포를 어떻게 구조화하는지 복원해야 한다고 주장합니다. 우리는 이러한 구조를 생성 매니폴드(generative manifold)로 정식화하고, 주어진 조건화에서 해당 매니폴드의 접공간(tangent space)을 복원하는 방법론인 ELROND를 제시합니다. 이를 위해 고정된 프롬프트의 확률적 실현 간 차이를 역전파하여 얻은 그래디언트를 수집하고, 주성분 분석(PCA) 또는 희소 오토인코더(Sparse Autoencoder)를 사용하여 이를 해석 가능한 방향으로 분해합니다. 우리는 제어된 환경에서 본 방법론이 이 하위 공간을 정확하게 복원함을 보이고, 대규모 모델에서 행동적(behaviorally)으로 이를 검증합니다. 또한 이렇게 복원된 구조가 외부 표현에 의존하는 방식보다 모델 능력의 더 폭넓은 탐험을 가능하게 하며, 재학습 없이도 증류된 모델의 모드 붕괴(mode collapse)를 완화함을 입증합니다.
대규모 언어 모델의 추론이 더 낮은 정밀도로 전환됨에 따라 사후 학습 양자화(PTQ)는 점점 더 취약해지고 있으며, 모델 품질을 보존하기 위해 양자화 인지 학습(QAT)이 필수적이 되었습니다. 그러나 QAT에는 구조적 불일치가 존재합니다. 그래디언트 업데이트는 잠재된 전정밀도 가중치에 적용되는 반면, 손실과 그래디언트는 해당 가중치의 손실성 재구성 값에서 계산됩니다. 이러한 불일치는 차선의 학습 경로와 더 높은 손실 하한(loss floor)으로 이어질 수 있습니다. 2차 PTQ 방식들은 손실 인지 재구성 오차를 최소화하여 유사한 문제를 해결하지만, 가중치가 계속 변화하는 QAT 도중에 이처럼 비용이 큰 재구성을 반복적으로 적용하는 것은 비실용적입니다. 본 논문에서는 경량의 손실 인지 재구성을 학습 루프에 도입한 QAT 방식인 QUASAR를 제안합니다. 매 학습 단계마다 QUASAR는 작은 클리핑 범위 집합을 탐색하고 중요도 가중 최소제곱법을 통해 역양자화 매개변수를 적합함으로써 잠재 가중치를 재구성합니다. 이때 파라미터별 중요도 신호로는 그래디언트 제곱의 지수 이동 평균을 사용합니다. 이론적 분석 결과, QUASAR의 재구성 목적식을 최적화하면 QAT의 수렴 한계와 최종 손실 한계가 모두 엄밀해짐을 보여줍니다. 4가지 모델 계열과 INT4, INT3, INT2 및 NVFP4 양자화 포맷 전반에 걸쳐 QUASAR를 평가했습니다. QUASAR는 경쟁 QAT 방식들보다 지속적으로 더 낮은 학습 및 평가 손실을 달성하며, 다운스트림 벤치마크에서 기존 QAT 및 PTQ 기준선을 능가합니다. INT2에서 QUASAR는 양자화 인지 지식 증류를 적용했을 때 최고 QAT 기준선 대비 평균 정확도를 13.3점 향상시켰고, 수학적 추론 데이터에 대한 QAT에서는 10.9점 향상시켰습니다. 특히 약 6억 개의 토큰만을 대상으로 증류한 후에도 QUASAR의 INT4 Gemma-4 E4B 체크포인트는 Google이 공개한 해당 QAT 체크포인트를 능가하여, KL 발산은 66% 더 낮추고 평균 정확도는 1.8점 더 높은 성과를 거두었습니다.
본 논문에서는 최근의 프록시 기반 언러닝(unlearning) 방법들을 일반화하는 프레임워크를 제안하고, 언러닝된 결과 모델의 행동에 대한 이론적 보장, 즉 보존 데이터(retain data)의 이상적인 사후 분포와의 쿨백-라이블러 발산(Kullback-Leibler divergence)에 대한 상한을 증명합니다. 저자들은 근사 언러닝을 제약 최적화(constrained optimization) 문제로 모델링하고, 해의 집합을 출력 공간에서 스케일링된 언러닝 신호를 도입하는 것으로 해석합니다. 언러닝 신호는 데이터 사후 분포의 프록시로부터 발생합니다. 행동 상한을 보장하기 위해 그 스케일은 프록시에 맞춰 조정됩니다. 이 프레임워크는 프록시를 생성하기 위해 데이터 분포의 구조에 의존합니다. 필요한 경우, 타깃은 가중치 업데이트를 증류하기 위한 교사(teacher) 역할을 수행합니다. 제안하는 접근법은 두 가지 망각 시나리오에서 처음부터 다시 학습(retrained from scratch)된 모델에 가장 근접한 분류기에 도달함을 실험적으로 검증합니다.
합성개구레이더 자동 표적 인식(SAR ATR)은 가간섭성 스페클 노이즈(speckle noise)로 인해 심각한 어려움을 겪고 있으며, 이러한 노이즈 간섭은 계층적 비선형 변환을 거치며 점진적으로 증폭되어 궁극적으로 고수준 의미론적 표현을 손상시킬 수 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 초기 특징 안정화를 위한 주파수-공간 모델링과 의미론적 정규화를 통합한 노이즈 강인 SAR ATR용 타깃 인식 주파수-공간 협업 강화(FSCE) 프레임워크를 제안합니다. 구체적으로는 네트워크 초입부에 주파수-공간 초기 적응형 강화(FS-EAE) 모듈을 설계하여, 협업적 공간-주파수 모델링을 통해 노이즈 전파를 억제하고 타깃 구조를 보존합니다. 안정화된 얕은 표현을 바탕으로 적응형 정책 기반 의미론적 정렬(APSA) 메커니즘을 추가로 도입하는데, 이는 온라인 티처 정책을 사용하여 스튜던트 모델에 하향식 의미론적 제약을 부여하고 학습 중 강화된 초기 특징에 의미론적 가이드를 피드백합니다. MSTAR, OpenSARShip, FUSARShip 데이터셋에서의 실험을 통해 이러한 시너지 효과의 유효성을 입증했습니다. 나아가 단 0.17M개의 파라미터만을 갖는 경량화 구현체 $\text{FSCE-Net}_μ$의 경쟁력 있는 성능은 제안된 프레임워크가 고용량 모델과 경량 아키텍처 모두에 적용 가능함을 보여줍니다.