대규모 이커머스 동적 가격 결정의 해석 가능성 부족과 장기 GMV·ROI·마일스톤 목표와의 불일치를 해결하기 위해, AIGP는 도메인 지식·정형·텍스트 컨텍스트를 활용한 LLM 기반 가격 결정과 오프라인 강화학습으로 학습한 LTVE 보상 모델을 DPO 선호 정렬에 쓰는 프레임워크를 제안한다. Tao Factory 온라인 A/B 테스트에서 14일간 GMV +13.21%, ROI +7.59%, 마일스톤 달성률 +8.20% 향상과 함께 해석 가능한 가격 결정 근거를 제공했다.
DeepSeek-V4의 다중 하이퍼 연결(MHC) 아키텍처에 맞춘 블록 병렬 투기적 디코딩(speculative decoding) 프레임워크 HyperDFlash는 사전 접합(pre-collapse) 잔차 조건화, 하이퍼 연결 헤드에서 상속한 경량 게이트 잔차 축소기, LM 헤드 KL 증류로 MHC와 DFlash 간 특징 불일치를 해소한다. 수학·코드·대화 벤치마크에서 네이티브 MTP와 순수 DFlash보다 평균 수용 draft 길이와 디코딩 속도를 크게 높였다.
재귀 추론 모델은 양자화 오류가 출력 토큰이 아니라 재귀 사이클을 거치며 누적되어, 공격적 압축 시 셀 정확도는 유지되지만 퍼즐 완전 정확도는 0으로 붕괴하는 전역 추론 손실이 나타난다. per-channel 보정 INT4와 carry-trajectory fidelity로 이를 진단·복구할 수 있으며, flash-streamed embeddings와 INT8 단일 사이클 구성으로 8MB SoC, 보정 INT4로 4MB MCU 배포가 가능하다.
금융 서비스에서 로그인 전 웹 클릭스트림의 의도 신호가 인증 이후 개인화에 충분히 쓰이지 못하는 문제를 해결하기 위해, 자기 지도 Transformer가 다중 모달 클릭스트림을 세션 임베딩으로 인코딩하고 LLM 기반 분류체계 생성·지식 증류로 해석 가능한 의도 레이블을 함께 만드는 이중 목적 프레임워크를 제안한다. 프로덕션 모바일 홈페이지 타일 랭킹에서 매크로 Recall@1이 1.88% 향상되고 로그 손실이 13.38% 감소했으며, 증류 분류기는 LLM 호출 없이 초저지연으로 해석 가능한 레이블을 제공한다.
산업 IoT(IIoT) 이상 탐지의 실센서 데이터 의존, 라벨 부족, 오경보, 프라이버시 문제를 해결하기 위해 디지털 트윈과 연합 학습(federated learning)을 통합한 DTFL 방법군(DTML, FPF, LPE, CWA, DTKD)을 제안하고, 합성·실세계 지식을 결합해 전역 모델 성능과 통신 효율을 높인다. 공개 사이버-물리 이상 탐지 데이터셋에서 목표 정확도 80%를 CWA는 33라운드, FPF는 41라운드에 달성했으며 FedAvg와 DTKD는 100라운드 내에 미달해 DT 지식 통합이 수렴을 크게 가속함을 보였다.
안전성 분류기가 프롬프트와 해악 레이블 사이에서 사용자 의도를 명시적 중간 표현으로 학습하도록, 1,724개의 난이도 높은 프롬프트에 의도 설명과 해악 레이블을 주석한 AIMS 데이터셋을 제안하고 지도 미세조정, 선호도 학습(DPO), 추론 증류, GRPO 등 네 가지 학습 방식에서 의도 인식 학습을 평가한다. GRPO로 의도 충실성을 직접 보상한 모델이 다섯 가지 외부 안전성 벤치마크에서 최고 평균 성능을 달성했고, 의도 인식 모델은 추론 지연-F1 파레토 프런티어를 형성해 충실한 의도 모델링이 강건한 안전성 분류를 위한 간결한 지도 신호임을 보여준다.
완료된 온-정책 궤적에서 계층적 후견 스킬(에피소드·스텝 수준)을 추출해 중요 결정 시점 중심으로 라우팅하고, 스킬 증강 컨텍스트에서의 로그 확률 변화를 토큰 수준 자기 증류 이점으로 만들어 결과 기반 강화학습(RL)과 결합하는 OPID를 제안한다. ALFWorld, WebShop, 검색 기반 QA에서 결과만 쓰는 RL과 기존 스킬 증류 베이스라인 대비 에이전트 성능, 샘플 효율, 견고성이 전반적으로 향상되었다.
단일 i.i.d. 테스트 점수로는 드러나지 않는 표본별 일반화를, 정확 회상(D0)부터 구현·문맥·카테고리 전이 및 비페어 기준선(D4)까지 전이 거리별 테스트 변형으로 구성한 Generalization Spectrum 평가 프레임워크로 진단한다. 경쟁 프로그래밍 벤치마크에서 동일 암기 수준으로 비교한 결과 RL은 SFT 계열보다 암기를 근거리 전이로 더 효율적으로 전환하고 ICL은 강하지만 대응 관계에 의존하며, 추상화·힌트는 국소 전이를, RFT는 SFT 대비 원거리 전이 꼬리를 더 잘 보존하는 등 국소 이득이 일반화 반경 확대와 항상 일치하지 않음을 프로파일로 보여준다.
온-정책 자기 증류(OPSD)는 대규모 언어 모델(LLM)의 사후 학습(post-training)에 효과적인 것으로 입증되었으나, 디퓨전 LLM(dLLM)에 대한 적용은 아직 탐구되지 않았습니다. 기존 OPSD 방법들은 본질적으로 자기회귀(autoregressive) 중심적입니다. 이들은 토큰 수준 발산(token-level divergence) 감독 하에 왼쪽에서 오른쪽으로의 접두 문맥(prefix) 조건부 주입을 통해 특권 정보를 주입하는데, 이는 dLLM의 임의 순서 생성(arbitrary-order generation)과 근본적으로 충돌하는 설계입니다. 우리는 dLLM에 맞춰진 최초의 OPSD 프레임워크인 d-OPSD를 소개합니다. 우리의 접근법은 두 가지 핵심 기여를 합니다. 첫째, 우리는 스스로 생성한 답변을 접미사 조건부(suffix conditioning)로 사용하여 자기 교사(self-teacher) 구성을 재정립함으로써, 학생 모델(student model)이 특권 접두 문맥(privileged prefixes)이 아닌 "자기 미래 경험(self future-experience)"으로부터 학습하도록 합니다. 둘째, 우리는 감독(supervision)을 토큰 수준에서 단계 수준(step-level)으로 전환하여, 학습을 dLLM의 반복적 노이즈 제거(iterative denoising) 과정에 정렬합니다. 네 가지 추론 벤치마크(reasoning benchmarks)에 걸친 실험 결과, d-OPSD는 우수한 샘플 효율성(sample efficiency)으로 RLVR 및 SFT 기준선(baselines)을 일관되게 능가하며, RLVR의 최적화 단계(optimization steps) 중 약 10%만을 요구하여 dLLM 사후 학습(posttraining)을 위한 유망한 경로를 열고 있습니다. 코드는 https://github.com/xingzhejun/d-OPSD에서 확인할 수 있습니다.
IWSLT 2026 교차 언어 음성 복제(Cross-Lingual Voice Cloning) 공유 과제를 위해 OmniVoice 기반 시스템을 구축하고, ACL 60/60 코퍼스에서 다중 모델 앙상블 지식 증류로 합성 데이터를 만든 뒤 언어별 LoRA 미세조정을 적용했다. 아랍어·중국어·프랑스어 과학 텍스트에서 명료도(WER·CER)와 화자 유사도(SIM)가 개선되었으며, 향상 폭은 언어마다 달랐다.
검증기·교사 모델·강화학습 없이 모델 자체 출력만으로 학습하는 단순 자기 증류(SSD)를 제안하며, 특정 온도와 truncation으로 샘플링한 뒤 표준 지도 미세조정(SFT)을 적용한다. LiveCodeBench v6에서 Qwen3-30B-Instruct의 pass@1이 42.4%에서 55.3%로 향상되고 어려운 문제에서 이득이 크며, 디코딩의 정밀도-탐험 충돌을 맥락에 따라 완화하는 토큰 분포 재형성이 핵심 기제로 설명된다.
서로 다른 LLM·토큰 유형을 쓰는 VLM 간 지식 증류가 어렵다는 문제에 Recalibrator로 특징 표현을 정렬·적응시키는 범용 증류 프레임워크 GenRecal을 제안한다. 다수의 벤치마크에서 기준선 성능을 크게 향상시켜 대규모 공개·폐쇄형 VLM을 능가하는 결과를 보였다.
자율주행 실내 운전자 모니터링을 위해 실내 RGB와 HR/EDA 생리 신호를 결합한 경량 student와 학습된 게이트로 빠른 예측 수용·안전 기권을 선택하는 비용 인식 선택적 추론 프레임워크를 제안하며, 잠재 운전자 상태를 전개하는 월드 모델링으로 미래 오류와 행동 비용을 예측한다. 시나리오 유발 운전자 수요 인식에서 11.39M 파라미터·3.08ms 지연으로 Macro-F1 0.7440과 균형 정확도 0.9099를 달성하고, 불안전한 위음성을 약 17%에서 5% 수준으로 줄이면서 배포 가능한 지연 시간을 유지한다.
Qwen3-8B-base 기반의 투명한 ablation 사후 학습 파이프라인 NebulaExp는 instruct와 추론 특화 두 분기에서 384만 SFT 샘플·20만 RL 후보 풀과 응답 증류·필터링·난이도 등급 등 end-to-end 데이터 처리 스택을 공개하고 SFT, GRPO, OPD(MOPD)를 체계적으로 검증한다. Instruct 분기는 평균 벤치마크를 55.01에서 61.85로, Reasoning 분기는 중간 난이도 GRPO로 추론 점수를 73.88에서 75.17로 올리며, 데이터 정확성 필터링이 1차 최적화 요인이고 소량 샘플의 OPD·MOPD가 RL 기준선을 능가할 수 있음을 보인다.
유사 작업을 매번 처음부터 푸는 에이전트의 불필요한 추론과 긴 실행 트레이스를 줄이기 위해 SkillDisCo는 FSM 정의 시나리오에서 성공 트레이스로부터 재사용 가능한 PFSM 서브그래프를 증류하고 호출·실행·검증 가능한 절차적 스킬로 컴파일하는 프레임워크를 제안한다. ALFWorld와 WebArena 실험에서 벤치마크와 모델 규모 전반에 걸쳐 성공률을 높이고 에이전트 턴 수를 줄였다.
LiveEdit는 실시간 스트리밍 비디오 편집에서 배경·비편집 영역 보존과 낮은 지연을 위해 인과적 프레임별 편집을 수행하며, 양방향 foundation model에서 단방향 스트리밍 편집기로 편집 능력을 점진 전이하는 3단계 지식 증류와 AR 지향 마스크 캐시로 프레임 간 중복 연산을 줄인다. 스트리밍 베이스라인 대비 최첨단 시각 품질을 유지하면서 추론 속도를 12.66 FPS까지 높여 대화형·증강 현실 응용에 적합함을 보였다.
이벤트 카메라의 낮은 중복성과 동적 움직임 강조 특성을 영상 이상 탐지(VAD)에 활용하기 위해, UCF-Crime 등 기존 RGB 데이터셋에서 시뮬레이션된 대규모 이벤트 스트림 벤치마크를 구축하고, 이벤트 밀도 기반 동적 샘플링·밀도 변조 어텐션·RGB-to-event 지식 증류를 결합한 EWAD 프레임워크를 제안한다. 세 벤치마크 실험에서 EWAD는 기존 이벤트 기반 방법 대비 유의미한 성능 향상을 달성하며 이 분야의 강력한 베이스라인을 제시한다.
기존 확산 모델 기반 데이터셋 증류의 분포 이동과 다단계 증류 한계를 피하기 위해, 사전학습된 확산 모델의 노이즈 예측 손실로 원본 이미지에서 클래스 관련 패치를 선택하고 클래스 내 클러스터링·순위화로 다양성을 확보하는 프레임워크를 제안한다. 단일 단계 증류 파이프라인으로 대규모 데이터셋과 복잡한 네트워크 설정에서 기존 최신 방법들을 다양한 지표에서 일관되게 능가한다.
자기회귀 언어 모델을 포함하는 광범위한 판별 모델 계열에 대해, 식별 가능성(identifiability) 결과는 두 모델이 동일한 조건부 분포를 유도한다면 그 내부 표현이 가역 선형 변환 범위 내에서 동일함을 함의한다. 우리는 분포들이 동일하지 않고 단지 가까울 때 유사한 결론이 근사적으로 성립하는지 묻는다. KL 발산에서의 근접성이 높은 선형 표현 유사성을 반드시 함의하지 않는다는 Nielsen et al. (2025)의 관찰을 바탕으로, 우리는 로짓 차이에 기반한 분포적 거리를 연구하고 이 거리에서의 근접성이 실제로 선형 유사성 보장을 제공함을 보인다. 구체적으로, 우리는 모델의 식별 가능성 클래스에 기반한 표현 비유사성 측도를 정의하고 이것이 로짓 거리에 의해 상한이 지어짐을 증명한다. 나아가, 모델 확률이 0으로부터 충분히 멀어져 있을 때 KL 발산이 로짓 거리의 상한이 됨을 보이지만, 이로부터 얻어지는 상한은 실제로 비자명한(nontrivial) 제어를 제공하지 못함을 보인다. 결과적으로, KL 기반 지식 증류(distillation)는 교사 모델의 예측을 맞추면서도 인간이 해석 가능한 개념의 선형 프로브(linear-probe) 복원 가능성과 같은 선형 표현 속성을 보존하지 못할 수 있다. 합성 및 이미지 데이터셋에서의 지식 증류 실험에서, 로짓 거리 지식 증류는 KL 기반 방법에 비해 더 높은 선형 표현 유사성과 교사 모델의 선형적으로 복원 가능한 개념의 더 나은 보존을 갖는 학생 모델을 생성한다.
온-정책 자기 증류(on-policy self-distillation)는 단일 모델을 교사와 학생 모두로 활용하며, 교사가 올바른 데모를 조건으로 밀도 높은 토큰 수준의 피드백을 제공함으로써 강력한 pass@1 정확도를 달성한다. 우리는 이 방식이 숨겨진 비용을 수반할 수 있음을 보인다: 롤아웃 다양성이 감소하고 pass@k 곡선이 평탄화되어(즉, 더 많은 롤아웃을 생성해도 정확도가 향상되지 않는다) 나타난다. 우리는 이를 샘플링된 데모를 활용한 자기 증류 설계에서의 복합적 편향으로 추적한다. 교사는 샘플링된 올바른 롤아웃을 조건으로 각 학생 롤아웃을 채점하며, 피드백을 모델 자체의 편향을 통해 전달한다. 우리는 최적 자기 증류 정책을 이론적으로 분석하고, 이것이 학생의 롤아웃과 컨텍스트로 사용된 올바른 롤아웃 사이의 포인트별 조건부 상호 정보(pointwise conditional mutual information) 점수만큼 기본 분포를 기울인다는 것을 보인다. 동등하게 올바른 롤아웃들 간의 확률 비율을 보존하는 이상적인 온-정책 강화학습(RL)과 달리, 자기 증류는 기존의 확률 격차를 증폭시켜 이미 지배적인 모드에 확률 질량을 집중시킬 수 있다. 통제된 그래프 경로 탐색 태스크와 과학 질의응답 벤치마크에서, 자기 증류된 모델은 평균 성능에서 강화학습과 동등하거나 이를 초과하지만, 기능적·의미론적 다양성이 현저히 낮아 다양한 전략을 요구하는 분포 외(out-of-distribution) 환경에서 실패한다.