최적 수송(OT) 및 그로모프-바세르슈타인(GW) 정렬은 이종 데이터셋을 비교, 변환, 집계하기 위한 해석 가능한 기하학적 프레임워크를 제공하며, 이러한 작업은 데이터 과학 및 머신러닝 전반에 걸쳐 흔히 사용됩니다. 이 프레임워크들은 연산 비용이 높기 때문에, 대규모 응용 분야에서는 2차 비용(quadratic cost) 하에서 가우시안 분포의 닫힌 형식 해(closed-form solution)에 의존하는 경우가 많습니다. 본 연구는 가우시안 및 2차 비용 기반 OT와 내적 GW(IGW) 정렬을 포괄적으로 다루며, 문헌에 존재하는 몇 가지 공백을 해소하여 적용 범위를 확장합니다. 먼저, 가분 힐베르트 공간 상의 중심화되지 않은(uncentered) 가우시안 간의 IGW 정렬이라는 미해결 문제를 다루며, 등장 사상 및 공등장 사상(유한 차원에서는 직교 행렬)에 대한 2차 최적화를 통해 엄밀한 변분 특성화를 제시하고 이에 대한 긴밀한 해석적 상한 및 하한을 도출합니다. 적어도 하나의 가우시안 측도가 중심화되어 있는 경우, 해는 완전한 닫힌 형식의 표현식으로 단순화되며, 이를 중심화된 가우시안 간의 IGW 무게중심(barycenter)에 대한 해석적 해로 확장합니다. 또한 쌍별(pairwise) 2차 비용을 갖는 가우시안 다중 주변(multimarginal) OT를 다루기 쉬운(tractable) 최적화 문제로 환원하고, 이 문제의 모든 2차 정류점(second-order stationary point)이 전역 최적임을 증명합니다. 본 접근법의 유용성을 입증하기 위해, 이미 학습된 언어 모델 증류의 임베딩 분포를 비교하고 텍스트 임베딩의 공분산 스펙트럼을 사용하여 합성 사용자를 클러스터링합니다.
온-정책 자가 증류(OPSD)는 학생 모델 자신의 정책에서 샘플링된 궤적에 대해 조밀한 토큰(token) 수준의 피드백을 제공하며, 이는 강화학습(RL)의 결과 수준 보상보다 더 풍부한 학습(training) 신호가 됩니다. 이 피드백은 학생에게는 주어지지 않는 완전한 참조 해법을 조건으로 하는 교사 모델로부터 생성됩니다. 그러나 참조 해법은 목표를 명시할 뿐 학생의 현재 오류에서 목표로 나아가는 방법을 알려주지는 않으므로, 해법 조건부 지름길 위험(solution-conditioned shortcut risk)을 초래합니다. 본 논문에서는 오류에서 복구로 이어지는 지도(supervision)를 제공하는 온-정책 증류 프레임워크인 적응형 반복 복구 AIR-OPD를 제안합니다. 실패한 응답이 주어지면 가이던스 생성기는 현재 오류에 대한 복구 가이던스를 합성합니다. 학생은 이 가이던스를 바탕으로 온-정책(on-policy) 재시도를 샘플링합니다. 재시도가 여전히 틀릴 경우, 생성기는 새롭게 관찰된 오류에 대한 새로운 복구 가이던스를 생성합니다. 각 라운드마다 고정된 교사는 특권 문맥(privileged context)으로 가이던스를 받아 최신 실패 응답 중 오류와 일치하는 영역에 대해 학생을 지도합니다. 결과 인식 단계별 가중치(Outcome-aware stage weighting)는 초기 복구 단계를 선호하며, 즉각적인 재시도가 검증을 통과한 단계에 가중치를 부여합니다. DAPO-Math-17K 데이터셋으로 AIR-OPD를 학습하고 AIME24, AIME25, HMMT25 및 분포 외(out-of-distribution) 테스트인 MMLU-Pro와 GPQA에서 평가를 진행합니다. 현재 학생 정책의 자체 가이던스와 더 큰 모델(model)의 외부 가이던스라는 두 가지 가이던스 소스를 검토합니다. Qwen3-4B와 Qwen3-8B 모두에서 AIR-OPD는 가장 높은 수학적 추론 평균을 달성하여 가장 강력한 기준선(baseline) 대비 최대 3.6점을 개선하는 동시에, 분포 외 벤치마크에서 기본 모델의 성능을 유지합니다.
대규모 언어 모델(LLM) 에이전트는 롤아웃(rollout) 과정이 느린 것으로 알려져 있습니다. 에이전트는 한 번에 한 단계씩 작업을 완료합니다. 각 단계에서 에이전트는 추론을 수행한 후 실행할 행동을 선택합니다. 다음 단계와 행동은 이전 단계가 끝날 때까지 시작될 수 없습니다. 추측 디코딩(speculative decoding)은 추론 토큰을 초안 작성(drafting)하고 검증함으로써 추론 단계에서의 롤아웃 속도를 가속합니다. 최근 연구들에서는 행동 단계에도 유사한 아이디어를 적용하기 시작했습니다. 이러한 연구들은 타깃 모델(target model)이 검증할 수 있도록 행동 제안 초안을 작성하기 위해 기존에 구축된 상용 모델(off-the-shelf model), 주로 대형 모델을 사용합니다. 대형 초안 모델은 타깃과 더 자주 일치하지만 제안을 작성하는 데 더 오랜 시간이 걸리는 반면, 소형 상용 모델은 빠르지만 타깃과 동일한 결정을 내리는 경우가 드뭅니다. 본 논문에서는 더 일반적인 질문을 던집니다. 행동 추측의 엔드투엔드(end-to-end) 가속을 결정하는 요인은 무엇인가? 이에 답하기 위해, 본 연구에서는 추측 라운드에 대한 지연 시간(latency) 프레임워크를 개발합니다. 이 프레임워크는 한 라운드에서 얻는 이득과 소요되는 비용을 비교합니다. 이득은 초안 모델이 타깃을 얼마나 잘 예측하는지, 그리고 작업이 종료되기까지 얼마나 많은 단계를 거칠 수 있는지에 따라 달라집니다. 비용은 초안 작성, 타깃의 검증 대기 시간, 도구 실행에서 발생합니다. 이 프레임워크를 바탕으로, 본 연구에서는 초안 모델의 크기를 작게 유지하면서 타깃의 행동 시퀀스로 학습(training)시켜 정확도를 높이는 LEAP(Learning Efficient Action Proposals)을 소개합니다. 0.6B 크기의 소형 모델을 사용하는 LEAP은 대부분의 결정에서 타깃과 일치하며, 작업 성공률의 체계적인 변화 없이 에이전트의 엔드투엔드 실제 소요 시간(wall clock time)을 최대 60% 단축합니다. 다양한 데이터셋, 타깃 모델 및 초안 모델에 걸쳐 본 프레임워크는 측정된 속도 향상의 대부분을 설명합니다. 또한 사전 트레이스 수집 없이도 초안 모델을 온라인 학습할 수 있으며 오프라인 학습의 성능과 일치함을 입증하여, LEAP이 실제 환경에 배포하기에 실용적임을 보여줍니다.
제로샷(zero-shot) 분류기는 사용자 요청을 특화된 LLM 작업으로 라우팅하는 데 유용하지만, 모든 요청을 대규모 후보 집합에 대해 채점하는 것은 비용이 많이 든다: 제로샷 NLI(자연어 추론) 분류기는 레이블마다 전제-가설(premise-hypothesis) 쌍을 하나씩 평가해야 하므로, 비용이 분류 체계(taxonomy) 크기에 선형적으로 증가한다. 우리는 60개의 LLM 작업 범주로 구성된 고정된 분류 체계에 대해 학생 모델 주도 교사 증류 파이프라인을 연구한다: 소형 ModernBERT 분류기가 한 번의 순전파(forward pass)로 전체 범주 분포를 예측하고 소규모 top-k 후보 집합을 검색하며, 더 큰 DeBERTa-v3 제로샷 NLI 분류기는 60개 레이블 전체가 아니라 이 후보들만 재순위화(rerank)한다; 그 결과로 생성된 교사 레이블은 반복적으로 학생 모델을 개선하며, 이는 다음 라운드에서 더 정교한 후보를 생성한다. 극단적 다중 레이블 분류(extreme multi-label classification)에서 사용되는 일반적인 임베딩 검색이나 클러스터링 기반 숏리스트와 달리, 우리의 후보 생성기는 대상 분류 체계에 대해 종단간(end-to-end)으로 학습되며, 프로덕션 트래픽을 모델 서빙(model serving)하는 것과 동일한 모델이다. 이는 후보 모델들 사이를 라우팅하는 LLM 라우팅 연구와, 학습 방법론이 문서화되지 않았거나 강화학습(RL) 기반인 동시대의 System-1 인코더-분류기 제안들(예: TypeSafe AI의 Jev 및 오픈소스 Laya 프로젝트)과 구별된다. 우리의 최고 성능 학생 체크포인트는 200개 예제로 구성된 평가셋에서 77.5%의 교사 일치율(teacher agreement)을 달성하며, 예비 커버리지(coverage) 측정 결과 Coverage@16이 91-100%로 나타나, top-k 집합이 교사의 결정에 관련된 정보 대부분을 유지함을 시사한다. 우리는 또한 잘린(truncated) top-k 교사 점수를 KL 증류를 위한 전체 60개 클래스 소프트 타겟(soft target)으로 취급해서는 안 됨을 보인다: 잘리지 않은 클래스를 0으로 만드는 것은 소프트 레이블 증류가 의존하는 다크 지식(dark knowledge)을 파괴하며, 이는 무해한 희소 근사(sparse approximation)가 아니라 체계적인 바이어스(bias)를 유발한다. 보류 평가셋(held-out set)에서 여러 k 값에 대한 커버리지, 임베딩 검색 기준선(baseline), 그리고 사람이 검토한 더 큰 테스트셋을 포함하는 완전한 평가는 아직 진행 중이다.
LLM 압축은 추론 비용과 메모리 요구량을 줄여주지만, 비슷한 자원 절감으로도 서로 다른 능력 손실이 발생할 수 있기 때문에 압축 방법과 설정을 선택하는 일은 대부분 경험적으로 이루어진다. 본 연구는 가지치기(pruning), 양자화(quantization), 지식 증류(distillation) 전반에 걸쳐 LLM 압축에 대한 능력 축소 스케일링 법칙을 체계적으로 조사한다. 우리의 프레임워크는 수학, 코드 생성, 질의응답에서의 능력 손실을 측정하고, 이 측정값을 모델 크기, 학습 단계, 압축 설정, 데이터 가용성, 학습 노출(training exposure)과 연관시킨다. 우리는 단순한 예측 관계식을 개발하고, 그 정확도, 측정 효율성, 그리고 보지 못한 설정 및 모델 상태로의 일반화 성능을 평가한다. 가지치기 수준 전반에서 밀도 반응(density response)을 공유하면 가지치기 예측기를 적합시키는 데 필요한 설정 측정 횟수가 절반으로 줄어든다: 새로운 Pythia 상태, 사전 등록된(pre-registered) OLMo-2 테스트 상태, 그리고 Wanda 가지치기 하에서, 이 간결한 관계식은 수학과 코드에 대한 모든 측정값으로 적합시킨 회귀 모델과 토큰당 0.020 나트(nats) 이내로 일치하며, 계수는 각 설정마다 다시 적합된다. 통제된 지식 증류 실험은 과도한 데이터 재사용(heavy data reuse)의 비용이 질의응답 분포 전반에서 반복적으로 나타나는 반면, 순이익(net benefit)은 평가 분포에 따라 달라짐을 보여준다. 우리는 또한 수치적 선택(numerical selection)을 설정 중앙값(configuration median) 및 고정된 방법 우선순위(fixed method priority)와 비교함으로써 이러한 예측의 의사결정 가치를 평가한다. 두 모델 패밀리에 대한 독립적인 평가 결과, 테스트된 후보 집합 내에서 선택 방식이 질의응답에 대해 얻을 수 있는 방법 간 이점(cross-method benefit)의 대부분을 포착하며, 이때 고정된 방법 우선순위도 동일한 리그렛(regret)을 달성하는 반면, 수학과 코드에서는 그 기회가 더 작음을 보여준다. 이러한 결과는 능력 축소 스케일링 법칙의 예측 범위와 압축 방법 선택에서의 활용 방안을 명확히 한다. 코드는 다음 주소에서 공개되어 있다: https://github.com/LabRAI/scaling_down_law.
심층 신경망(neural network)은 계층화된 수치 변환을 통해 높은 정확도를 달성하지만, 결정 근거가 명시적 규칙이 아닌 은닉 활성화에 인코딩되어 있어 결정을 검증하기 어렵습니다. 본 논문에서는 이진 신경망 교사 모델의 마지막 층(layer) 활성화 벡터(LLAV)를 세틀린 머신(TM) 절(clause)로 재구성하는 프레임워크인 CRISP를 소개합니다. CRISP는 교사 모델의 마지막 직전 층 로짓(logit) 전 활성화를 부호 기준 이진화하고, 각 LLAV 뉴런에 개별 TM(ITM)을 하나씩 할당합니다. 재구성된 각 은닉 비트는 불리언화(Booleanized)된 입력 특성에 대한 명제 절로 표현되어, 명명된 입력 임계값에서 명명된 교사 뉴런까지의 직접적인 기호적 추적을 제공합니다. CRISP는 BinaryConnect 합성곱 신경망(BCCNN) 교사 모델과 완전 이진 신경망(BNN) 교사 모델을 사용하여 MNIST, KMNIST, FashionMNIST(FMNIST), SVHN, CIFAR10에서 평가되었으며, 다양한 비트 심도에서의 이진 임계값 처리, 서모미터 인코딩(thermometer encoding), 사분위수 비닝(quartile binning)에 대한 추가 연구도 수행되었습니다. 실험 결과에 따르면 테스트된 BNN 설정에서 LLAV 부호 이진화는 교사 헤드 정확도를 저하시키지 않는 반면, ITM 재구성 오차가 주된 제한 요인인 것으로 나타났습니다. 사분위수 1비트 불리언화는 SVHN에서 87.52%의 테스트 충실도로 가장 높은 재구성 충실도를 보였고 CIFAR10에서도 경쟁력 있는 성능을 보였으며, 재구성된 LLAV는 FMNIST에서 78.41%의 교사 헤드 정확도를 유지했습니다. 풀링된 절-근거 시각화는 학습된 ITM 리터럴(literal)이 중앙 집중형 벤치마크에서 객체 영역에 집중됨을 보여줍니다. 따라서 CRISP는 이진 신경망 교사 모델의 최종 은닉 표현을 검사할 수 있는 절 수준의 경로를 제공합니다.
플로우 맵 증류(flow-map distillation)는 사전학습(pre-training)된 생성 상미분방정식(generative ODE)의 유한 시간 전이(finite-time transition)를 학습함으로써 1단계 및 소수 단계 생성을 가능하게 합니다. 본 연구에서는 교사(teacher) 모델의 시간 매개변수화를 변경하는 것이 이러한 전이 과정을 더 쉽게 학습하도록 만들 수 있는지 조사합니다. 법선 가속도(normal acceleration)가 큰 궤적 구간이 증류(distillation)하기 더 어렵다는 가설에 착안하여, 교사 모델의 기하학적 경로와 종단 분포(terminal distribution)를 보존하면서 이러한 영역에 학생(student) 모델의 시간을 더 많이 할당하는 기하학 인지(geometry-aware) 시간 재매개변수화를 제안합니다. 적절한 가정 하에 모집단 법선 가속도 통계량을 균등화하는 공유 클록(shared clock)을 유도하고, 교사 궤적 전반에 걸친 강건하고 정규화된 추정치로부터 실용적인 근사치를 구성합니다. 이 클록을 라그랑지안 플로우 맵 증류(Lagrangian flow-map distillation)에 통합하여 변환된 시간 좌표를 학생 모델의 조건으로 사용합니다. 이 클록은 증류 전에 한 번만 추정되며 교사 모델의 재학습이나 추가적인 학생 모델 파라미터, 혹은 추론(inference) 시점의 추가 네트워크 평가를 필요로 하지 않습니다. 합성 데이터, CIFAR-10, CelebA-64에 대한 실험은 동일한 추론 예산 하에서 항등 시간 증류(identity-time distillation) 대비 향상된 샘플 품질을 보여주며, 여기에는 1단계 및 2단계 이미지 생성의 성능 향상이 포함됩니다. 중간 샘플링 시간을 조정할 수 없는 1단계 생성에서의 성능 향상은 증류 과정에서 시간 재매개변수화가 제공하는 이점을 명확히 보여줍니다.
온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.
검증 가능한 보상 기반 강화학습(RLVR)은 일반적으로 정답의 정확성을 최적화하지만, 유용한 언어 모델 동작을 위해서는 고품질의 추론과 간결한 응답 또한 필요합니다. 기존의 다중 보상 사후 학습(post-training) 방법들은 대개 보상을 스칼라화하거나 명시적인 보상 우선순위를 보호하지 않고 전문가 모델들을 결합합니다. 이는 트레이드오프가 비대칭적일 때 문제가 됩니다. 예를 들어 간결성을 개선하기 위해 정확성을 희생해서는 안 됩니다. 본 논문에서는 명시적인 우선순위 하에서 보상 특화 정책들을 통합하기 위한 다중 교사 방법인 사전식 다중 목적 온-정책 증류(LMOPD)를 소개합니다. 학생 모델의 각 롤아웃(rollout)에 대해, LMOPD는 게이트가 결함을 감지한 첫 번째 목적의 전문가를 선택한 다음, 더 높은 우선순위의 전문가와 상충하는 구성 요소를 제거하도록 중심화된 로그-정책 보정을 국소적으로 투영합니다. 저자들은 3개의 수학 벤치마크에서 2개 및 4개 전문가 설정의 30B-A3B 전문가 혼합(MoE) 트랜스포머 모델을 평가하여 유지된 전문가 성능 향상을 측정합니다. 2개 전문가 설정에서 LMOPD의 점 추정치는 정확도와 추론 품질 향상을 온전히 유지하면서 간결성 향상의 $46.9\%$를 확보합니다. 4개 전문가 설정에서는 차상위 기준선(baseline)이 $\approx57\%$에 그친 것에 비해 정확도 향상과 추론 정확성 향상을 모두 $\approx90\%$ 유지합니다. 동일 조건의 4개 전문가 어블레이션 연구는 사전식 라우팅이 무작위 라우팅보다 우수하며 투영이 최우선 역량을 더욱 강화함을 보여줍니다. 두 규모 모두에서 LMOPD는 평가된 기존 기준선보다 최우선 역량을 더 효과적으로 보존하여 전문가 통합에서 명시적 우선순위의 가치를 입증합니다.
파운데이션 멀티모달 대규모 언어 모델(MLLM)은 다양한 도메인에 걸쳐 광범위한 역량을 지원하도록 설계되었습니다. 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)는 도메인 특화 전문성을 단일 학생 모델로 통합하는 효과적인 프레임워크를 제공합니다. 그러나 MOPD 학습은 학생 모델을 점차 초기화 모델로부터 멀어지게 만들며, 이러한 변위가 커짐에 따라 일반 역량이 저하되어 역량 간섭(capability interference)이 발생합니다. 이에 대한 직접적인 해결책은 학생 모델이 초기화 상태에 머물도록 제약을 가하는 것이지만, 이는 도메인 전문성 획득 역시 억제합니다. 본 논문에서는 각 교사에 의해 직접 업데이트되는 현재 학생 모델인 빠른(fast) 모델과, 학생 모델의 지수 이동 평균(EMA)인 느린(slow) 모델을 결합한 느림-빠름 다중 교사 온-정책 증류(Slow-Fast Multi-Teacher On-Policy Distillation, SF-MOPD)를 제안합니다. 느린 모델은 학습 신호를 점진적으로 흡수하여 일반 파운데이션 역량과 검증된 도메인 전문성을 융합하는 이동 역량 기준점(moving capability reference) 역할을 수행합니다. 각 교사에 대해 SF-MOPD는 로그 확률 공간에서 교사가 유도한 업데이트를 계산하고, 정렬된 성분과 직교 성분은 유지하면서 빠른 모델을 느린 모델로부터 더 멀어지게 만드는 성분만을 제거합니다. 다양한 모델 규모에 걸친 실험을 통해 SF-MOPD가 역량 간섭을 효과적으로 완화하고 특화된 멀티모달 역량을 향상하며 일반 역량 벤치마크에서의 평균 성능 저하를 줄여 바닐라 MOPD를 지속적으로 능가함을 입증합니다.
응급 흉부 X선(CXR) 중증도 분류(triage)에는 구조적인 모달리티 격차가 존재합니다. 즉 판독문은 분류 결정 이후에 도착하지만, 멀티모달 파운데이션 모델은 영상-텍스트 입력을 모두 필요로 합니다. 본 논문에서는 대규모 비전-언어 모델(LVLM)이 생성한 판독문 변형들을 잠재적 임상 해석의 몬테카를로(Monte Carlo) 샘플로 취급하는 지식 증류(distillation) 프레임워크인 변분 위험 최소화(Variational Risk Minimization, VRM)를 제안합니다. 단일 교사 모델의 타깃으로부터 증류하는 대신, VRM은 변분적으로 한계화된(variationally marginalized) 교사 분포로부터 학습하여 모달리티 누락 제약 조건 하에서도 불확실성을 인식하는 감독(uncertainty-aware supervision)을 가능하게 합니다. 동일한 인코더 패밀리 조건에서, VRM은 직접적인 미세조정 베이스라인보다 우수한 성능을 보이며 환각(hallucination) 감독으로부터 강력한 복원력을 보여 캘리브레이션을 개선합니다. 한계화된 감독은 판독문 선택의 불안정성을 완화합니다. 소형 엣지-학생 모델 구현에서, 신뢰도 게이팅 캐스케이드는 20.3%의 클라우드 이관율과 평균 103ms의 지연 시간으로 AUC 0.941을 달성하여, 클라우드-엣지 임상 워크플로우를 위한 명시적인 신뢰성-지연 시간 운용점을 제공합니다.
온-정책(on-policy) 증류(OPD)는 학생이 생성한 궤적에 대한 교사의 피드백을 통해 소형 언어 에이전트를 학습시킵니다. 멀티턴 태스크에서는 누적되는 오차로 인해 학생이 교사의 효과적인 지도 범위를 벗어날 수 있습니다. 본 연구에서는 실행 증거를 바탕으로 기성(off-the-shelf) 교사 모델의 채점 컨텍스트를 풍부하게 하는 그래프 조건부 온-정책 에이전트 증류(GC-OPD)를 제안합니다. 그래프는 완전한 성공 및 실패 이력을 보존하면서 공유된 상태를 기준으로 반복적인 교사 실행을 색인화합니다. 각 학생 에피소드 후, GC-OPD는 현재 상태 참조 또는 과거의 대안을 검색하고 이를 학생의 사후 판단과 결합하여 원래의 생각-행동 토큰을 채점합니다. 동일한 기존 교사를 사용할 때, GC-OPD는 바닐라 OPD 대비 평균 성공률을 ScienceWorld(4B 학생)에서 24.70%에서 48.78%로, ALFWorld Unseen에서 53.36%에서 85.26%로, WebShop에서 29.10%에서 37.65%로 향상시킵니다. 일치하는 학생 크기에서 ScienceWorld 및 ALFWorld의 GRPO 학습 교사를 사용하는 모든 평가 대상 OPD 기준선보다 높은 평균 성공률을 달성하며, 가장 강력한 ScienceWorld 4B 기준선은 46.66%에 도달합니다. GC-OPD는 태스크별 교사 최적화를 필요로 하지 않습니다.
유전체 모델이 학습에 사용된 합성 서열의 탐지 가능한 기록을 유지할 수 있을까요? 본 연구에서는 코돈(codon) 인식 기반의 그린리스트(green-list) 워터마킹 확장 기법인 GenoTrace를 통해 증류(distillation) 과정에서의 워터마크 상속을 연구합니다. 두 가지 토큰 수준 요인이 코돈 위치와 유기체 특이적 코돈 사용 빈도를 활용하여 교사(teacher) 모델의 생성 바이어스를 조절합니다. 이렇게 생성된 서열로 더 작은 학생(student) 모델을 학습시키며, 학생 모델의 출력은 활성 워터마크 프로세서 없이도 감사를 받습니다. 3개의 시드를 사용한 GenomeOcean-500M에서 100M으로의 증류 실험에서, 결합 구성은 고정된 임계값에서 평균 감사 점수 17.88과 94.5%의 탐지율을 달성했습니다. 또한 키 인식 토큰 치환 후에도 49.0%의 탐지율을 유지하여 단일 시드 일반 워터마크 비교군의 0%와 대비되었으며, 메커니즘을 표적으로 한 뉴클레오타이드 편집을 결합한 후에도 47.0%의 탐지율을 유지했습니다. 추가 실험을 통해 5개의 유기체 조건부 데이터셋과 최대 40배의 교사-학생 크기 비율 전반에서 상속된 신호가 확인되었습니다. 구성 요소 절제 연구와 전산 서열 품질 분석은 탐지 강도 및 코딩 커버리지에 대한 뚜렷한 작동 지점을 보여줍니다. GenoTrace는 실용적인 토큰 수준 구조를 제공하며, 유전체 구조가 상속된 워터마크 신호를 어떻게 형성하는지에 대한 실증적 설명을 제시합니다. 본 연구 결과는 공유 토크나이저 증류 및 테스트된 편집 절차에 관한 것이며, 캘리브레이션과 생물학적 유용성은 별도의 평가 요건으로 다루어집니다.
비디오 확산 모델(video diffusion model)은 노이즈 제거(denoising) 과정에서 긴 시공간 토큰 시퀀스를 반복적으로 처리하므로, 어텐션이 주요한 계산 병목점이 됩니다. 선형 어텐션(linear attention)은 매력적인 대안을 제공하며 최근 대규모 언어 모델(LLM)에 널리 도입되었으나, 비디오 모델에 직접 적용할 경우 고품질 생성에 필요한 세밀한 상호작용을 보존하지 못하는 경우가 많습니다. 본 논문에서는 장거리 비디오 문맥을 위해 로컬 소프트맥스 어텐션과 양방향 선형 메모리를 결합한 Video DeltaNet(VDN)을 제시합니다. VDN의 선형 브랜치는 공간 토큰들을 함께 통합하여 프레임당 한 번 메모리를 업데이트하는 Video Delta Attention(VDA)을 도입합니다. 별도의 출력 투영(output projection)과 학습 가능한 게이트가 두 브랜치를 보정하며, 단계별 교사 정렬(teacher-alignment) 레시피를 통해 사전학습된 모델에 새로운 경로를 점진적으로 도입합니다. 저자들은 MiniMax H3에 VDN을 구현하여 텍스트나 오디오와 관련된 상호작용에는 소프트맥스를 유지하면서 비디오 간 상호작용에 하이브리드 방식을 적용했습니다. 8단계 지식 증류와 최적화된 SGLang 서빙 스택을 갖춘 VDN-H3은 8개의 NVIDIA B200 GPU에서 14.3초 길이의 768p 비디오에 대한 DiT 노이즈 제거를 6.70초 만에 완료하며, 이는 동일한 GPU 수에서 50단계 밀집 H3 기준선 대비 14.5배 속도 향상에 해당합니다. GitHub 코드는 https://github.com/OpenVDN/vdn-minimax-h3 에서 제공되며, 가중치는 https://huggingface.co/OpenVDN/vdn-minimax-h3 에서 제공됩니다.
지속적 사후 학습(continual post-training)은 파운데이션 모델이 기존 능력을 보존하면서 새로운 지식을 습득할 수 있도록 합니다. 최근 연구에서는 온-정책(on-policy) 학습이 망각을 완화할 수 있음을 시사하며, 특히 자기 증류(self-distillation)를 매력적인 접근 방식으로 제시합니다. 본 연구에서는 자기 증류 정책 최적화(SDPO)를 통해 이러한 낙관적인 주장을 재검토합니다. 실험 결과에 따르면 SDPO는 교사(teacher) 신호가 안정적이고 잘 정렬되어 있을 때 도메인 내 특화(in-domain specialization)를 가속하지만, 분포 외(out-of-distribution) 일반화에는 어려움을 겪습니다. 지속적 사후 학습에서 SDPO는 더 심한 망각을 보이며 심지어 붕괴(collapse)에 이를 수도 있는 반면, 더 확립된 온-정책 강화학습(RL) 방법인 GRPO는 더 보수적으로 적응하며 이전 능력을 더 잘 보존합니다. 추가 분석을 통해 이러한 실패 원인이 매개변수(parameter) 및 응답 공간에서의 드리프트 증가와, 자기 강화 교사-학생 루프를 통한 고주파 아티팩트(high-frequency artifacts)의 증폭과 연관되어 있음을 밝힙니다. 따라서 온-정책 데이터만으로는 지속적 학습(continual learning)에 불충분합니다. 자기 증류는 교사 타깃이 안정적이고 토큰(token) 수준의 감독이 신뢰할 수 있을 때는 효과적이지만, 지속적 사후 학습을 위한 기본적인 안정화 장치로 간주되어서는 안 됩니다. 코드는 https://github.com/Moenupa/SDPO-CL 에서 확인할 수 있습니다.
토큰 공간(Token Space)은 AI 연산을 위한 범주론적(categorical) 프레임워크이자 수학적 언어입니다. 이는 내부 관계, 프로그램 기술, 실행 상태 및 관찰을 연결하여 구조, 동작 및 비용에 관한 질문들을 적절한 수준에 배치합니다. 다섯 가지 핵심 관점은 구조적 내부, 범주론적 자기 기술, 인터페이스, 출현 동일성 및 확장 가능한 연산과 관련됩니다. 토큰(token)은 운반자 원소와 고정된 기호들의 유한한 레코드이며, 토큰 사상은 선택된 힙을 보존합니다. 기본 범주는 준토포스(quasitopos)이며, 따라서 국소 데카르트 닫힘(locally cartesian closed)이지만 토포스는 아닙니다. 대수적 토큰화(tokenization)는 고정된 유한 시그니처에 대해 충실충만(fully faithful)합니다. 표현된 유한 사상은 동시 그래프 실행, 접합, 함자적 경계, 그리고 커널(kernel) 포함으로 특징지어지는 정확한 상태 이전을 허용합니다. 트랜스포머는 하나의 구현 패밀리입니다. 일관된 출현 접두 문맥(prefix)은 자연스러운 수치 사상을 산출하며, 캐시 불변량은 전체 접두 문맥 평가와의 일치를 증명합니다. 규정된 접근 정책은 재구성 배제 원칙 하에서 최소 유지 인덱스 집합을 결정합니다. 매개변수화된 상태는 변화하는 인터페이스를 표현합니다. 지정된 미래 관찰 힙에 대해 구조적 비식별성은 동작적 동치성입니다. 인코딩이 정확한 점진적 실행을 허용하는 것은 해당 커널이 그 동치성에 포함되는 우합동(right congruence)일 때와 정확히 일치하며, 도달 가능한 모든 정확한 실현은 동작적 상(behavioral quotient) 위로 유일하게 사상됩니다. 교사 유도 힙과 선언된 리드아웃은 이러한 구성을 지식 증류(distillation) 및 명시적 지식과 연결합니다. 정의, 예시, 정리는 이 언어가 표현, 실행, 관찰을 구별하면서 추론의 흐름들을 어떻게 결합하는지 보여줍니다. 효과적인 구현과 정량적 성능은 추후 과제로 남아 있습니다.
증류(distillation)나 학습된 플로우 맵(flow map)을 통해 디퓨전의 다단계 궤적을 압축하는 최근의 단일 단계(one-step) 생성 모델 흐름은 고품질 이미지를 생성할 수 있는 변곡점에 도달했습니다. 본 논문에서는 이러한 발전에서 이어지는 자연스러운 질문을 던집니다. 생성이 단일 순전파(forward pass)로 압축될 때, 다단계 디퓨전의 노이즈 제거(denoising) 궤적에는 어떤 일이 일어날까요? 저자들은 '시간으로서의 깊이(depth as time)'라고 부르는 실증적 관찰을 제시합니다. 즉, 다단계 디퓨전이 샘플링 단계 전반에 걸쳐 수행하는 노이즈 제거 연산이 단일 순전파의 깊이에 걸쳐 펼쳐지는 것으로 보이며, 모델 자체의 출력 헤드로 중간 레이어를 디코딩함으로써 이를 복원할 수 있다는 점입니다. 가장 흥미롭게도, 이러한 깊이 방향(depthwise) 연산은 플로우 맵이 해결하도록 학습된 수송 작업(transport task)에 따라 달라진다는 것을 보여줍니다. 가장 놀라운 사례는 MeanFlow로, 더 짧은 수송 구간을 프로빙하면 단일 네트워크 평가 내에서 노이즈 제거와 노이즈 재추가(renoising)가 모두 일어남이 드러납니다. 대조적으로, drifting 모델과 같이 시간에 인덱싱된 수송 작업 없이 학습된 생성기는 동일한 깊이 방향 노이즈 제거를 보이지 않습니다. 결과적으로, 저자들은 깊이 방향 노이즈 제거 현상을 보이는 모델이 레이어별 연산 전반에서 더 압축 가능하다는 것을 보여줍니다. 즉, MeanFlow SiT-L/2 모델은 매개변수 면에서 16.6배 압축되어 단일 시간 조건부 블록으로 축소될 수 있습니다. 저자들은 이러한 노이즈 제거 후 재노이즈화(denoise-then-renoise) 동작에 대한 설명을 제공하며, 레이어별 연산을 명시적으로 플로우로 취급할 때 단일 시간 조건부 블록이 레이어 전반에 걸쳐 노이즈를 제거하도록 학습되어 MeanFlow SiT-L/2 모델의 매개변수를 16.6배 압축할 수 있음을 보여줍니다. 종합하면, 이러한 결과는 디퓨전의 시간적 연산이 단일 단계 생성에 의해 사라지는 것이 아니라 네트워크 깊이에 걸쳐 재구성됨을 시사합니다.
온-정책(on-policy) 증류(OPD)는 언어 모델 사후 학습(post-training)의 중요한 접근법으로 자리 잡았습니다. 그러나 이러한 성능 향상에도 불구하고, OPD는 지나치게 길고 반복적인 생성으로 붕괴될 수 있으며, 이러한 상반된 결과를 초래하는 기본 메커니즘은 여전히 잘 이해되지 않고 있습니다. 본 연구에서는 강화학습(RL) 관점을 통해 이러한 결과를 설명합니다. 즉, 교사(teacher) 모델은 자신이 거의 보이지 않는 행동에 대해서도 학생(student)의 행동에 암묵적으로 보상을 부여합니다. 이러한 관점에서, 본 연구의 실험은 OPD가 학생 모델의 역량을 확장하지 않고도 성능을 향상시킴을 보여줍니다. 암묵적 보상 모델이 신뢰할 수 있을 때, OPD는 정답 반응을 더 쉽게 샘플링할 수 있도록 만듭니다. 반면, 선호도가 품질과 불일치할 때는 보상 해킹(reward hacking)이 발생합니다. 교사 모델은 스스로 그러한 텍스트를 거의 생성하지 않음에도 불구하고, 암묵적 보상 모델은 지나치게 길고 반복적인 학생 롤아웃(rollout)을 증폭시킵니다. 이러한 진단을 바탕으로, 학습 중 비정상적인 반응을 마스킹하고 지도 미세조정(SFT) 초기화를 사용하는 것이 각각 이러한 붕괴를 효과적으로 완화할 수 있음을 발견했습니다. 종합하면, 이러한 발견은 OPD가 교사의 암묵적 피드백이 선호하는 학생 행동을 증폭시킨다는 점을 보여주며, 초점을 교사가 얼마나 잘 생성하는지에서 학생 롤아웃을 얼마나 신뢰성 있게 평가하는지로 전환시킵니다. 코드는 https://github.com/HancCui/opd_hacking 에서 확인할 수 있습니다.
최근의 텍스트-모션(text-to-motion) 모델들은 모션 품질과 지시 준수 능력을 향상시켰으나, 다단계 디노이징과 거대한 모델 구성 요소로 인해 배포 시 속도가 느리고 메모리 소모가 큽니다. 본 논문에서는 실제 모션 학습(training) 데이터 없이도 텍스트 프롬프트와 사전학습된 교사 모델로부터 효율적인 모션 생성기를 학습하는 온-정책(on-policy) 접근법인 종단 증폭 제어 증류(Terminal-Amplification-Controlled Distillation, TACD)를 제안합니다. 세분화된 온-정책 플로우 증류(segmented on-policy flow distillation)를 기반으로, 학생 모델이 생성한 궤적을 따라 정제 모션(clean-motion) 예측을 지도합니다. 저자들은 고정된 지도 격자에서 속도를 매칭할 때 디노이징 종단점 부근의 오차에 반복적으로 과도한 가중치가 부여되어 소수 단계 생성을 저하시키는 실패 모드를 규명했습니다. TACD는 가장 최근 교사 모델의 쿼리를 학생 모델의 스텝 크기와 연계하여, 추론(inference)을 변경하지 않고도 정제 모션 공간에서의 유효 손실(loss) 가중치를 제한합니다. HumanML3D 및 KIT-ML 데이터셋에 대한 실험을 통해 소수 단계 생성 성능의 향상을 입증했으며, 이러한 제한이 없는 증류 대비 8단계 HY-Motion 학생 모델의 FID가 58% 감소했습니다. 확산 교사 모델의 경우, TACD의 종단점 매칭 형태를 통해 50단계 교사 모델 대비 HumanML3D에서 더 낮은 FID 및 동등하거나 향상된 텍스트-모션 검색 성능을 갖는 4단계 학생 모델을 얻었습니다. HY-Motion 및 Kimodo에서 컴팩트한 구성 요소를 갖춘 8단계 학생 모델은 교사 모델 대비 7.7~11.9배의 엔드투엔드 속도 향상을 달성하고 최대 GPU 메모리를 3.8~6.7배 절감합니다. 프로젝트 페이지: https://vkgo.github.io/TACD/
언어 모델(language model) 에이전트(agent)는 모델의 컨텍스트, 도구, 피드백을 관리하는 모델 주변 소프트웨어인 하네스(harness)와 함께 배포됩니다. 이러한 에이전트를 더 작은 에이전트로 증류(distillation)할 때 하네스는 그대로 유지되므로, 학생 모델은 하네스 정보를 바탕으로 올바르게 동작하는 것과 같이 하네스가 제공할 수 없는 교사 모델 고유의 능력만을 주로 필요로 합니다. 그러나 표준 증류 방식은 교사 모델의 전체 출력을 모방하며 하네스를 단순한 입력의 일부로 취급합니다. 본 논문에서는 하네스를 넘어서 교사 모델이 추가로 기여하는 부분에 증류를 집중하는 하네스 인지 증류(Harness-Aware Distillation, HAD)를 제안합니다. HAD는 온-정책(on-policy) 증류를 두 가지 구성 요소로 보완합니다. 하나는 학생 모델 자체의 추론 이후에 점수를 매겨 하네스 정보 유무에 따른 동일한 교사 모델의 행동을 대조하는 행동 선호도이며, 다른 하나는 선호되는 행동이 하네스 기록과 모순되는 선호도 쌍을 제거하는 유효성 검사입니다. 이러한 대조를 통해 교사 모델만을 모방해서는 얻을 수 없는 정보를 학생 모델에 제공함을 보이며, HAD는 태스크 보상, 성공 레이블 또는 미래 정보를 필요로 하지 않습니다. 여러 장기(long-horizon) 에이전트 벤치마크 및 모델 전반에서 HAD는 동일한 고정 하네스를 사용하는 온-정책 증류 베이스라인보다 뛰어난 성능을 보입니다. 분석 결과, HAD는 베이스라인에 비해 비생산적인 루프에 덜 빠지고 오류에서 더 자주 회복되며, 하네스에서 상태 정보를 읽어오는 동시에 학습 가능한 피드백을 가중치에 적응적으로 유지함을 시사합니다.