다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.
온-정책 증류(OPD)는 학생 모델이 직접 생성한 응답을 바탕으로 학생 모델을 학습시킵니다. 기존의 대규모 언어 모델(LLM) 다중 교사 OPD는 전문가 모델들이 예측한 내용을 출력 분포를 통해 전이합니다. 본 논문에서는 우리가 아는 한 LLM을 위한 최초의 표현 수준(representation-level) 다중 교사 OPD 방법인 Latent-MOPD를 소개합니다. 이 방법은 추가적인 교사 학습 없이, 기존 전문가 모델들의 예측값뿐만 아니라 이를 계산하는 데 사용된 은닉 상태(hidden state)까지 함께 활용하여 전문가 모델들을 통합합니다. 여러 전문가 모델로부터의 표현 지도를 조율하기 위해, 교사-학생 관계에 따라 후반 층(late-layer) 타깃을 선택하고, 공유 투영(shared projection)을 통해 서로 다른 은닉 차원 너비를 연결하며, 도메인별로 업데이트를 그룹화합니다. 각 교사의 지도는 은닉 상태에서 토큰 예측으로 점진적으로 전환되며, 두 채널 모두 동일한 라우팅된 전문가 모델을 사용합니다. 주요 동일 계열(same-family) 설정에서 Latent-MOPD는 수학, 코드, 논리에 걸친 9개 벤치마크 전체에서 토큰 전용, 표현 전용 및 균일 평균화(uniform-averaging) 베이스라인보다 뛰어난 성능을 보였습니다. 각 교사와 동일한 매개변수 수를 가진 학생 모델은 이러한 벤치마크 대다수에서 벤치마크별 최고 성능 교사의 성능을 능가하기도 했습니다. 별도로 개발된 더 큰 이종 계열(cross-family) 교사를 사용한 설정에서도 Latent-MOPD는 모든 벤치마크에서 두 단일 채널 베이스라인을 모두 능가했습니다. 동일 계열의 모든 층 표현 전용 대조군은 도메인 순수 업데이트에서는 안정적으로 유지되었으나, 하나의 업데이트 내에서 교사 도메인이 교차될 때는 붕괴되었습니다. 본 연구 결과는 단일 학생 모델이 여러 전문가 모델의 출력 분포와 내부 표현 모두를 통해 이들의 역량을 성공적으로 통합할 수 있음을 보여줍니다.
파운데이션 멀티모달 대규모 언어 모델(MLLM)은 다양한 도메인에 걸쳐 광범위한 역량을 지원하도록 설계되었습니다. 다중 교사 온-정책 증류(Multi-teacher On-Policy Distillation, MOPD)는 도메인 특화 전문성을 단일 학생 모델로 통합하는 효과적인 프레임워크를 제공합니다. 그러나 MOPD 학습은 학생 모델을 점차 초기화 모델로부터 멀어지게 만들며, 이러한 변위가 커짐에 따라 일반 역량이 저하되어 역량 간섭(capability interference)이 발생합니다. 이에 대한 직접적인 해결책은 학생 모델이 초기화 상태에 머물도록 제약을 가하는 것이지만, 이는 도메인 전문성 획득 역시 억제합니다. 본 논문에서는 각 교사에 의해 직접 업데이트되는 현재 학생 모델인 빠른(fast) 모델과, 학생 모델의 지수 이동 평균(EMA)인 느린(slow) 모델을 결합한 느림-빠름 다중 교사 온-정책 증류(Slow-Fast Multi-Teacher On-Policy Distillation, SF-MOPD)를 제안합니다. 느린 모델은 학습 신호를 점진적으로 흡수하여 일반 파운데이션 역량과 검증된 도메인 전문성을 융합하는 이동 역량 기준점(moving capability reference) 역할을 수행합니다. 각 교사에 대해 SF-MOPD는 로그 확률 공간에서 교사가 유도한 업데이트를 계산하고, 정렬된 성분과 직교 성분은 유지하면서 빠른 모델을 느린 모델로부터 더 멀어지게 만드는 성분만을 제거합니다. 다양한 모델 규모에 걸친 실험을 통해 SF-MOPD가 역량 간섭을 효과적으로 완화하고 특화된 멀티모달 역량을 향상하며 일반 역량 벤치마크에서의 평균 성능 저하를 줄여 바닐라 MOPD를 지속적으로 능가함을 입증합니다.
본 연구에서는 전역 인식(global recognition)과 조밀한 의미론(dense semantics)을 함께 보존하는 단일 다중 교사 지식 증류(multi-teacher distillation) 레시피로 현재의 ViTok 성과를 통합하는 방법을 연구합니다. 본 연구의 출발점은 SigLIP2와 DINOv3-L로부터 지식 증류된 AM-RADIO 스타일의 학생 모델(student)이며, 여기서 SigLIP2는 강력한 전역 의미론을 제공하고 DINOv3-L은 더 강력한 조밀한 특징(feature)을 제공합니다. 핵심적인 실증적 문제는 동일한 레시피가 모든 목표를 동등하게 잘 최적화하지 못한다는 점입니다. 즉, ImageNet-1K kNN 정확도를 향상시키는 변경 사항이 ADE20K 분할(segmentation) 성능을 여전히 저하시킬 수 있습니다. 우리는 이러한 트레이드오프를 보다 명확하고 다루기 쉽게 만드는 일련의 수정 사항들을 정리합니다: CLS 및 패치 토큰(patch token)을 위한 분할 어댑터 헤드, 비대칭 코사인/MSE 손실, DINOv3-L 체크포인트(checkpoint)로부터의 초기화(initialization), 교사 가중치 재조정, 마스크드 이미지 모델링(MIM), 그리고 PHI-S 특징 밸런싱. 그 결과 모델은 패치 kNN 83.2와 CLS kNN 85.2에 도달하여 ImageNet-1K kNN 분류(classification)에서 DINOv3-L 교사 모델을 소폭 능가하는 한편, PHI-S는 ADE20K 성능을 46.5/58.1에서 48.5/61.0 mIoU/mAcc로 회복하여 이 조밀한 벤치마크에서 교사 모델과 동등한 수준을 달성했습니다. 또한 우리는 부정적인 결과(negative results)도 함께 정리합니다: 지식 증류를 ImageNet-1K에서 ImageNet22K로 확장하는 것이 일관된 도움을 주지 못하며, SAM3이나 HOG 특징과 같은 추가 교사를 단순하게 추가하는 것은 간섭을 유발합니다. 본 논문은 최종 레시피를 주장하기보다는 현재의 프로젝트 상태를 간결한 실증적 스토리와 향후 반복 연구를 위한 구체적인 교훈으로 정리하여 제시합니다.
DINOv2, SigLIP2, MASt3R와 같은 비전 파운데이션 모델들은 서로 다른 사전학습(pre-training) 목표를 통해 상호보완적인 능력을 발전시키지만, 이들의 지식은 개별적이고 특화된 모델 전반에 여전히 분산되어 있습니다. 다중 교사 지식 증류(multi-teacher knowledge distillation)는 이러한 능력들을 단일 응집형 백본(backbone)으로 통합하는 경로를 제공하지만, 기존 접근 방식들은 고정된 교사 집합을 가정하며, 새로운 교사를 통합하려면 전체 교사 집합에 대해 비용이 많이 드는 결합 증류를 반복해야 합니다. 본 논문에서는 통합 백본이 개방형 파운데이션 모델 시퀀스로부터 능력을 점진적으로 습득할 수 있도록 하는 지속적 다중 교사 증류 프레임워크인 GRAFT를 소개합니다. 새로운 교사가 추가되면 GRAFT는 이전에 증류된 모델을 교사로 취급하여 학습된 능력을 보존하는 동시에, 현재의 학생 모델은 이전 모델과 새로 들어온 교사 모두로부터 공동으로 학습합니다. 나아가 이종 교사들의 호환되지 않는 표현 기하구조를 조율하기 위해, 공유 인코더에 대한 독립적인 판독 권한을 각 교사에 부여하는 교사별 판독 토큰(Teacher Specific Readout Tokens)과 함께, 원시 특징(feature) 값 대신 이미지-텍스트 유사도 구조를 매칭하여 비전-언어 교사를 정렬하는 기하학 불가지론적 관계 손실(Geometry Agnostic Relational Loss)을 도입합니다. 본 연구는 이미지 이해, 2D 조밀 예측, 3D 인간 자세 추정, 3D 비전, 비전-언어 등 5개 도메인을 통합하는 단일의 지속적 확장 가능 백본인 GRAFT 모델을 제공하며, 전체 재증류 대신 단 한 번의 증류 비용만으로 각각의 새로운 능력을 습득하면서 이들 전반에 걸쳐 강력한 성능을 발휘합니다.
Claude, Codex-GPT, Grok, Gemini 네 프론티어 모델을 실행 기반 판정자(유닛 테스트)로 경쟁시켜 순위를 매긴 뒤, 검증된 풀이로 Qwen2.5-Coder 학생 모델을 위한 커리큘럼을 공동 구축하는 경쟁 후 협력(compete-then-collaborate) 프레임워크를 제안한다. 검증된 솔루션을 모방하는 SFT는 이미 역량 있는 코더 모델의 성능을 오히려 저하시키는 반면, 동일 커리큘럼을 검증 가능한 보상 강화학습(RLVR) 환경으로 활용하면 경쟁 문제에서 +49% 상대적 향상을 달성하여 AI 교사 협력의 핵심 가치가 답변 모방이 아닌 검증 가능한 학습 환경 구축에 있음을 보인다.
온-정책 지식 증류(OPD)는 최근 학생 모델이 생성한 궤적에 감독을 제공하는 효과적인 사후 학습 패러다임으로 부상하였다. 그러나 멀티모달 추론을 위한 기존 OPD 방법들은 대체로 정적 교사 라우팅에 의존하여, 모달리티 또는 태스크 유형에 따라 각 샘플을 단일 교사에 할당한다. 이는 시각적 그라운딩과 추상적 추론이 서로 다른 디코딩 단계에서 주도적 역할을 할 수 있다는 점을 간과하는 것으로, 단일 교사만으로는 전체 궤적을 충분히 커버하기 어렵다. 이를 해결하기 위해 H-OPD를 멀티모달 추론을 위한 신뢰도 인식 이종 다중 교사 OPD 프레임워크로 제안한다. 동일한 추론 과정에서 이종 교사들의 상호 보완성을 검증함으로써, H-OPD는 태스크 또는 샘플 수준의 교사 라우팅을 공유 학생 궤적을 따르는 토큰 수준의 교사 중재로 대체한다. H-OPD는 텍스트 전용 교사가 핵심 시각적 의미론에 접근할 수 있도록 비전-언어 설명 전이를 도입하고, 각 토큰에서 비전-언어 교사와 텍스트 전용 교사를 동적으로 결합하기 위해 신뢰도 인식 중재 메커니즘을 활용한다. 11개의 널리 사용되는 추론 벤치마크에 대한 광범위한 평가를 통해 본 방법의 우수한 성능을 입증하였다.