PyTorchKR Papers

최신 논문

총 3편
태그·기간 등 상세 필터

카테고리 탐색

로그인 후 이 태그 구독

arXiv:2610.13521v1cs.AI

도메인 라우팅 감독을 넘어서: 다중 교사 온-정책 증류를 위한 교차 교사 가딩

Beyond Domain-Routed Supervision: Cross-Teacher Guarding for Multi-Teacher On-Policy Distillation

다중 교사 온-정책 증류(multi-teacher on-policy distillation, MOPD)는 도메인별 데이터를 전문화된 교사(teacher)들에게 라우팅하고, 학생(student)이 생성한 궤적(trajectory)에 대해 토큰 단위의 밀집(dense) 감독을 통해 이들의 능력을 통합함으로써 온-정책 증류(on-policy distillation, OPD)를 확장한다. 그러나 도메인 라우팅은 서로 다른 도메인에 대한 감독 소스만을 구분할 뿐이며, 모든 도메인에서 발생하는 업데이트는 여전히 공유 파라미터에 작용한다. 교사들이 응답 스타일과 도메인 전문성에서 크게 다를 경우, 개별적으로는 효과적인 감독이라 하더라도 공동 최적화 과정에서 지속적인 그래디언트 충돌과 능력 저하로 이어질 수 있다. 이러한 문제를 해결하기 위해, 우리는 동일한 학생 궤적에 대해 라우팅되지 않은 교사들을 보조적인 교차 도메인 비평자(critic)로 도입하고, 토큰 단위의 크레딧 할당(credit assignment)과 그래디언트 업데이트를 통해 다중 교사 감독을 조율하는 Cross-Teacher Guarding for MOPD(Road MOPD)를 제안한다. 구체적으로, 교차 교사 기반 크레딧 할당(cross-teacher-guided credit assignment)은 교사 간의 합의(agreement)를 활용하여 교사들이 공동으로 지지하는 토큰 단위 보정을 강화하고 상충하는 신호를 약화시킨다. 예방적 다중 교사 그래디언트 프로젝션(preventive multi-teacher gradient projection)은 동일한 궤적에서 얻은 보조 그래디언트를 사용하여 잠재적으로 충돌하는 업데이트를 제약하며, 목표 도메인의 학습 신호를 보존하기 위해 프로젝션 강도를 적응적으로 조절한다. 실험에서 Road MOPD는 불리한 도메인에서의 성능 저하를 완화하고, 충돌이 심한 상황에서 5퍼센트포인트 이상의 향상을 얻으며, 충돌이 적은 설정과 세 가지 도메인 설정 모두에서 전반적인 성능을 향상시킨다.

arXiv:2606.24557v1cs.CV

기하학적 분리와 모멘텀 인식 그래디언트 조절을 통한 이종 지식 증류

Heterogeneous Knowledge Distillation via Geometry Decoupling and Momentum-Aware Gradient Regulation

이종 지식 증류(HKD)는 다양한 아키텍처 간(예: 트랜스포머에서 CNN으로) 지식을 전달하는 것을 목표로 하지만, 본질적으로 심각한 학습 불안정성 문제를 겪는다. 우리는 이 불안정성이 두 가지 강하게 결합된 과제에서 비롯됨을 밝힌다: 최적화 지연을 유발하는 대규모 특징 노름 불일치, 그리고 서로 다른 귀납적 편향으로 인해 발생하는 주 목적 함수와 증류 목적 함수 간의 심각한 그래디언트 충돌. 안정적인 증류를 달성하기 위해, 우리는 새로운 특징 및 그래디언트 이중 안정화 메커니즘에 기반한 프레임워크인 SPOFA를 제안한다. 구체적으로, 특징 수준에서는 특징 크기와 방향을 명시적으로 분리하여 의미론적 정렬을 위한 경계적이고 안정적인 공간을 생성하는 LayerNorm 기반 분리 프로젝터를 도입한다. 그래디언트 수준에서는 모멘텀 기반 지수 이동 평균(MEMA) 동적 스케일러를 제안한다. MEMA는 최적화 궤적의 강건한 과거 기준선을 구축함으로써 순간적인 그래디언트 충돌을 능동적으로 평가하고 해로운 증류 신호를 적응적으로 억제하여 안정적인 수렴을 보장한다. 중요하게도, SPOFA는 이러한 이중 안정화를 극도로 경량화된 매개변수 크기로 달성한다. 두 가지 주류 벤치마크에서의 광범위한 실험을 통해 SPOFA가 최첨단 정확도를 달성하며, 표준 기준선 대비 최소한의 계산 오버헤드만을 추가하면서 계산 비용이 높은 방법들보다 크게 뛰어남을 보여준다.

arXiv:2606.22917v1cs.LG

GRAIN: Min-Norm 목적함수를 통한 그룹 집계

GRAIN: Group Aggregation via Min-Norm Objective

과적합(overparameterized) 체제와 대규모 사전학습 모델(LPM) 파인튜닝에서 시드·배치 등 확률적 요인으로 학습 불안정과 실행 간 분산이 커지는 문제를 다루며, 미니배치 내·외 그룹 그래디언트의 산술 평균 대신 min-norm 볼록 결합으로 집계하는 경량 알고리즘 GRAIN을 제안한다. GRAIN은 그룹 그래디언트와의 내적을 비음으로 보장해 배치 내·간 그래디언트 충돌을 완화하고 SGD와 유사한 O(1/T) 수렴과 더 엄격한 안정성 상계를 유지하며, 생성·분류·회귀 LPM 규모 실험에서 추가 역전파 비용 없이 평균 성능과 실행 간 분산을 일관되게 개선한다.